Improving Large Vision and Language Models by Learning from a Panel of Peers

プレスリリース要約

Rice大学とAdobe Researchの研究者らは、人間がラベル付けしたフィードバックデータを収集するという高コストで時間のかかるプロセスを回避する、AI視覚言語モデルのための新しい学習手法を開発しました。Panel-of-Peers（PoP）と呼ばれるこのシステムは、類似したAIモデルの小グループ（この場合、異なる基盤言語モデル上に構築されたLLaVAモデルの3つのバリアント）を集め、人間のアノテーターや単一のより強力な「教師」モデルに依存するのではなく、それらに視覚的質問に対する互いの回答を採点させることで機能します。グループ内の各モデルは、ラベルなしデータセットから取得した画像質問ペアに対する候補応答を生成し、他のモデルがそれらの応答を有用性や正確性といった次元にわたって採点し、結果として得られたランク付けされたペアを使用して、3回繰り返される反復ループを通じてグループ内のすべてのモデルをファインチューニングします。チャート読み取りやOCRから数学的推論やハルシネーション検出までのタスクをカバーする15の標準的な視覚言語ベンチマークにわたるテストでは、本アプローチはモデルパネルの平均スコアを48%から57%に引き上げました。研究者らは、この向上が、人間がキュレーションした、または機械が生成した選好データを使用する同等の手法が同様のデータ規模で達成したものを上回ると述べています。チームはまた、OCR学習データの大部分を取り除くことで意図的に能力を損なわせたモデルが、それを保持していた仲間から学習することでその能力を回復できることも示し、本フレームワークが、単に全般的な性能を向上させるだけでなく、モデル間で特定のスキルを転移できることを示唆しました。本研究が重要なのは、マルチモーダルAIのための人間の選好データの作成が依然として高コストでスケールが難しく、単一のモデルが自身の出力を評価することに依存する自己改善手法は既存の誤りを強化する傾向があるためです。互いを相互評価するためにほぼ同等の強さの多様なモデルのグループを使用することは、はるかに大規模で高コストなフロンティアモデルを監督者としてアクセスする必要なしに、その問題を軽減するように見えます。