Microsoft AIは中国人民大学と共同でRetrieval-Augmented Generation（RAG）モデルを強化するために設計された新しいAIフレームワーク、Chain-of-Retrieval Augmented Generation（CoRAG）を発表した。単一の検索ステップに依存する従来のRAGシステムとは異なり、CoRAGは反復検索と推論を可能にし、AIモデルが回答を生成する前に動的に検索結果をリファインすることを可能にする。
この改善により従来のRAGシステムの大きな欠点：複数のソースからの情報を効果的に統合する能力の欠如が克服された。複雑なクエリ、特にマルチホップ質問応答（QA）において、従来のRAGモデルは情報を一度しか検索しないため不完全または不正確な結果につながり、しばしば苦戦を強いられる。CoRAGは各ステップでクエリを再構築し、AIが人間の研究者のように検索を「考え抜く」ことを可能にすることでこの状況を変える。
CoRAGの核心的なイノベーションはその動的なクエリ再定式化メカニズムである。単一の検索ステップに依存する代わりに、モデルは中間推論状態に基づいてクエリを反復的にリファインする。このプロセスは各段階で検索された情報が文脈的に関連し、より完全な最終回答に向けて構築されることを保証する。
CoRAGを高価な人間のアノテーションなしで訓練するために、研究者たちは既存のRAGデータセットからもっともらしい検索チェーンを生成する技術である棄却サンプリングを使用した。モデルはこれらの拡張されたデータセットで訓練され、サブクエリ、サブアンサー、最終回答を生成することを学習する。
推論中、CoRAGは以下のような柔軟なデコーディング戦略を提供する：
-
効率化のための貪欲法
-
精度を最適化するためのBest-of-Nサンプリング
-
計算コストとパフォーマンスのバランスを取るためのツリー検索
このスケーラビリティによりユーザーは検索深度を制御し、精度と計算効率の最適なトレードオフを保証できる。
出典：https://arxiv.org/abs/2501.14342
CoRAGはKILTベンチマークとマルチホップQAタスクでテストされ、既存のRAGモデルと比較して改善された結果を示した。このアプローチは複数のソースから情報を検索し、合成する必要があるタスクにおいて特に効果的であるようだ。
KILTベンチマーク（出典：https://arxiv.org/abs/2501.14342）
マルチホップQAタスクベンチマーク（出典：https://arxiv.org/abs/2501.14342）
AIコミュニティはCoRAGの潜在的な影響力に注目している。Durapid Technologiesの創設者兼CEO Deepesh Jain氏はこうコメントした：
これはRAGにとって大きな前進です！従来の方法では重要な詳細を見逃すことが多いですが、CoRAGの反復的アプローチは検索をより賢く、よりダイナミックにします。人間が行うようにモデルに検索を改良させることで、複雑なクエリに対してより良い回答を導き出すことができます。
Velotixのシニア機械学習エンジニア Ekaterina Baru氏は人間の研究手法との類似性を強調した：
これは魅力的なアプローチです － 反復検索を使ってクエリを洗練させることは、研究者として私たちが自然に問題を深く掘り下げていく方法を リアルに反映しています。マルチホップQAタスクのパフォーマンス向上は印象的で、より長いチェーンと計算コストのトレードオフが本番環境でどのように進化するのか興味があります。この先が楽しみです！
静的検索から反復的アプローチに移行することで、CoRAGはAI主導の検索と推論を扱う異なる方法を紹介している。これは正確で構造化された情報の取得が不可欠な自動化された研究、エンタープライズナレッジシステム、AI意思決定支援などの分野で役立つ可能性がある。