Googleは公式に多模態知識代理（Multimodal Knowledge Agent、略称MKA）基準を発表し、視覚的に複雑な文書を処理する際の代理の推論能力を評価し、現実世界の知識作業タスクを解決することを目的としている。
MKA基準の設計理念
MKA基準は人工分析（Artificial Analysis）と協力して開発され、主に知識作業タスクを解決する際の代理のパフォーマンスを評価するために使用される。ほとんどの知識作業基準はテキスト解決のみを必要とし、専門的な作業における視覚的なニーズを反映していない。Googleは「私たちはMKAを、代理がこれらの視覚的に複雑な作業をどのように処理できるかを測定するために構築しました。」（"We built MKA to measure how well agents can handle this visually complex work."）と述べている。Google
基準の実際の応用とテスト
基準が現実の作業フローに合致することを確保するために、Googleは10の業界および83の職業からの専門家と協力し、MKAの200項目のタスク評価セットを作成した。各タスクは多段階のプロジェクトであり、専門家が完了するのに3〜8時間を要する。Googleは「各タスクには現実的なヒントと一組の多模態入力文書が付属し、専門家が作成した約70項目の是非チェック基準が添付されています。」（"Each task reflects a multi-step project that takes a seasoned professional three to eight hours to complete..."）Google
Gemini 4 Carbonの性能表現
テスト結果によると、Gemini 4 Carbonはすべてのテストモデルの中で質のランキングが2位であり、タスクを完了するコストは最高ランクのモデルの平均の6倍低い。Googleは「Gemini 4 CarbonはMKA評価における質と価格のパレート前線上にあります。」（"Gemini 4 Carbon is on the pareto frontier of quality and price for the MKA eval."）Google
ユーザーは現在、Google AI StudioのGemini APIを通じてこの基準を探索し、人工分析プラットフォーム上で自分のモデルを評価することができる。Googleはまた、誰でもフォーマットを確認し、代理をテストするための10項目の公共タスクをリリースした。
資料出所：Google公式公告