Google hat offiziell den Multimodal Knowledge Agent (MKA) Benchmark vorgestellt, der darauf abzielt, die Fähigkeit von Agenten zur Verarbeitung visuell komplexer Dokumente zu bewerten, um reale Wissensarbeitsaufgaben zu lösen.
Designkonzept des MKA Benchmarks
Der MKA Benchmark wurde in Zusammenarbeit mit Artificial Analysis entwickelt und dient hauptsächlich der Bewertung der Leistung von Agenten bei der Lösung von Wissensarbeitsaufgaben. Die meisten Wissensarbeitsbenchmarks erfordern lediglich Textlösungen und spiegeln nicht die visuellen Anforderungen professioneller Arbeiten wider. Google erklärt: „Wir haben MKA entwickelt, um zu messen, wie gut Agenten diese visuell komplexen Arbeiten bewältigen können.“ Google
Praktische Anwendung und Tests des Benchmarks
Um sicherzustellen, dass der Benchmark mit realen Arbeitsabläufen übereinstimmt, hat Google mit Fachexperten aus 10 Branchen und 83 Berufen zusammengearbeitet, um ein Aufgabenbewertungsset mit 200 MKA-Aufgaben zu erstellen. Jede Aufgabe ist ein mehrstufiges Projekt, das Fachleute drei bis acht Stunden in Anspruch nimmt. Google weist darauf hin: „Jede Aufgabe spiegelt ein mehrstufiges Projekt wider, das ein erfahrener Fachmann drei bis acht Stunden benötigt, um es abzuschließen…“ Google
Leistungsbewertung von Gemini 4 Carbon
Nach den Testergebnissen belegt Gemini 4 Carbon in allen Testmodellen den zweiten Platz in der Qualitätsbewertung, und die Kosten für die Aufgabenerledigung sind im Durchschnitt sechsmal niedriger als bei dem am besten bewerteten Modell. Google erklärt: „Gemini 4 Carbon befindet sich an der Pareto-Front von Qualität und Preis für die MKA-Bewertung.“ Google
Benutzer können jetzt über die Gemini API im Google AI Studio den Benchmark erkunden und ihre eigenen Modelle auf der Plattform für künstliche Analyse bewerten. Google hat auch eine Sammlung von 10 öffentlichen Aufgaben veröffentlicht, die jeder überprüfen und seine Agenten testen kann.
Quellen: Offizielle Ankündigung von Google