Google ได้ประกาศอย่างเป็นทางการว่าได้เปิดตัวเกณฑ์การประเมินตัวแทนความรู้หลายรูปแบบ (Multimodal Knowledge Agent หรือ MKA) ซึ่งมีวัตถุประสงค์เพื่อประเมินความสามารถในการให้เหตุผลของตัวแทนในการจัดการเอกสารที่มีความซับซ้อนทางสายตา เพื่อแก้ไขปัญหางานด้านความรู้ในโลกจริง
แนวคิดการออกแบบเกณฑ์ MKA
เกณฑ์ MKA ได้รับการพัฒนาร่วมกับการวิเคราะห์ทางปัญญาประดิษฐ์ (Artificial Analysis) โดยมีจุดมุ่งหมายหลักในการประเมินผลการทำงานของตัวแทนในการแก้ไขปัญหางานด้านความรู้ เกณฑ์การทำงานด้านความรู้ส่วนใหญ่ต้องการเพียงการแก้ไขข้อความ แต่ไม่สามารถสะท้อนความต้องการทางสายตาในงานวิชาชีพได้ Google กล่าวไว้ว่า: “เราสร้าง MKA เพื่อวัดว่าตัวแทนสามารถจัดการกับงานที่มีความซับซ้อนทางสายตาได้ดีเพียงใด” (“We built MKA to measure how well agents can handle this visually complex work.”)Google
การประยุกต์ใช้และการทดสอบเกณฑ์ในทางปฏิบัติ
เพื่อให้แน่ใจว่าเกณฑ์สอดคล้องกับกระบวนการทำงานในโลกจริง Google ได้ร่วมมือกับผู้เชี่ยวชาญใน 10 อุตสาหกรรมและ 83 อาชีพในการสร้างชุดการประเมิน 200 งานสำหรับ MKA โดยแต่ละงานเป็นโครงการที่มีหลายขั้นตอน ซึ่งผู้เชี่ยวชาญต้องใช้เวลาระหว่าง 3 ถึง 8 ชั่วโมงในการทำให้เสร็จ Google ชี้ให้เห็นว่า: “แต่ละงานสะท้อนถึงโครงการหลายขั้นตอนที่ใช้เวลาสำหรับผู้เชี่ยวชาญที่มีประสบการณ์ระหว่าง 3 ถึง 8 ชั่วโมงในการทำให้เสร็จ” (“Each task reflects a multi-step project that takes a seasoned professional three to eight hours to complete…”)Google
ประสิทธิภาพของ Gemini 4 Carbon
จากผลการทดสอบ Gemini 4 Carbon มีอันดับคุณภาพเป็นอันดับสองในทุกรูปแบบการทดสอบ และค่าใช้จ่ายในการทำงานเฉลี่ยต่ำกว่ารูปแบบที่มีอันดับสูงสุดถึงหกเท่า Google กล่าวไว้ว่า: “Gemini 4 Carbon อยู่ในแนวหน้าของคุณภาพและราคาในการประเมิน MKA” (“Gemini 4 Carbon is on the pareto frontier of quality and price for the MKA eval.”)Google
ผู้ใช้สามารถสำรวจเกณฑ์นี้ผ่าน Gemini API ของ Google AI Studio และประเมินโมเดลของตนเองบนแพลตฟอร์มการวิเคราะห์ทางปัญญาประดิษฐ์ Google ยังได้ปล่อยชุดงานสาธารณะจำนวน 10 งาน เพื่อให้ทุกคนสามารถตรวจสอบรูปแบบและทดสอบตัวแทนของตนได้
แหล่งข้อมูล: ประกาศอย่างเป็นทางการจาก Google