- ระบบ UQ-DAAAM ช่วยให้หุ่นยนต์แก้ไขคำบรรยายที่ไม่ถูกต้องในความจำ
- เทคโนโลยีนี้รวมการมองเห็นของคอมพิวเตอร์ โมเดลภาษา และการประเมินความไม่แน่นอน
- ระบบใช้มุมมองเพิ่มเติมเพื่อลดความไม่แน่นอนของคำบรรยาย
- การทดสอบแสดงให้เห็นว่ากระบวนการแก้ไขสามารถแก้ไขความคลุมเครือของวัตถุได้ประมาณ 92%
นักวิจัยจาก Massachusetts Institute of Technology (MIT) ได้พัฒนาระบบความจำรูปแบบใหม่ที่ช่วยให้หุ่นยนต์สามารถระบุและแก้ไขคำบรรยายวัตถุที่ไม่ถูกต้องซึ่งถูกเก็บไว้ในความจำ ระบบนี้มีชื่อว่า UQ-DAAAM ซึ่งสามารถประเมินคำบรรยายหลาย ๆ แบบของวัตถุเดียวกันจากมุมมองที่แตกต่างกัน เพื่อกำหนดระดับความมั่นใจของหุ่นยนต์ในการระบุวัตถุ จากนั้นระบบจะเลือกมุมมองเพิ่มเติมเพื่อลดความไม่แน่นอน และรวมผลการสังเกตเป็นคำบรรยายที่แม่นยำยิ่งขึ้น ข้อมูลที่แก้ไขแล้วจะถูกเก็บไว้ในความจำของหุ่นยนต์ ซึ่งอาจช่วยปรับปรุงความสามารถในการนำทางในสภาพแวดล้อมและการทำงานที่ซับซ้อนได้
เทคโนโลยีนี้รวมการมองเห็นของคอมพิวเตอร์ โมเดลภาษา และการประเมินความไม่แน่นอน เพื่อปรับปรุงการระบุและความจำของหุ่นยนต์ต่อวัตถุรอบตัว UQ-DAAAM สร้างขึ้นจากกรอบความจำของหุ่นยนต์ก่อนหน้านี้ที่ชื่อว่า DAAAM ซึ่งใช้โมเดลการมองเห็นและภาษา (VLM) ในการสร้างคำบรรยายที่ละเอียดเกี่ยวกับวัตถุที่หุ่นยนต์จับภาพด้วยกล้องที่ติดตั้งอยู่บนตัวหุ่นยนต์ คำบรรยายเหล่านี้จะถูกเก็บไว้ในรูปแบบการแสดงผลของสภาพแวดล้อมที่อิงจากแผนที่สามมิติ ทำให้หุ่นยนต์สามารถดึงข้อมูลเกี่ยวกับวัตถุเมื่อมีการตอบคำถามหรือทำภารกิจ อย่างไรก็ตาม ระบบเดิมมีข้อจำกัดเมื่อวัตถุไม่สามารถมองเห็นได้ทั้งหมด อยู่ไกล หรือภาพที่จับได้มีความเบลอหรือแสงไม่เพียงพอ
ในกรณีเหล่านี้ โมเดลการมองเห็นและภาษาอาจสร้างคำบรรยายที่ไม่ถูกต้อง ตัวอย่างเช่น อาจทำให้เข้าใจผิดว่าเป็นกระรอกบนหลังคาเมื่อเห็นปล่องไฟสีเทา หากไม่มีกลไกในการแก้ไขข้อผิดพลาดเหล่านี้ ข้อมูลที่ไม่ถูกต้องอาจยังคงอยู่ในความจำของหุ่นยนต์ ส่งผลกระทบต่อการตัดสินใจในภายหลัง
กลไกในการแก้ไขคำบรรยายที่ไม่ถูกต้อง
UQ-DAAAM แก้ไขปัญหานี้โดยการนำเสนอวิธีการวัดความไม่แน่นอนของคำบรรยายที่สร้างโดยโมเดลการมองเห็นและภาษา เมื่อหุ่นยนต์เคลื่อนที่ในสภาพแวดล้อม กล้องของมันจะจับภาพอย่างต่อเนื่อง และมักจะบันทึกวัตถุเดียวกันจากมุมมองที่หลากหลาย ระบบใหม่ใช้การสังเกตเพิ่มเติมเหล่านี้เพื่อประเมินว่าคำบรรยายที่มีอยู่เชื่อถือได้หรือไม่ นักวิจัยระบุว่าระบบจะประเมินความมั่นใจของโมเดลในการสร้างคำที่อาจจะทำให้เกิดการเข้าใจผิดเกี่ยวกับวัตถุ จากนั้นจะวัดความสอดคล้องโดยการเปรียบเทียบคำบรรยายกับหัวข้อที่สร้างจากภาพของวัตถุเดียวกันที่จับจากมุมมองที่แตกต่างกัน
ระบบจะรวมผลการวัดทั้งสองนี้เป็นคะแนนความไม่แน่นอนเดียว ซึ่งแสดงถึงความมั่นใจในการเข้าใจวัตถุ หากคะแนนเกินเกณฑ์ที่กำหนด UQ-DAAAM จะทำการระบุคำบรรยายนี้ว่าอาจไม่เชื่อถือได้และเริ่มกระบวนการแก้ไข
กลยุทธ์ในการเลือกมุมมองเพิ่มเติม
ระบบจะไม่วิเคราะห์ภาพที่จับได้แต่ละภาพ แต่จะใช้วิธีการตามกฎในการเลือกมุมมองเพิ่มเติมที่สามารถช่วยลดความไม่แน่นอน ตัวอย่างเช่น หากหุ่นยนต์เข้าใจผิดว่าปล่องไฟเป็นวัตถุอื่น มันอาจเลือกแสดงภาพที่มีควันพุ่งออกมาจากปล่องไฟ เพื่อระบุโครงสร้างนั้นได้อย่างแม่นยำยิ่งขึ้น นักวิจัยได้พิสูจน์ทางคณิตศาสตร์ว่ากลยุทธ์การเลือกนี้สามารถระบุภาพที่มีประโยชน์ได้โดยไม่ต้องเรียกใช้โมเดลการมองเห็นและภาษาใหม่ ซึ่งช่วยลดความต้องการในการคำนวณ ทำให้ระบบสามารถทำงานบนหุ่นยนต์เคลื่อนที่ที่มีทรัพยากรจำกัดได้ เมื่อเลือกภาพเพิ่มเติมแล้ว โมเดลภาษาใหญ่ (LLM) จะรวมคำบรรยายเป็นหัวข้อที่ได้รับการแก้ไข
ระบบจะให้ความสำคัญกับคำบรรยายที่ใหม่กว่าและมีความคลุมเครือน้อยกว่า เพื่อสร้างการแสดงผลของวัตถุที่เชื่อถือได้มากขึ้น คำบรรยายที่ได้รับการแก้ไขจะถูกเก็บไว้ในความจำของหุ่นยนต์เพื่อใช้เป็นข้อมูลอ้างอิงในอนาคต
ในการทดสอบ กระบวนการแก้ไขสามารถแก้ไขความคลุมเครือของวัตถุได้ประมาณ 92% โดยแต่ละวัตถุต้องการเพียงสองหัวข้อเพิ่มเติม ความแม่นยำของคำบรรยายวัตถุเพิ่มขึ้น 5% เมื่อเปรียบเทียบกับวิธีที่ทันสมัยที่สุดในปัจจุบัน นักวิจัยยังพบว่า UQ-DAAAM ปรับปรุงความแม่นยำในการตอบคำถามเกี่ยวกับวัตถุ ตำแหน่งของมัน และเวลาที่หุ่นยนต์พบมันครั้งสุดท้าย ทีมงานมีแผนที่จะขยายเทคโนโลยีนี้ไปยังแพลตฟอร์มหุ่นยนต์ที่แตกต่างกัน รวมถึงหุ่นยนต์เคลื่อนที่ พวกเขายังสำรวจว่าระบบนี้สามารถระบุพื้นที่ที่มีความไม่แน่นอนสูงและนำทางหุ่นยนต์กลับไปยังตำแหน่งเหล่านั้นเพื่อเก็บข้อมูลการสังเกตที่ดีกว่าได้หรือไม่
ผลกระทบของ UQ-DAAAM ต่อเทคโนโลยีหุ่นยนต์
การพัฒนา UQ-DAAAM แสดงให้เห็นถึงความสำคัญของการระบุวัตถุที่ถูกต้องในเทคโนโลยีหุ่นยนต์สำหรับการทำภารกิจที่ซับซ้อน โดยการรวมการมองเห็นของคอมพิวเตอร์และโมเดลภาษา ระบบนี้ไม่เพียงแต่เพิ่มความแม่นยำของคำบรรยายวัตถุ แต่ยังสามารถแก้ไขข้อผิดพลาดในความจำได้อย่างมีประสิทธิภาพ ซึ่งมีความหมายอย่างลึกซึ้งต่ออนาคตของระบบอัตโนมัติและอัจฉริยะ เนื่องจากสามารถเพิ่มความสามารถในการปรับตัวของหุ่นยนต์ในสภาพแวดล้อมที่เปลี่ยนแปลงและส่งเสริมกระบวนการตัดสินใจที่มีประสิทธิภาพมากขึ้น