- El sistema UQ-DAAAM ayuda a los robots a corregir descripciones inexactas en su memoria.
- La tecnología combina visión por computadora, modelos de lenguaje y cuantificación de incertidumbre.
- El sistema reduce la incertidumbre de las descripciones mediante ángulos adicionales.
- Las pruebas muestran que el proceso de corrección resuelve aproximadamente el 92% de las ambigüedades de los objetos.
Investigadores del Massachusetts Institute of Technology han desarrollado un nuevo sistema de memoria que ayuda a los robots a identificar y corregir descripciones inexactas de objetos almacenadas en su memoria. Este sistema, llamado UQ-DAAAM, es capaz de evaluar múltiples descripciones del mismo objeto desde diferentes ángulos para determinar el nivel de confianza del robot en su identificación. Luego, el sistema selecciona ángulos adicionales para reducir la incertidumbre y combina las observaciones en una descripción más precisa. La información corregida se almacenará en la memoria del robot, lo que podría mejorar su capacidad para navegar en entornos y realizar tareas complejas.
La tecnología combina visión por computadora, modelos de lenguaje y cuantificación de incertidumbre para mejorar la identificación y memoria de los objetos que rodean a los robots. UQ-DAAAM se basa en un marco de memoria robótica anterior llamado DAAAM, que utiliza modelos de visión-lenguaje (VLM) para generar descripciones detalladas de los objetos capturados por las cámaras a bordo del robot. Estas descripciones se almacenan en una representación ambiental basada en mapas tridimensionales, lo que permite al robot recuperar información sobre los objetos al responder preguntas o realizar tareas. Sin embargo, el sistema original tiene limitaciones cuando los objetos son parcialmente visibles, están a una distancia mayor o cuando las imágenes capturadas son borrosas o con poca luz.
En estas situaciones, el modelo de visión-lenguaje puede generar descripciones incorrectas. Por ejemplo, podría confundir una chimenea gris con una ardilla en el tejado. Si no se corrigen estos errores, la información inexacta puede permanecer en la memoria del robot, afectando decisiones posteriores.
Mecanismo para resolver descripciones inexactas
UQ-DAAAM aborda este problema introduciendo un método para medir la incertidumbre de las descripciones generadas por el modelo de visión-lenguaje. A medida que el robot se mueve en el entorno, su cámara captura continuamente imágenes, a menudo registrando el mismo objeto desde múltiples ángulos. El nuevo sistema utiliza estas observaciones adicionales para determinar si las descripciones existentes son confiables. Los investigadores indican que el sistema primero evalúa la confianza del modelo en las palabras generadas al describir un objeto potencialmente mal identificado y luego mide la consistencia al comparar esa descripción con los títulos generados a partir de imágenes del mismo objeto capturadas desde diferentes ángulos.
El sistema combina estas dos medidas en una única puntuación de incertidumbre que indica su confianza en la comprensión del objeto. Si la puntuación supera un umbral predefinido, UQ-DAAAM identifica la descripción como potencialmente no confiable y activa el proceso de corrección.
Estrategia para seleccionar ángulos adicionales
El sistema no analiza cada imagen capturada, sino que utiliza un enfoque basado en reglas para seleccionar ángulos adicionales que pueden ayudar a reducir la incertidumbre. Por ejemplo, si el robot confunde una chimenea con otro objeto, podría elegir mostrar una imagen que muestre humo saliendo de la chimenea para identificar más precisamente esa estructura. Los investigadores han demostrado matemáticamente que este método de selección puede identificar imágenes útiles sin necesidad de volver a ejecutar el modelo de visión-lenguaje. Esto reduce la demanda computacional, permitiendo que el sistema funcione en robots móviles con recursos limitados. Una vez seleccionadas las imágenes adicionales, un modelo de lenguaje grande (LLM) las combina en un título revisado.
El sistema otorga mayor peso a las descripciones más recientes y a aquellas que contienen menos ambigüedades para generar representaciones de objetos más confiables. Las descripciones corregidas se almacenarán posteriormente en la memoria del robot para referencia futura.
En las pruebas, el proceso de corrección resolvió aproximadamente el 92% de las ambigüedades de los objetos, requiriendo solo dos títulos adicionales por objeto. En comparación con los métodos más avanzados existentes, la precisión de las descripciones de los objetos mejoró en un 5%. Los investigadores también encontraron que UQ-DAAAM mejoró la precisión en las respuestas a preguntas sobre los objetos, su ubicación y el momento en que el robot los encontró por última vez. El equipo actualmente planea expandir esta tecnología a diferentes plataformas robóticas, incluidos controladores de robots móviles. También están explorando si el sistema puede identificar áreas de alta incertidumbre y guiar al robot para que vuelva a visitar esas ubicaciones para recopilar mejores observaciones.
Impacto de UQ-DAAAM en la tecnología robótica
El desarrollo de UQ-DAAAM demuestra la importancia de la identificación precisa de objetos en la tecnología robótica para llevar a cabo tareas complejas. Al combinar visión por computadora y modelos de lenguaje, este sistema no solo mejora la precisión de las descripciones de los objetos, sino que también corrige eficazmente los errores en la memoria. Esto tiene profundas implicaciones para la automatización y los sistemas inteligentes del futuro, ya que puede mejorar la capacidad de adaptación de los robots en entornos dinámicos y facilitar procesos de toma de decisiones más eficientes.

