Diseño de sistemas robustos de visión por computadora para

Feb 06, 2024

Universidad de Gestión de Singapur

Imagen: El profesor asistente de SMU, Xie Xiaofei, participa en el Gran Desafío de IA Robusta de este año para diseñar sistemas de visión por computadora robustos habilitados para IA para vehículos autónomos.ver más

Crédito: Universidad de Gestión de Singapur

Por Jovina Ang

Oficina de Investigación de SMU: aunque la historia de los vehículos autónomos (AV) se remonta a la década de 1990, la mayoría de las investigaciones sobre los AV se han realizado utilizando datos de pruebas en los laboratorios.

El Gran Desafío de IA Robusta, organizado en colaboración con la Dirección de Tecnología y Sistemas Futuros, MINDEF Singapur y los Laboratorios Nacionales DSO, tiene como objetivo lograr que investigadores y académicos de Institutos de Educación Superior (IHL) e Institutos de Investigación (RI) desarrollen soluciones innovadoras para superar las vulnerabilidades de los modelos de Inteligencia Artificial (IA) en sistemas de Visión por Computadora (CV) para AV.

Se han seleccionado tres equipos para competir en el gran desafío: dos equipos de la Universidad Tecnológica de Nanyang (NTU) y un equipo de la Universidad Nacional de Singapur (NUS). El profesor asistente de Ciencias de la Computación de SMU y miembro de Lee Kong Chian, Xie Xiaofei, competirá como parte de uno de los equipos de NTU.

Cuando se le preguntó qué lo motivó a competir en el desafío, el profesor Xie respondió: “Cuando estaba en NTU, tuve la oportunidad de colaborar con el profesor Liu Yang y los otros investigadores co-principales en múltiples proyectos de investigación. Además, los campos del software confiable y la IA están alineados con mis intereses de investigación”.

Y añadió: “Otro factor de motivación para mí es la oportunidad de construir modelos de IA robustos y probarlos en el mundo físico.

“Se ha demostrado que la precisión de los sistemas CV se ve comprometida después de cualquier amenaza o ataque físico. Creo que esta es la razón por la cual el Gran Desafío ha sido diseñado para desafiar a los investigadores a diseñar sistemas CV para AV que puedan recuperar al menos el 80 por ciento de su precisión original luego de la aparición de cualquier amenaza o ataque físico; por ejemplo, el viraje repentino de otro coche hacia la AV. Si bien se ha obtenido una precisión del 80 por ciento en ciertas pruebas de referencia, hasta la fecha, este umbral no se ha alcanzado con datos del mundo real”.

Continuó: “Además de alcanzar este umbral de métrica de precisión en el desafío, los equipos deben profundizar en tres escenarios CV específicos relacionados con los sistemas de conducción autónoma, incluida su capacidad para detectar objetos, proporcionar estimaciones aceptables de la profundidad y distancia de los objetos al AV, además de categorizar cada píxel de una imagen para una identificación fácil y precisa”.

La investigación

Además del profesor Xie, hay otros seis investigadores en este equipo de la NTU. Entre ellos se incluyen el profesor Liu Yang, el Dr. Guo Qing, el profesor asistente Zhang Tianwei, el profesor asistente Chen Lyu, el profesor asistente Zhang Hanwang y el profesor Dong Jin Song.

Para asegurarse un lugar en el gran desafío, el equipo ha diseñado cuatro paquetes de trabajo como parte de su proyecto de investigación integral, que acaba de comenzar el 1 de julio de 2023 y se llevará a cabo durante tres años. Los primeros dos años del proyecto se dedicarán a desarrollar la tecnología CV óptima, mientras que el tercer año se centrará en probar la tecnología en el campo.

Los cuatro paquetes de trabajo

El paquete de trabajo 1 está diseñado para proporcionar una representación visual AV unificada y completa.

Actualmente, la mayor parte de la investigación sobre representación AV se centra en la detección unidireccional y de objetos en una situación estática o específica. Las representaciones AV existentes a menudo emplean modelos separados para procesar y reconocer diferentes tipos de datos, como imágenes, señales LiDAR (que es un acrónimo de Detección y alcance de luz) que aprovechan una combinación de escaneo tridimensional (3D) y láser, u otros sensores. modalidades visuales.

Si bien los enfoques actuales de representación visual AV funcionan bien para los tipos de datos para los que están diseñados, existe una falta de integración de los diferentes tipos de datos. Esto puede potencialmente obstaculizar el rendimiento general y la eficiencia del sistema AV. Por ejemplo, a pesar de tener mecanismos de defensa optimizados para mitigar ataques dirigidos a datos de imágenes, el AV podría ser susceptible a ataques dirigidos a señales LiDAR.

Es por eso que este paquete de trabajo se centra en la creación de una representación unificada multivista y multimodal que no solo pueda incorporar la detección y consideración de información rica, sino también utilizar entradas de diferentes lentes de cámara, imágenes y señales LiDAR. Al hacerlo, el equipo de investigación pretende construir modelos robustos que puedan coincidir con escenarios en constante cambio o simular amenazas/ataques que ocurren en el mundo físico.

Dada la complejidad y los costos asociados con la realización de experimentos en el mundo físico, el Paquete de Trabajo 2 se centra en sintetizar amenazas laborales reales entre el mundo digital y el mundo físico.

Al utilizar la representación unificada descrita en el Paquete de trabajo 1, el equipo de investigación tiene como objetivo iterar y evaluar la solidez de los modelos CV de manera más efectiva y eficiente antes de implementarlos en sistemas AV físicos.

Además, con la representación unificada, el equipo de investigación podrá simular cambios en las condiciones climáticas, modificar objetos en la escena o incluso incorporar otras variaciones del mundo real, como alguien corriendo frente al AV.

La intención detrás del Paquete de Trabajo 3 es integrar las múltiples vistas y modalidades mediante la reconstrucción de los diferentes escenarios para mejorar la capacidad del AV para tomar decisiones sólidas y correctas cuando está sujeto a amenazas o ataques.

El equipo de investigación también profundizará en el concepto de técnicas de reparación adversas para mejorar la resiliencia del AV.

El paquete de trabajo 4 profundizará en la comprensión de la lógica del proceso de toma de decisiones de la IA.

Para ello, el equipo de investigación analizará primero los comportamientos de las neuronas y el peso respectivo asociado con las predicciones del modelo, para obtener información sobre la lógica de decisión empleada por el sistema de IA.

Los investigadores también explorarán las características importantes que contribuyen a las predicciones del modelo, específicamente por qué ciertos puntos de datos se clasifican como precursores de ataques o amenazas. Esta exploración permitirá a los investigadores comprender cómo los ataques explotan las vulnerabilidades de los procesos de toma de decisiones de la IA.

Una vez que se obtenga una comprensión profunda de la lógica del proceso de toma de decisiones de la IA, los investigadores avanzarán para mejorar la solidez de los modelos contra tales ataques ajustando la influencia de las neuronas y/o prediciendo el peso para construir sistemas más resistentes.

El resultado de completar los paquetes de trabajo será una tecnología sólida donde los jueces determinarán cuál de los tres equipos avanzará a la etapa final del desafío.

Conjuntos de datos

Un proyecto de investigación tan completo requeriría un gran conjunto de datos. El conjunto de datos se extraerá de cuatro fuentes que incluyen:

Cómo se espera que sea el éxito

Cuando se le preguntó cómo sería el éxito, el profesor Xie respondió: “El éxito de nuestra investigación estará determinado por el logro de tres logros clave.

“El primer logro se basará en el desarrollo de técnicas avanzadas de ataque y defensa que puedan utilizarse para mejorar eficazmente la solidez de los sistemas CV tanto en el mundo físico como en el digital. Al hacerlo, esperamos mejorar significativamente la resiliencia y confiabilidad de los sistemas CV frente a amenazas potenciales. También queremos alcanzar o superar el umbral del 80% de precisión en la recuperación de los sistemas CV después de amenazas o ataques físicos”.

Concluyó así: “Dicho esto, nuestro objetivo final es ser una de las fuerzas impulsoras de la innovación para la industria audiovisual y de la automoción. Además de que Desay SV Automotive y CETRAN adopten nuestra tecnología, nuestra aspiración es que otras empresas y centros AV líderes también sigan su ejemplo”.

Descargo de responsabilidad: AAAS y EurekAlert! ¡No somos responsables de la exactitud de los comunicados de prensa publicados en EurekAlert! por instituciones contribuyentes o para el uso de cualquier información a través del sistema EurekAlert.