La semana pasada, la Conferencia de IA de Singapur de 2025 reunió a más de 100 participantes de 11 países para identificar las prioridades de investigación en seguridad de la IA

Dicha reunión,  dio como resultado un documento de consenso de 40 páginas 

La conferencia contó con la participación de todos los institutos de seguridad de IA del gobierno, incluyendo los de EE. UU. y China. Cabe destacar que fue patrocinada por el gobierno de Singapur y contó con la participación de todos los institutos gubernamentales de seguridad de IA, incluyendo el AISI de EE. UU. y su homólogo chino.

Singapur tiene vínculos estrechos con Estados Unidos y China, y su gobierno ha mostrado anteriormente su apoyo a la seguridad de la IA, lo que significa que tiene el potencial de desempeñar un papel clave en la negociación de acuerdos internacionales sobre IA entre Estados Unidos y China.

El documento recomienda una defensa exhaustiva para la seguridad de la IA. 

El documento de consenso adopta un enfoque de defensa exhaustiva (propuesto en Problemas sin resolver en la seguridad del aprendizaje automático ) para la investigación técnica en seguridad de la IA, basado en tres pilares: evaluación de riesgos, desarrollo y control.

  • Evaluación de riesgos. El primer pilar propone líneas de investigación para que la medición de riesgos sea rigurosa, repetible y difícil de manipular. Estas herramientas permitirían a los reguladores establecer límites claros para el escalamiento.
  • Desarrollo. El segundo pilar se centra en integrar la seguridad en el proceso de desarrollo, convirtiendo objetivos generales en requisitos de diseño concretos, incorporando salvaguardas durante la capacitación y realizando pruebas de estrés de los modelos antes de su lanzamiento.
  • Monitoreo y Control. El tercer pilar busca controlar los sistemas implementados mediante monitoreo continuo, opciones de apagado confiables y el seguimiento del uso de los sistemas. Estas medidas buscan detectar problemas a tiempo y brindar a las autoridades mecanismos claros para intervenir cuando sea necesario.

Cada área contiene programas de investigación concretos diseñados para ofrecer a los responsables de las políticas “áreas de interés mutuo” compartidas donde la cooperación es racional incluso entre competidores.

Si bien el documento no innova en aspectos técnicos ni aborda cuestiones no técnicas como los conflictos geopolíticos, estos tres pilares muestran cómo incluso empresas y estados rivales pueden beneficiarse de la cooperación en la investigación técnica sobre seguridad de la IA.