La IA en defensa y seguridad: el reto de construir sistemas inteligentes en los que se pueda confiar

Expertos de Vicomtech, Sigma Cognition e ISDEFE debaten ante un comisario de la Policía Nacional cómo hacer que los sistemas de inteligencia artificial sean fiables en entornos críticos civiles y militares

Bajo el título Disrupción en contexto dual: IA confiable para uso civil y militar, esta mesa reunió tres perfiles que pocas veces coinciden en un mismo escenario: un ingeniero de telecomunicaciones con más de 20 años en seguridad e innovación europea, una experta en estrategia TIC con casi tres décadas de apoyo al sector público en defensa, y un especialista en transformación digital que lleva años ayudando a empresas a pasar de la experimentación a la confianza en sus sistemas de IA. Los tres moderados por Santiago Maroto, comisario principal de la Policía Nacional y jefe de la Unidad Central de Apoyo Tecnológico, que aportó al debate algo poco habitual en estos foros: la perspectiva de quien tiene que responder personalmente cuando un sistema falla en una operación real.

Antes de entrar en materia, Maroto se encargó de aclarar qué significa exactamente hablar de uso dual de la inteligencia artificial. "Significa aplicar las mismas capacidades, los mismos métodos, las mismas herramientas en tácticas ofensivas y tácticas defensivas", explicó. Pero también, añadió, implica combinar el uso civil y el militar: "La seguridad pública, ¿cómo la establecemos? ¿Es una actividad ofensiva? ¿La metemos en el mundo militar o en la puramente civil? Estamos en tierra de nadie y bebemos de todas las fuentes”. Con ese marco sobre la mesa, arrancó el debate.

El problema de medir la confianza

David Ríos, Security Business Manager de Vicomtech, centró su intervención en un reto que hasta hace poco apenas generaba interés en el mercado: medir la confiabilidad de los modelos de inteligencia artificial. "Cuando nosotros hemos tanteado el mercado desde hace dos o tres años sobre esta preocupación, la demanda era poca, muy poca gente estaba preocupada por la seguridad de los modelos", reconoció. La aparición del AI Act europeo cambió el panorama al establecer un marco basado en riesgo y definir conceptos como transparencia, robustez y confiabilidad. "Le ponemos ya cara y ojos a esta confiabilidad de la que estamos hablando", afirmó.

Vicomtech trabaja en el desarrollo de herramientas que permitan obtener una medida objetiva del perfil de riesgo de los modelos de machine learning, accediendo a su arquitectura interna (lo que denominan enfoque de caja blanca) en lugar de limitarse a observar su comportamiento externo. "Aspiramos a poner un granito de arena en el aseguramiento de la confiabilidad de los modelos, una demanda que viene sobre todo de sectores críticos, tanto civil como de defensa”.

Una tormenta perfecta regulatoria

Sonia Castillo, jefa del Área de Estrategia TIC e Inteligencia Artificial de ISDEFE, describió el contexto actual como "una pequeña tormenta perfecta": modelos que varían constantemente, sistemas probabilísticos en lugar de deterministas, un ritmo de cambio frenético y exigencias éticas y regulatorias crecientes. "Ya no podemos seguir utilizando los modelos de confianza y certificación tradicionales", advirtió.

Su propuesta pasa por cuatro elementos combinados: clasificar el riesgo de cada sistema ("no es lo mismo un sistema de alto riesgo, cuyas consecuencias de fallo pueden ser catastróficas, que uno de bajo riesgo"), certificar el resultado pero también el proceso de fabricación, aprovechar los entornos digitales y los gemelos digitales para validar escenarios de forma ágil y económica, y establecer una monitorización continua. "La confianza se tiene que producir no sólo en el resultado, en el sistema IA, sino también en el proceso de fabricación", subrayó. Y cerró con una idea central: "Lo que puede dar la clave de la adopción plena de la IA en un contexto dual es no frenar la innovación, pero tener al mismo tiempo ese modelo de confianza en los sistemas".

El lunes después de poner en producción

Carlos Marina, Chief Revenue Officer de Sigma Cognition, bajó el debate al terreno más inmediato con una pregunta que, aseguró, es la que realmente preocupa a la mayoría de las organizaciones: "He implementado la inteligencia artificial y el lunes, ¿qué hago?". Su respuesta se apoya en tres pasos que, insistió, no son nuevos: observación mediante herramientas, supervisión humana y documentación de lo ocurrido. "No se trata de tener una foto. De lo que se trata es de tener la película".

Para ilustrarlo, recurrió a la analogía de la aviación: "Todos tomamos aviones y hay un protocolo previo al vuelo. Hay unas cosas que hay que observar, unos profesionales que garantizan que esas observaciones se realizan y se toma nota de todo por si hay que hacer correcciones". Con la IA, explicó, ocurre lo mismo: los sistemas están expuestos a usos imprevistos y "la observabilidad es fundamental".

¿Quién responde cuando falla el sistema?

La pregunta sobre la responsabilidad fue quizás la que generó más tensión en la mesa. Castillo señaló el riesgo de fragmentación: "¿Quién diseña el modelo, quién lo entrena, quién lo integra y quién lo usa? Hay un riesgo de producir una fragmentación en la responsabilidad, especialmente en entornos críticos donde las consecuencias pueden ser muy significativas". Su propuesta pasa por estructurar explícitamente esa responsabilidad en la cadena de valor, alinearla con la capacidad real de control e incorporar trazabilidad: "Reconstruir qué ha pasado, quién tomó la decisión, quién tenía esa capacidad de intervenir en ese momento".

Maroto, desde su experiencia como responsable operativo, fue aún más directo: "Ya no nos podemos escudar en que he tomado esta decisión porque me lo ha proporcionado un sistema. Esa no es una explicación válida. Las responsabilidades compartidas suelen tener problemas".

Del laboratorio al valle de la muerte

El moderador también puso sobre la mesa otra cuestión espinosa que conoce bien desde las fuerzas de seguridad: la brecha entre la ambición de los proyectos de innovación y lo que llega finalmente a producción. "Llegamos al producto final y acaba en el valle de la muerte, ese valle que no llegas al TRL 8 y 9 cuando realmente se puede poner en producción. Y cuando finalmente llegas, el producto no se parece mucho a la ambición que tenías inicialmente".

Los tres ponentes cerraron con mensajes breves pero certeros. Ríos apostó por capacitarse para medir la confiabilidad de los sistemas de IA como "un habilitador de dualidad para utilizar IA civil en ámbitos críticos como seguridad y defensa". Castillo llamó a construir una confianza "cada vez más adaptativa, más sistemática y que promueva, que no frene la innovación". Y Marina instó a las organizaciones a buscar apoyo en empresas que garanticen "la observabilidad, la monitorización, la corrección y la documentación de lo que ocurre para que los responsables estén implementándolo confiablemente".