La Inteligencia Artificial (IA) puede reconocer patrones, procesar grandes cantidades de datos y ejecutar tareas con una intervención humana cada vez menor; pero ¿qué sucede cuando un sistema autónomo actúa de una forma que sus creadores no habían previsto?
Para Seguritech, esa pregunta representa uno de los principales desafíos de la evolución tecnológica; conseguir que las capacidades de la IA avancen junto con mecanismos capaces de mantenerla bajo control.
El problema va más allá de los ataques informáticos; un sistema puede estar protegido frente a amenazas externas y, aun así, presentar errores, tomar decisiones inesperadas o interpretar de manera incorrecta las instrucciones que recibe.
Por ello, la seguridad debe considerarse desde el diseño de la tecnología y no únicamente cuando aparece una falla.
Pablo Maiolo, CTO de la compañía mexicana, destaca que esta discusión ha cobrado fuerza entre los especialistas y directivos que buscan establecer límites claros para el funcionamiento de los sistemas inteligentes.
Cuando los agentes autónomos generan nuevas preguntas
Los agentes de IA están diseñados para ejecutar tareas, interactuar con herramientas y responder a determinados objetivos con distintos grados de autonomía.
Dichas funciones pueden agilizar actividades complejas, aunque también hacen necesario comprobar cómo reaccionan ante situaciones imprevistas.
Durante una cumbre sobre seguridad de la IA celebrada en Dublín, Demis Hassabis, director de Google DeepMind, advirtió sobre los incidentes relacionados con agentes autónomos y señaló la necesidad de reforzar las medidas preventivas.
En ese mismo encuentro, Brad Smith, presidente de Microsoft, propuso establecer mecanismos de emergencia que permitan detener o ralentizar los sistemas cuando sea necesario; mientras que, Jensen Huang, director ejecutivo de NVIDIA, sostuvo que las empresas que desarrollan estas herramientas deben responsabilizarse de su seguridad.
De acuerdo con Radio Francia Internacional (RFI), las declaraciones de Huang se produjeron después de incidentes en los que sistemas de distintas compañías interactuaron con entornos externos fuera de los escenarios previstos.
Tales episodios ilustran por qué probar una herramienta en condiciones normales no siempre es suficiente, dictamina el directivo de la compañía líder en soluciones de misión crítica; no obstante, también es necesario evaluar sus respuestas ante situaciones poco frecuentes, instrucciones contradictorias o resultados inesperados.
Ver esta publicación en Instagram
¿Cómo se construye una IA más segura?
La respuesta comienza antes de que una aplicación llegue a sus usuarios; desde la perspectiva de Seguritech, es necesario examinar los riesgos potenciales, verificar la calidad y protección de los datos y someter los modelos a pruebas que permitan identificar vulnerabilidades.
También deben establecerse límites de actuación y mecanismos de intervención humana; porque si un sistema genera resultados anómalos, las personas responsables necesitan contar con procedimientos claros para detectar el problema, corregirlo y evitar que se repita.
El CTO de la empresa mexicana subraya que la seguridad comprende, además, la privacidad, la transparencia y los posibles sesgos algorítmicos; además, esos factores importan porque una decisión automatizada puede afectar a personas, organizaciones y servicios esenciales.
La discusión global continúa abierta: algunos líderes tecnológicos consideran necesario moderar el desarrollo de modelos avanzados, mientras otros buscan compatibilizar la innovación con nuevas medidas de protección.
Para Seguritech, el objetivo no consiste en frenar los beneficios de la IA, sino en crear condiciones para aprovecharlos responsablemente.
En tanto, la confianza en estas herramientas dependerá de que su funcionamiento pueda evaluarse, sus límites estén definidos y exista una supervisión efectiva durante todo su ciclo de vida.
TAMBIÉN TE PODRÍA INTERESAR: Seguritech explica cómo la IA transformó los centros de comando
