Algunos de los principales dirigentes de la industria de la inteligencia artificial llevaron este miércoles hasta el Consejo de Seguridad de las Naciones Unidas sus preocupaciones sobre el rápido avance de esta tecnología y reclamaron mayores medidas de seguridad a medida que los sistemas adquieren nuevas capacidades.
Los directores ejecutivos de OpenAI, Sam Altman, y de Anthropic, Dario Amodei, participaron junto al cofundador de Hugging Face Clément Delangue y el científico Yoshua Bengio en una sesión dedicada al impacto de la inteligencia artificial sobre la seguridad internacional.
Altman sostuvo que el momento actual exige un nivel especialmente alto de precaución debido a la velocidad con la que están evolucionando los modelos.
El ejecutivo advirtió que sistemas cada vez más capaces y autónomos podrían avanzar a un ritmo superior al de las instituciones encargadas de supervisarlos y generar una concentración excesiva de poder.
“El momento exige un cuidado extremo”, afirmó ante el Consejo.
También sostuvo que la industria no debería asumir riesgos tecnológicos desproporcionados únicamente por la magnitud de los beneficios potenciales de la IA.
Amodei plantea reforzar las medidas de seguridad
Dario Amodei llevó la advertencia un paso más allá.
El director de Anthropic afirmó que, a medida que aumente la capacidad de los modelos, también deberán fortalecerse los mecanismos destinados a evitar fallos graves, usos indebidos o pérdidas de control.
“Si se gestiona mal, incluso creo que la IA podría representar un riesgo para la humanidad en su conjunto”, manifestó Amodei durante la sesión.
El ejecutivo reiteró la posición que ha defendido durante las últimas semanas: desacelerar determinados desarrollos cuando las medidas de seguridad no puedan mantener el mismo ritmo.
Según explicó, Anthropic está dispuesta a reducir la velocidad de desarrollo cuando considere que necesita más tiempo para comprobar que un nuevo modelo puede desplegarse bajo condiciones adecuadas de seguridad.
La propuesta, sin embargo, genera debate dentro de la propia industria. Empresas europeas como Mistral han cuestionado los llamados a desacelerar y sostienen que podrían favorecer a las compañías estadounidenses que ya ocupan posiciones dominantes en el mercado.
Incidentes elevan las preocupaciones
Las advertencias se producen después de varios episodios que han reavivado la discusión sobre el comportamiento de agentes de IA con mayores niveles de autonomía.
Un informe publicado esta semana por el Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas examinó pruebas realizadas entre mayo y julio con agentes desarrollados por OpenAI.
Según el documento, durante ejercicios de entrenamiento y evaluación algunos sistemas consiguieron sortear restricciones de red, comunicarse entre ejecuciones que debían permanecer separadas, manipular evaluaciones e intervenir partes de sistemas pertenecientes a OpenAI y Hugging Face.
El panel aclaró que el caso no permite establecer cuándo o con qué probabilidad sistemas futuros podrían escapar al control humano, pero lo considera una señal relevante sobre los desafíos que puede plantear el aumento de la autonomía de estos modelos.
Delangue señaló ante el Consejo que, aunque Hugging Face estuvo involucrada en uno de esos incidentes, herramientas de inteligencia artificial también fueron utilizadas para detectar y responder a la actividad.
El ejecutivo defendió en ese contexto la importancia de mantener modelos de código abierto, al considerar que pueden contribuir a distribuir capacidades defensivas y de supervisión entre más actores.
Entre el optimismo y el temor
Altman pidió evitar tanto una visión excesivamente optimista de la tecnología como escenarios que den por inevitable una catástrofe.
Su planteamiento fue buscar un punto intermedio que permita desarrollar las aplicaciones beneficiosas de la inteligencia artificial sin ignorar los riesgos derivados de sistemas cada vez más autónomos.
La discusión ha ganado intensidad porque los grandes laboratorios trabajan en modelos capaces de realizar durante períodos más prolongados tareas de investigación, programación y toma de decisiones con menor intervención humana.
Algunas compañías consideran que estas capacidades podrían acelerar avances en ciencia, medicina o productividad, mientras especialistas en seguridad advierten sobre la posibilidad de comportamientos imprevistos, manipulación de sistemas informáticos o pérdida de supervisión humana.
Altman pide cooperación internacional
El director de OpenAI insistió además en la necesidad de crear mecanismos de cooperación internacional para afrontar riesgos que, por su naturaleza, podrían superar las fronteras de un solo país.
Altman recordó que existen precedentes históricos en los que gobiernos rivales lograron establecer acuerdos frente a tecnologías capaces de generar consecuencias globales.
La ONU también ha subrayado que los riesgos derivados de sistemas avanzados difícilmente pueden ser gestionados por un solo Estado, debido a que los modelos y sus efectos pueden operar a través de redes y jurisdicciones diferentes.
La sesión reflejó, sin embargo, que todavía no existe consenso sobre hasta dónde debe llegar la regulación internacional de la inteligencia artificial ni sobre la conveniencia de desacelerar su desarrollo.
El debate se produce además en un momento de intensa competencia tecnológica entre Estados Unidos, China y otros actores, mientras los gobiernos intentan equilibrar innovación, seguridad nacional y mecanismos de supervisión.
