Nvidia presentó el lunes una nueva plataforma de seguridad diseñada para evitar que los agentes de inteligencia artificial se descontrolen, según anunció el fabricante de chips.
La compañía afirmó que su plataforma Open Agent Safety Platform incluye software de código abierto que «establece límites para los agentes», tras las revelaciones de destacados desarrolladores de IA sobre modelos que escapan y vulneran las organizaciones externas.
Estas revelaciones desataron un intenso debate sobre la seguridad de los sistemas avanzados de inteligencia artificial, incluidos los modelos de autoaprendizaje que, según algunos, podrían escapar al control humano.
Los ejecutivos de Nvidia afirmaron durante una rueda de prensa que la herramienta podría haber evitado un incidente reciente en el que un enjambre de agentes de OpenAI piratearon de forma autónoma la empresa de inteligencia artificial Hugging Face.
«Por lo que sabemos, esta nueva plataforma de seguridad podría haber evitado la brecha de seguridad si se hubiera utilizado en laboratorios de vanguardia para la evaluación de modelos desde el principio», dijo Justin Boitano, vicepresidente de IA empresarial de la compañía, refiriéndose a las empresas que están a la vanguardia de la IA.
La sonada filtración de datos de Hugging Face avivó las preocupaciones sobre la seguridad de la IA, seguida de incidentes similares en los que modelos de OpenAI accedieron al sitio web del departamento de salud australiano.
Anthropic y Meta también revelaron que sus sistemas de IA piratearon de forma independiente organizaciones externas.
El software de la compañía, llamado OpenShell, permite a los desarrolladores «verificar formalmente que un agente tiene la autoridad suficiente para hacer su trabajo y nada más», dijo Boitano.
Al ser una solución de código abierto, puede «extenderse» para funcionar en plataformas informáticas de la competencia, incluidas las fabricadas por Arm e Intel.
La plataforma también cuenta con una capa de seguridad integrada en el chip, llamada Sentry, que supervisa continuamente la actividad de los agentes de IA y puede «intervenir instantáneamente» si un agente intenta sobrepasar su objetivo, según informó la compañía.
«Puede poner en cuarentena a un agente sospechoso en milisegundos», dijo Boitano.
«OpenShell controla las acciones del agente, y luego Sentry supervisa y contiene de forma independiente los comportamientos sospechosos», dijo Boitano.
Nvidia afirmó que más de 100 organizaciones están utilizando la plataforma en su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.
El debate sobre la seguridad ha dividido al sector. Los directivos de Anthropic y OpenAI abogan por una desaceleración coordinada del desarrollo de la IA para que las medidas de seguridad puedan ponerse al día. Otros, como Jensen Huang, CEO de Nvidia, sostienen que cada empresa debe garantizar la seguridad de sus modelos antes de su lanzamiento.
Durante su intervención en la conferencia tecnológica anual de Salesforce a principios de este mes, Huang describió la seguridad de la IA, incluida la amenaza de los agentes maliciosos, como un desafío de ingeniería que los desarrolladores de software pueden resolver.
Además, el lunes, Nvidia anunció que su junta directiva aprobó ampliar su programa de recompra de acciones en 150.000 millones de dólares, lo que eleva el total a 235.000 millones de dólares.
Fuente; finance.yahoo
