Anthropic, una startup de inteligencia artificial respaldada por el propietario de Google, Alphabet Inc , reveló el martes el conjunto de valores morales escritos que usó para entrenar y proteger a Claude, su rival en la tecnología detrás de OpenAI. ChatGPT.
Las pautas de valores morales, que Anthropic llama la constitución de Claude, se basan en varias fuentes, incluida la Declaración de Derechos Humanos de las Naciones Unidas e incluso las reglas de privacidad de datos de Apple Inc.
Las consideraciones de seguridad han pasado a primer plano a medida que los funcionarios estadounidenses estudian si regular la IA y cómo hacerlo, y el presidente Joe Biden dijo que las empresas tienen la obligación de garantizar que sus sistemas sean seguros antes de hacerlos públicos.
Anthropic fue fundado por exejecutivos de OpenAI respaldado por Microsoft Corp. para centrarse en crear sistemas de IA seguros que, por ejemplo, no les digan a los usuarios cómo construir un arma o usen un lenguaje racialmente sesgado.
El cofundador Dario Amodei fue uno de varios ejecutivos de IA que se reunieron con Biden la semana pasada para discutir los peligros potenciales de la IA.
La mayoría de los sistemas de chatbots de IA se basan en recibir comentarios de humanos reales durante su entrenamiento para decidir qué respuestas pueden ser dañinas u ofensivas.
Pero esos sistemas tienen dificultades para anticipar todo lo que la gente podría preguntar, por lo que tienden a evitar algunos temas potencialmente polémicos como la política y la raza, haciéndolos menos útiles.
Anthropic adopta un enfoque diferente, brindando a su competidor de IA abierta, Claude, un conjunto de valores morales escritos para leer y aprender a medida que toma decisiones sobre cómo responder a las preguntas.
Esos valores incluyen «elegir la respuesta que más desaliente y se oponga a la tortura, la esclavitud, la crueldad y el trato inhumano o degradante», dijo Anthropic en una publicación de blog el martes.
También se le ha dicho a Claude que elija la respuesta menos probable de ser vista como ofensiva para cualquier tradición cultural no occidental.
En una entrevista, el cofundador de Anthropic, Jack Clark, dijo que la constitución de un sistema podría modificarse para realizar un acto de equilibrio entre brindar respuestas útiles y al mismo tiempo ser confiablemente inofensivo.
«En unos meses, predigo que los políticos estarán bastante enfocados en cuáles son los valores de los diferentes sistemas de IA, y los enfoques como la IA constitucional ayudarán con esa discusión porque podemos simplemente escribir los valores», dijo Clark.
