OpenAI y otros buscan un nuevo camino hacia una IA más inteligente a medida que los métodos actuales encuentran limitaciones

Las llamadas «ejecuciones de entrenamiento» para modelos grandes pueden costar decenas de millones de dólares si se ejecutan simultáneamente cientos de chips. Es más probable que tengan fallas inducidas por el hardware dada la complejidad del sistema; los investigadores pueden no conocer el desempeño final de los modelos hasta el final de la ejecución, que puede llevar meses.

Otro problema es que los modelos de lenguaje de gran tamaño absorben enormes cantidades de datos y los modelos de IA han agotado todos los datos de fácil acceso del mundo. La escasez de energía también ha dificultado las ejecuciones de entrenamiento, ya que el proceso requiere grandes cantidades de energía.

Para superar estos desafíos, los investigadores están explorando el “cómputo en tiempo de prueba”, una técnica que mejora los modelos de IA existentes durante la llamada fase de “inferencia”, o cuando se utiliza el modelo. Por ejemplo, en lugar de elegir inmediatamente una única respuesta, un modelo podría generar y evaluar múltiples posibilidades en tiempo real, y finalmente elegir el mejor camino a seguir.

Este método permite que los modelos dediquen más poder de procesamiento a tareas desafiantes, como problemas de matemáticas o de codificación u operaciones complejas que exigen razonamiento y toma de decisiones similares a los humanos.

“Resultó que hacer que un bot pensara durante solo 20 segundos en una mano de póquer obtenía el mismo rendimiento que ampliar el modelo 100.000 veces y entrenarlo durante 100.000 veces más tiempo”, dijo Noam Brown, un investigador de OpenAI que trabajó en o1, en la conferencia TED AI en San Francisco el mes pasado. OpenAI ha adoptado esta técnica en su modelo recién lanzado conocido como «o1», anteriormente conocido como Q* y Strawberry , que Reuters informó por primera vez en julio. El modelo O1 puede «pensar» en los problemas en varios pasos, de manera similar al razonamiento humano. También implica el uso de datos y comentarios seleccionados de doctores y expertos de la industria . La salsa secreta de la serie o1 es otro conjunto de entrenamiento realizado sobre modelos «base» como GPT-4, y la empresa dice que planea aplicar esta técnica con más modelos base y de mayor tamaño.

Al mismo tiempo, investigadores de otros laboratorios de IA importantes, como Anthropic, xAI y Google DeepMind, también han estado trabajando para desarrollar sus propias versiones de la técnica, según cinco personas familiarizadas con los esfuerzos.

“Vemos muchas oportunidades a nuestro alcance que podemos aprovechar para mejorar estos modelos muy rápidamente”, dijo Kevin Weil, director de productos de OpenAI en una conferencia tecnológica en octubre. “Cuando la gente se ponga al día, vamos a tratar de estar tres pasos más adelante”.

Google y xAI no respondieron a las solicitudes de comentarios y Anthropic no realizó comentarios inmediatos. Las implicaciones podrían alterar el panorama competitivo del hardware de IA, hasta ahora dominado por la demanda insaciable de chips de IA de Nvidia. Los inversores de capital de riesgo más destacados, desde Sequoia hasta Andreessen Horowitz, que han invertido miles de millones para financiar el costoso desarrollo de modelos de IA en múltiples laboratorios de IA, incluidos OpenAI y xAI, están tomando nota de la transición y sopesando el impacto en sus costosas apuestas.

“Este cambio nos llevará desde un mundo de clústeres masivos de preentrenamiento hacia nubes de inferencia, que son servidores distribuidos basados ​​en la nube para inferencia”, dijo a Reuters Sonya Huang, socia de Sequoia Capital. La demanda de los chips de inteligencia artificial de Nvidia, que son los más avanzados, ha impulsado su ascenso hasta convertirse en la empresa más valiosa del mundo, superando a Apple en octubre. A diferencia de los chips de entrenamiento, donde Nvidia domina, el gigante de los chips podría enfrentar más competencia en el mercado de inferencia.

Cuando se le preguntó sobre el posible impacto en la demanda de sus productos, Nvidia señaló las recientes presentaciones de la compañía sobre la importancia de la técnica detrás del modelo o1. Su CEO, Jensen Huang, ha hablado sobre la creciente demanda del uso de sus chips para inferencia. «Hemos descubierto una segunda ley de escala, y es la ley de escala en el momento de la inferencia… Todos estos factores han llevado a que la demanda de Blackwell sea increíblemente alta», dijo Huang el mes pasado en una conferencia en India, refiriéndose al último chip de inteligencia artificial de la compañía.