Un nuevo punto de referencia de IA prueba la velocidad de las respuestas a las consultas de los usuarios

El grupo de evaluación comparativa de inteligencia artificial MLCommons publicó el miércoles un nuevo conjunto de pruebas y resultados que califican la velocidad a la que el hardware de primera línea puede ejecutar aplicaciones de inteligencia artificial y responder a los usuarios.
Los dos nuevos puntos de referencia agregados por MLCommons miden la velocidad a la que los chips y sistemas de IA pueden generar respuestas a partir de los potentes modelos de IA repletos de datos. Los resultados demuestran aproximadamente la rapidez con la que una aplicación de inteligencia artificial como ChatGPT puede brindar una respuesta a la consulta de un usuario. Uno de los nuevos puntos de referencia agregó la capacidad de medir la velocidad de un escenario de preguntas y respuestas para modelos de lenguaje grandes. Llamada Llama 2, incluye 70 mil millones de parámetros y fue desarrollada por Meta Platforms. Los funcionarios de MLCommons también agregaron un segundo generador de texto a imagen al conjunto de herramientas de evaluación comparativa, llamado MLPerf, basado en el modelo Stable Diffusion XL de Stability AI.
Servidores impulsados ​​por chips H100 de Nvidia construidos por empresas como Google de Alphabet, Supermicro y Nvidia ganó cómodamente ambos nuevos puntos de referencia en cuanto a rendimiento bruto. Varios fabricantes de servidores presentaron diseños basados ​​en el chip L40S, menos potente de la empresa. El fabricante de servidores Krai presentó un diseño para el punto de referencia de generación de imágenes con Qualcomm Chip de IA que consume mucha menos energía que los procesadores de última generación de Nvidia.
Intel también presentó un diseño basado en sus chips aceleradores Gaudi2. La empresa calificó los resultados de «sólidos». El rendimiento bruto no es la única medida crítica al implementar aplicaciones de IA. Los chips de IA avanzados consumen enormes cantidades de energía y uno de los desafíos más importantes para las empresas de IA es implementar chips que ofrezcan una cantidad óptima de rendimiento con una cantidad mínima de energía.
Información de Max A. Cherney en San Francisco; Edición de Jamie Freed
Fuente: reuters

Artículos Relacionados

DEJA UN COMENTARIO:

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.