Contrariamente a la creencia popular, el uso de herramientas de inteligencia artificial de vanguardia ralentizó a los desarrolladores de software experimentados cuando trabajaban en bases de código que les eran familiares, en lugar de potenciar su trabajo, según un nuevo estudio.
La organización sin fines de lucro de investigación de IA METR realizó el estudio en profundidad, a principios de este año, un grupo de desarrolladores experimentados utilizó Cursor, un popular asistente de codificación de IA, para ayudarlos a completar tareas en proyectos de código abierto con los que estaban familiarizados. Antes del estudio, los desarrolladores de código abierto creían que usar IA les agilizaría el proceso, estimando que reduciría el tiempo de finalización de tareas en un 24 %. Incluso después de completar las tareas con IA, creían haber reducido los tiempos de las tareas en un 20 %. Sin embargo, el estudio reveló que usar IA tuvo el efecto contrario: aumentó el tiempo de finalización de tareas en un 19 %.
Los autores principales del estudio, Joel Becker y Nate Rush, dijeron que estaban sorprendidos por los resultados: antes del estudio, Rush había escrito que esperaba «un aumento de velocidad del doble, algo bastante obvio». Los hallazgos desafían la creencia de que la IA siempre hace que los costosos ingenieros humanos sean mucho más productivos, un factor que ha atraído inversiones sustanciales en empresas que venden productos de IA para ayudar al desarrollo de software. También se espera que la IA reemplace los puestos de programación de nivel inicial. Dario Amodei, director ejecutivo de Anthropic, declaró recientemente a Axios que la IA podría eliminar la mitad de todos los empleos administrativos de nivel inicial en los próximos uno a cinco años.
La literatura previa sobre mejoras de productividad ha encontrado ganancias significativas: un estudio encontró que el uso de IA aceleró a los codificadores en un 56 %., Otro estudio descubrió que los desarrolladores pudieron completar un 26% más de tareas., en un tiempo determinado. Sin embargo, el nuevo estudio de METR muestra que estas mejoras no se aplican a todos los escenarios de desarrollo de software. En particular, este estudio demostró que los desarrolladores experimentados, familiarizados con las peculiaridades y requisitos de las grandes bases de código abierto consolidadas, experimentaron una desaceleración.
Otros estudios a menudo se basan en puntos de referencia de desarrollo de software para IA, que a veces tergiversan las tareas del mundo real, dijeron los autores del estudio. La desaceleración se debió a que los desarrolladores necesitaron dedicar tiempo a revisar y corregir lo que sugerían los modelos de IA. “Cuando vimos los videos, descubrimos que las IA hicieron algunas sugerencias sobre su trabajo, y las sugerencias a menudo eran correctas, pero no exactamente lo que se necesitaba”, dijo Becker. Los autores advirtieron que no esperan que la desaceleración se aplique a otros escenarios, como por ejemplo para ingenieros jóvenes o ingenieros que trabajan en bases de código con las que no están familiarizados.
Aun así, la mayoría de los participantes del estudio, así como sus autores, siguen usando Cursor. Los autores creen que esto se debe a que la IA facilita la experiencia de desarrollo y, a su vez, la hace más agradable, similar a editar un ensayo en lugar de mirar una página en blanco.
«Los desarrolladores tienen objetivos distintos a completar la tarea lo antes posible», dijo Becker. «Por eso optan por esta vía que requiere menos esfuerzo».
Reporte de Anna Tong en San Francisco; Edición de Sonali Paul
Fuente: reuters
