Aunque la IA se suele promocionar como la solución para todo tipo de tareas, cuando se trata de desarrollar software parece que no siempre mejora las cosas.
Un nuevo estudio de Uplevel sugiere que las herramientas de desarrollo actuales basadas en GenAI no tienden a aumentar la eficiencia de la codificación y, de hecho, pueden incrementar las tasas de errores.
La investigación fue realizada por Uplevel Data Labs, la rama de ciencia de datos de Uplevel. Examinó una muestra de 800 desarrolladores de software en grandes equipos de ingeniería cuyas organizaciones habían adoptado GitHub Copilot de Microsoft, un asistente de codificación y herramienta para desarrolladores basada en GenAI.
Los desarrolladores que utilizaron Copilot no experimentaron un aumento de la velocidad de codificación. En términos de tiempo de ciclo de pull request (PR) (el tiempo para fusionar código en un repositorio) y rendimiento de PR (número de pull requests fusionadas), Copilot no ayudó ni perjudicó a los desarrolladores.
Tras la implantación de Copilot, los desarrolladores observaron un aumento del 41% en el número de errores en las pull requests, lo que sugiere que la herramienta puede afectar a la calidad del código.
El estudio también sugiere que el uso de Copilot sólo tiene un efecto limitado en el tiempo que los desarrolladores dedican al trabajo fuera del horario laboral. Disminuyó en un 17% para los que tenían acceso a Copilot pero, sobre todo, en un 28% para un grupo de control de los que no lo tenían.
«Los equipos de ingenieros de hoy en día buscan asignar su tiempo al trabajo de mayor valor, completar ese trabajo de la forma más eficaz posible y hacerlo sin agotarse», afirma Joe Levy, CEO de Uplevel. «Se fijan en los datos para impulsar la toma de decisiones, y ahora mismo, los datos no muestran ganancias apreciables en estas áreas específicas a través de la IA generativa. Pero la innovación avanza rápidamente, y no estamos sugiriendo que los desarrolladores ignoren herramientas basadas en GenAI como Copilot, Gemini o CodeWhisperer. Todas estas herramientas son nuevas, existe una curva de aprendizaje y la mayoría de los equipos aún tienen que dar con los casos de uso más eficaces que mejoren la productividad. Seguiremos observando estas perspectivas a medida que la adopción de GenAI siga creciendo, y recomendamos a cualquiera que invierta en herramientas GenAI que haga lo mismo.»
Fuente WEB | Editado por CambioDigital Online
