ChatGPT, nouveau meilleur ami du développeur ? Le robot est à la hauteur des meilleurs devs lorsqu’il s’agit de déboguer automatiquement du code. Reste à savoir s’il fait gagner du temps aux développeurs, ou s’il leur donne plus de travail.
ChatGPT, le chatbot boosté à l’IA d’OpenAI, peut écrire du code. Mais il peut aussi et surtout très bien corriger les bugs logiciels. Son principal avantage, par rapport aux autres méthodes et modèles d’IA, est sa capacité unique de dialogue avec les humains – ce qui lui permet d’améliorer l’exactitude de ses réponses.
Quelle efficacité face aux méthodes courantes ?
Pour mesurer son niveau d’efficacité, des chercheurs de l’université Johannes Gutenberg de Mayence (Allemagne) et de l’University College London (Grande-Bretagne) ont confronté le ChatGPT d’OpenAI aux « techniques standard de réparation automatique des programmes » et à deux approches de deep learning de la réparation des programmes : la méthode CoCoNut, créée par des chercheurs de l’université de Waterloo, au Canada ; et Codex, le modèle GPT-3 d’OpenAI qui sous-tend le service de complétion automatique de Copilot, de GitHub.
Après analyse des résultats, « nous constatons que les performances de ChatGPT en matière de correction de bugs sont compétitives par rapport aux approches de deep learning courantes CoCoNut et Codex », écrivent les chercheurs dans un document de recherche arXiv, repéré en premier lieu par New Scientist.
Avant d’ajouter que ces performances « sont nettement meilleures que les résultats rapportés pour les approches de réparation de programmes standard ».
OpenAI met en avant la capacité de dialogue de ChatGPT
Le fait que ChatGPT puisse résoudre des problèmes de codage n’est pas nouveau. Mais cette étude souligne que sa capacité unique de dialogue avec les humains lui donne un avantage potentiel sur d’autres approches et modèles.
Les chercheurs ont testé les performances de ChatGPT à l’aide du benchmark QuixBugs de correction de bugs. Les systèmes de réparation automatique de programmes (APR, pour « Automated Program Repair ») semblent être désavantagés, car ils ont été développés avant 2018.
ChatGPT est basé sur une architecture dite de transformation, dont le chef de l’IA de Meta, Yann LeCunn, a souligné cette semaine qu’elle avait été développée par Google. Codex, CodeBERT de Microsoft Research, et son prédécesseur BERT de Google, sont tous basés sur la méthode de Google.
OpenAI met en avant la capacité de dialogue de ChatGPT dans des exemples de débogage de code où il peut demander des clarifications et recevoir des conseils d’une personne pour arriver à une meilleure réponse. Il a formé les grands modèles de langage (LLM) derrière ChatGPT et GPT 3.5 en utilisant l’apprentissage par renforcement à partir du feedback humain (RLHF pour « Reinforcement Learning from Human Feedback »).
La qualité des suggestions reste incertaine
Si la capacité de discussion de ChatGPT peut aider à arriver à une réponse plus correcte, la qualité de ses suggestions reste incertaine, notent les chercheurs. C’est pourquoi ils ont voulu évaluer les performances de ChatGPT en matière de correction de bugs.
Les chercheurs ont testé ChatGPT sur 40 problèmes QuixBugs concernant uniquement Python, puis ont vérifié manuellement si la solution suggérée était correcte ou non. Ils ont répété la requête quatre fois car la fiabilité des réponses de ChatGPT est quelque peu aléatoire, comme l’a constaté un professeur de Wharton après avoir soumis le chatbot à un examen de type Master.
ChatGPT a résolu 19 des 40 bugs Python, ce qui le place au même niveau que CoCoNut (19) et Codex (21). Mais les méthodes standards de l’APR n’ont résolu que sept des problèmes.
Le taux de réussite de ChatGPT lors des interactions atteignait 77,5 %
Les chercheurs ont constaté que le taux de réussite de ChatGPT atteignait 77,5 %.
Les implications pour les développeurs en matière de productivité sont toutefois ambiguës. Stack Overflow a récemment banni les réponses générées par ChatGPT parce qu’elles étaient de faible qualité, mais d’apparence plausible. Le professeur de Wharton a estimé que ChatGPT pourrait être un excellent compagnon pour les étudiants en Master, car il peut jouer le rôle d’un « consultant intelligent » – qui produit des réponses élégantes, mais souvent fausses – et encourage la pensée critique.
« Cela montre que l’apport humain peut être d’une grande aide pour un système automatisé APR, ChatGPT fournissant les moyens de le faire », écrivent les chercheurs. « Malgré ses grandes performances, la question se pose de savoir si le coût mental requis pour vérifier les réponses de ChatGPT apporte. »
