В коде, написанном с использованием ИИ, встречается в 1,7 раза больше ошибок

Компания CodeRabbit проанализировала, как использование ИИ при написании кода влияет на его качество. Авторы изучили 470 реальных запросов на внесение изменений в код (Pull Requests) из открытых проектов на платформе GitHub, из которых 320 были помечены как созданные с участием ИИ, а 150 — как написанные разработчиками без его использования.

Проверка велась по единой методике и охватывала такие аспекты, как логика работы программы, удобство чтения и поддержки кода, безопасность и производительность. Результаты приводились в расчете на 100 запросов.

Некоторые наблюдения:

• в коде, написанном с помощью ИИ, в среднем выявлялось 10,8 проблемы на один запрос на внесение изменений, тогда как в написанном людьми без ИИ, — 6,4. В целом использование ИИ приводило к примерно в 1,7 раза большему числу ошибок;

• в коде, созданном с помощью ИИ, серьезных и критических ошибок обнаруживалось заметно больше. Число критических проблем было выше примерно в 1,4 раза, а серьезных — в 1,7 раза;

• ошибки логики и корректности в коде с участием ИИ возникали на 75% чаще, чем в коде, написанном людьми. Речь идет об ошибках в алгоритмах, неверном порядке действий и некорректных настройках, которые часто приводят к сбоям и инцидентам;

• проблемы безопасности в коде с участием ИИ возникали значительно чаще, чем в коде, написанном без ИИ. В целом таких ошибок было в 1,6 раза больше, а ошибки, связанные с неправильной работой с паролями — например, хранение паролей в открытом виде или небезопасная проверка доступа — появлялись примерно в два раза чаще;

• проблемы производительности встречались редко, но их обнаруживалось значительно больше в коде, написанном с помощью ИИ. В частности, избыточные операции ввода-вывода происходили примерно в восемь раз чаще, чем в коде, написанном людьми.

Узнать больше → (ENG, 15 стр.)