Поделиться
В коде, написанном ИИ, значительно больше серьезных ошибок и крупных проблем, чем у живых программистов
Исследователи обнаружили, что код, сгенерированный ИИ, по сравнению с кодом, созданным человеком, содержит намного больше проблем с логикой, безопасностью и производительностью. Зато орфографических ошибок ИИ допускает меньше, чем люди-программисты.
Анализ кода, созданного ИИ
Генерация кода с использованием искусственного интеллекта значительно увеличивает количество ошибок и серьезных проблем, приводит Register выводы исследования платформы CodeRabbit, проанализировавшей 470 запросов Pull Request (запрос на внесение изменений в открытый исходный код).
В Pull Request, сгенерированных ИИ обнаружено в среднем 10,83 проблем, что примерно в 1,7 раза больше, чем в запросах, сгенерированных человеком (6,45 проблем). Релизы, написанные ИИ, еще и содержат в 1,4 раза больше критических проблем и в 1,7 раза больше серьезных проблем, чем релизы, написанные людьми.
Исследование подтвердило то, что многие команды чувствовали на протяжении всего 2025 г., заявил Дэвид Локер (David Loker), директор по ИИ в CodeRabbit. По его словам, инструменты программирования на основе ИИ увеличивают производительность, но создают недостатки, требующие времени и усилий на их устранение,
Серьезные проблемы в кодах ИИ-программистов
Аналитики обнаружили, что код, сгенерированный ИИ, уступает коду, созданному обычными программистами, по основным категориям проблем. ИИ создал больше логических ошибок и ошибок корректности (в 1,75 раза), больше ошибок качества и удобства сопровождения кода (в 1,64 раза), больше проблем с безопасностью (в 1,57 раза) и больше проблем с производительностью (в 1,42 раза).
Например, сгенерированный ИИ код в 1,88 раза чаще приводил к неправильной обработке паролей, в 1,91 раза чаще — к небезопасным ссылкам на объекты, в 2,74 раза чаще — к появлению уязвимостей XSS и в 1,82 раза чаще — к реализации небезопасной десериализации (преобразование данных из формата хранения обратно в рабочий объект).
А вот в орфографии ИИ превзошел людей. В его запросах ошибки встречались в 1,76 раза реже. Кроме этого, в коде, написанном людьми, было в 1,32 раза больше проблем с тестируемостью.
Результаты других исследований
В отчете CodeRabbit есть оговорка о наличии некоторых ограничений методологии (например, невозможность стопроцентно утверждать, что запросы, помеченные как созданные людьми, действительно были созданы исключительно людьми). Но некоторые другие исследования подтверждают его выводы.
Так, специалисты разработчика ПО для анализа безопасности приложений Apiiro, проанализировав массив программного кода, полученного из открытых источников, как писал CNews в сентябре 2025 г., пришли к выводу, что при использовании ИИ-ассистентов проблемы безопасности в коде создаются в 10 раз чаще.
В мае 2025 г. Университет Сан-Франциско (Калифорния, США), Векторный институт (Канада) и Массачусетский университет в Бостоне (Массачусетс, США) опубликовали препринт работы, в рамах которой тоже установили, что использование ИИ-моделей для итеративного улучшения образцов программного кода способствует снижению его безопасности.
Но есть и другие мнения. Например, в опубликованной в январе 2025 г. работе исследователей из Университета Монаша (Австралия) и Университета Отаго (Новая Зеландия), которую цитирует Register, говорится: «Наши результаты показывают, что код, сгенерированный GPT-4, прошел проверку в большем количестве случаев по целому ряду задач, чем код, сгенерированный людьми». Статья называлась «Сравнение кода, сгенерированного человеком и программистом: вопрос остается открытым!».
Короткая ссылка
