Ловушка маляра Шлемиля

Прежде предыстория и сам анекдот.

Маляр Шлемиль подрядился красить пунктирные осевые линии на дорогах. В
первый день он получил банку краски, поставил ее на дорогу, и к концу
дня покрасил 300 метров осевой линии. "Отлично!" сказал прораб, "быстро
работаешь!" - и заплатил ему копейку.

На следующий день Шлемиль покрасил 150 метров. "Мда, это, конечно, не
так здорово, как вчера, но приемлемо", - сказал прораб и заплатил ему
копейку.

На следующий день Шлемиль покрасил 30 метров. "Всего лишь 30!" заорал
прораб. "Это никуда не годится! В первый день было в десять раз больше!
В чем дело?"

"Ничего не могу поделать," - говорит Шлемиль. "Каждый день я ухожу все
дальше и дальше от банки!"

В классическом программировании ребята, которые знакомы с алгоритмами легко уловят контекст сравнений, если наша «банка с краской» это начало строки или массива, то бегом к ней можно назвать постоянный пересчет длины данных.

В контексте работы с ИИ возникает абсолютно идентичный эффект: первоначальный всплеск продуктивности быстро сменяется резким торможением.

Раздувание контекста возникает из-за того, что LLM обладают постоянной памятью. Чтобы ИИ ответил на ваш десятый и так далее вопрос в диалоге, архитектура трансформера вынуждена заново прочитать и обработать все предыдущие девять вопросов и ответов. Чем длиннее диалог, тем больше вычислительных ресурсов и времени требуется на генерацию следующего токена.

А, например, по мере отдаления от начала чата, ИИ начинает терять фокус. Даже базовые инструкции легко могут частично игнориться, и где-то на этом этапе начинаются те самые галлюцинации (или варики решений, которые противоречат начальному смыслу).

На практике даже самые преданные адепты нейросетей могут столкнуться с таким кейсом:

Допустим, в первый день по вашей фиче генерится 1000 строк в минуту. Вы вернётесь к задаче, когда QA найдут баги, отдадите новый промпт, и ИИ выдаст измененный код, но как говорится есть нюанс в виде скрытых багов. Теперь вам нужно тратить время и силы уже не на написание кода, а на вычитку ИИ-слопа, чтобы исправить баг, не сломав всё остальное.

😃 iOS Dev