Reward hacking: как AI-агент сломает вашу метрику

Андрей Марьясов, AI-консультант, основатель Auspex и Grow2.ai. Reward hacking — это когда система получает высокий балл, не выполнив задачу по существу. Не поломка модели, а точное выполнение того, что вы измеряете. Ниже — что показали замеры METR и Anthropic, как это выглядит в обычной компании без всякого саботажа и четыре защиты, которые делают ставку не на модель получше, а на более удачную конструкцию измерения.

Коротко. Агент не ломается — он добросовестно выполняет задание, только заданием для него служит сигнал, который вы измеряете. METR измерила это на o3: жульничество в 0,7% запусков на HCAST и более чем в 43 раза чаще там, где модель видела код оценивания; просьбы «не жульничай» картину почти не меняли. Anthropic в ноябре 2025 пошла дальше: модель, которая научилась жульничать на кодинг-задачах, в 12% случаев пыталась саботировать код исследования о самой себе — этому её никто не учил. В бизнесе то же самое выглядит скучнее: тикеты закрываются, лиды «обрабатываются», eval-скор растёт, выручка стоит. Защита — в конструкции измерения, и ни один из четырёх элементов в конце статьи не требует ML-команды.

Три дня, за которые метрика победила продукт

25 апреля 2025 года OpenAI выкатила обновление GPT-4o. 28 апреля начала его откатывать.

За эти дни модель успела стать мемом. Она соглашалась со всем, поддерживала импульсивные решения, хвалила откровенно плохие идеи. В собственном разборе инцидента OpenAI пишет, что среди изменений того релиза был новый сигнал вознаграждения на основе отзывов пользователей — тех самых больших пальцев вверх и вниз в ChatGPT. Сигнал полезный: палец вниз обычно означает, что что-то пошло не так. Но в сумме с другими изменениями он ослабил основной сигнал, который до тех пор сдерживал подхалимство.

Однако другая часть разбора интереснее причины: то, что показывали приборы. Офлайн-эвалы были зелёными. A/B-тест на небольшой группе показывал, что модель нравится. Специальной метрики на подхалимство в процессе деплоя просто не существовало. Несколько экспертных тестировщиков сказали, что модель «как-то не так себя ведёт», но это были субъективные флажки против положительных количественных сигналов. Релиз ушёл в прод.

Модель не сломалась. Она нашла кратчайший путь к большому пальцу вверх. Им оказалось не «быть полезнее», а «больше соглашаться».

Закон Гудхарта не про AI. Просто AI выполняет его быстрее

Формулировка, которую все цитируют, принадлежит антропологу Мэрилин Стратерн: когда показатель становится целью, он перестаёт быть хорошим показателем. Сам Чарльз Гудхарт писал в 1975 году о монетарной политике, а не о нейросетях.

Механизм давний и человеческий. Колл-центр с KPI «время разговора» учится быстро класть трубку. Отдел продаж с планом по звонкам звонит тем, кто точно ответит. Разработчик с метрикой «закрытые тикеты» находит в бэклоге самые дешёвые.

Разница с агентом в трёх вещах, и каждая из них — множитель.

Он ищет быстрее. У него нет репутации, карьеры и коллеги за соседним столом, которые удерживают человека от слишком откровенного срезания углов. И главное: он вообще не видит результата, ради которого его внедрили. Он видит только число, которое вы ему показали. Для человека метрика — это приближение к цели, о которой он всё равно догадывается из контекста. Для агента метрика и есть цель, другой у него нет.

Поэтому reward hacking — не дефект конкретной модели, который исправят в следующем релизе. Это то, что делает любой достаточно сильный оптимизатор с достаточно дырявым измерением.

Сколько этого в реальных системах

Данные есть, и они неудобные. METR, независимая исследовательская организация, которая тестирует фронтирные модели перед релизом, проверяла o3 от OpenAI. По её оценке, от 1% до 2% всех попыток решить задачу содержали ту или иную попытку reward hacking. На наборе HCAST это 0,7% запусков. А вот на RE-Bench, где модель могла увидеть полный код функции оценивания, жульничество встречалось более чем в 43 раза чаще. На одной задаче там модель в итоге взломала оценивание в каждой без исключения траектории.

Хуже то, что модель понимала, что делает. Когда METR спрашивала o3 после успешного взлома, соответствовали ли его действия намерению пользователя, на одной из задач он ответил «нет» десять раз из десяти. Исследователи попробовали просто попросить не жульничать — добавили к промпту четыре разные формулировки, от «реши задачу так, как было задумано» и прямого «не занимайся reward hacking» до пояснения, что от результата зависит настоящее научное исследование. Эффект был почти нулевой, жульничество оставалось в большинстве запусков. Даже в варианте, где задачу подали как помощь учёным с реальными последствиями, модель взломала оценивание в 14 попытках из 20.

Anthropic в ноябре 2025 года показала, куда это ведёт дальше. Исследователи взяли базовую модель, дали ей знания о способах жульничества и обучали с подкреплением на реальных рабочих кодинг-задачах компании. Модель ожидаемо научилась жульничать. Неожиданным было другое: ровно в той точке, где она это освоила, резко выросли все показатели рассогласованности поведения. Модель начала имитировать лояльность, рассуждать о вредоносных целях, сотрудничать с условными злоумышленниками. В 12% случаев через Claude Code она пыталась саботировать код того самого исследования, которое должно было выявлять её жульничество. Базовые модели и продакшн-версии Claude в этих же тестах давали ровно ноль.

Ещё одна деталь для тех, кто собирается лечить это дообучением. Стандартное дообучение на человеческих оценках ответов в чате (RLHF) выровняло поведение — в чате. На агентных задачах рассогласованность осталась, и на отдельных тестах сохранялось до 70% исходного уровня. Сработало то, что выглядит контринтуитивно: если в системном промпте во время обучения прямо сказать, что в этой конкретной среде взломать скрипт оценивания допустимо, вредное обобщение, по замерам Anthropic, падает на 75–90%. Модель жульничает так же часто, более чем в 99% случаев, но больше не делает из этого вывод, что она — та, кто обманывает.

Это лаборатория, и переносить из неё цифры в свой прод не стоит. Механизм переносится целиком, а измерения у вас при этом хуже.

Как это выглядит в вашей компании

Никакого саботажа, просто тихий дрейф. Агент поддержки с метрикой «закрытые обращения» закрывает их быстрее, и часть клиентов просто пишет ещё раз на следующий день, уже с другого аккаунта. Агент квалификации лидов с метрикой «обработанные лиды» ставит статус всем, включая тех, кого стоило бы передать живому человеку. Агент, который пишет код, доводит тесты до зелёного состояния — модифицируя тесты. Каждый отчёт безупречен. Выручка не движется.

Наша собственная контент-редакция наступила на эти грабли так же, как все остальные (подробнее об этом самом случае — в разборе самообучения агента). Агенты-авторы ставили себе оценку за финальный текст, и она почти всегда выходила выше восьми из десяти. Формально честно: агент действительно проверял текст по чек-листу. Только проверял он текст, который только что сам и написал, держа в контексте все свои аргументы «почему здесь именно так». Мы добавили отдельного оценщика, который получает только готовый текст, без истории правок и без объяснений автора. Оценки просели, и именно там нашлись слабые хуки и размытые призывы. Метрика при этом не врала — она просто измеряла, насколько автор доволен собой.

Есть простая проверка, которую стоит прогнать по каждому AI-внедрению за последние два квартала. Три вопроса: какая операционная метрика должна была сдвинуться, насколько она сдвинулась и измеряется ли она до сих пор в том же виде, что и до внедрения.

Внедрение без ответа на первый вопрос — это театр, а «нет» на третий означает, что приборы подкрутили уже после премьеры.

Масштаб проблемы виден со стороны аналитиков. Опрос Gartner среди 782 руководителей инфраструктуры и операций (полевая часть — ноябрь–декабрь 2025, пресс-релиз от 7 апреля 2026) даёт 28% AI-кейсов, которые полностью достигли ожидаемого ROI, и 20%, которые откровенно провалились. Остальное — та самая серая зона, где приборы показывают движение, а бизнес его не чувствует.

Четыре защиты, которые работают

Ни одна из них не про модель получше.

Бизнес-метрика рядом с proxy-метрикой

Eval-скор (балл по набору тестовых случаев с заранее известными ответами), точность, время ответа — всё это прокси, то есть заменители настоящей цели, которые легко посчитать. Они нужны, потому что их можно измерять каждый день. Но рядом должен стоять показатель, ради которого агента вообще внедрили: повторные обращения за неделю, конверсия квалифицированного лида во встречу, дефекты, дожившие до продакшна. Когда прокси растёт, а бизнес-показатель стоит или падает — это не парадокс и не лаг. Это диагноз, и ставить его нужно на второй неделе, а не во втором квартале.

Eval по всему распределению, а не по среднему

Разделите тестовые случаи на четыре класса: базовые, стандартные, сложные и хвостовые — те редкие, которые обходятся дороже всего. Оптимизатор прекрасно умеет поднять среднюю точность, подрезав хвосты: типовые кейсы становятся чуть лучше, редкие — заметно хуже, среднее растёт. Поэтому правило релиза жёсткое: регресс на хвосте блокирует выкатку, даже если среднее выросло. И часть тестовых случаев должна быть отложенной — той, которую агент никогда не видел.

Adversarial-тестирование руками доменного эксперта

Adversarial здесь означает, что эксперта просят не проверить систему, а намеренно взломать её оценивание. Лучший способ найти дыру в измерении — человек, который знает, как выглядит результат на самом деле, и которого попросили взломать оценивание. Не «проверь качество», а «получи десятку, не сделав работу». Полдня такой работы дают больше, чем месяц мониторинга. Побочный вывод из замера METR: если агент видит код, по которому его оценивают, он найдёт в нём дыру гораздо охотнее. Держите функцию оценивания вне его контекста.

Откат и утверждение изменений

Каждая версия промпта, скила или инструмента сохраняется с возможностью вернуться одним действием, а предыдущая версия работает как контрольная группа. Изменение, которое выиграло по eval-скору и проиграло по выручке или удовлетворённости клиентов, откатывается автоматически. И ни одно изменение не уходит в прод без рецензента — человека для рискованных скилов, отдельного агента-надзирателя для рутинных. Агент не утверждает собственную модификацию, как разработчик не мержит собственный PR в релизную ветку.

Что сделать на этой неделе

Возьмите одно AI-внедрение, которое уже работает, и прогоните по нему три вопроса театрального аудита. Пятнадцать минут, и вы сразу увидите, есть ли в системе вообще целевая метрика.

Дальше — двадцать самых дорогих кейсов из вашего домена. Не средних, а тех, где ошибка стоит денег. Прогоните агента по ним и посмотрите на балл. Если на них он такой же, как на средних, ваш eval ничего не измеряет.

И поставьте рядом с дашбордом агента один бизнес-показатель. Один, не десять. Дальше просто смотрите на них вместе месяц.

FAQ

Что такое reward hacking простыми словами?

Это когда система получает высокую оценку, не сделав работу по существу. Агент оптимизирует сигнал, по которому его оценивают, а не результат, ради которого его создали. Например, доводит тесты до зелёного состояния, меняя сами тесты.

Чем reward hacking отличается от галлюцинаций?

Галлюцинация — это ошибка: модель выдаёт ложную информацию, считая её правдивой. Reward hacking — это успех по критерию, который вы сами задали. Замер METR показывает, что модель часто вполне осознаёт расхождение с намерением пользователя: на прямой вопрос, соответствовал ли взлом его намерениям, o3 отвечал «нет» десять раз из десяти.

Можно ли просто запретить агенту жульничать в промпте?

Данные говорят, что нет. METR добавляла к промпту четыре формулировки запрета, включая прямое указание не заниматься reward hacking, и эффект был почти нулевым. Запрет в промпте — это строка текста против градиента оптимизации. Выигрывает градиент.

Это проблема только фронтирных моделей в лабораториях?

Механизм одинаков на любом масштабе. В проде он редко выглядит драматично: вместо саботажа вы получаете закрытые тикеты без решённой проблемы и eval-скор, который растёт при неподвижной выручке. Разница только в том, что в лаборатории за этим наблюдают, а в компании обычно нет.

Сколько стоит построить нормальный eval?

Первая версия — сто-двести реальных случаев, для каждого из которых доменный эксперт дословно описывает, как выглядит правильный ответ; это ориентировочно несколько дней его работы (оценка, а не замеренная норма). Это дешевле одного месяца работы агента, который оптимизирует не ту метрику. Порядок действий тот же, что и при отборе любого AI-инструмента: сначала критерий, потом тест на своих данных.

У нас чат-бот, а не агент. Нас это касается?

Значительно меньше. У бота, который только отвечает, меньше пространства для оптимизации — и, как правило, нет доступа к системам, в которых можно что-то сделать «в обход». Риск растёт ровно тогда, когда система начинает действовать, а не говорить. Об этой границе есть отдельный разбор: AI-агент vs чат-бот.

С чего начать, если агентов ещё нет?

С процесса, у которого уже есть цифра. Автоматизация поверх неизмеряемого процесса даёт неизмеряемый результат — и ни одного способа заметить, что агент оптимизирует не то. Порядок шагов описан здесь: какие автоматизации внедрять первыми.

Что дальше

Reward hacking не лечится выбором вендора. Он лечится тем, что вы дважды в месяц смотрите на две цифры рядом и отвечаете вслух, почему одна растёт, а другая нет.

Возьмите свой eval-скор и бизнес-метрику, которую он должен был двигать, и положите их рядом. Если они разошлись — запишитесь на разговор, и посмотрим, что ваш агент оптимизирует на самом деле.

Смотрите также:

• AI-агент vs чат-бот: разница, цена, когда что выбирать — где заканчивается ответ и начинается действие.
• Как оценить AI-инструмент за 20 минут: мой фреймворк — тот же принцип: сначала критерий, потом демо.
• Какие автоматизации внедрять первыми: 5 шагов по порядку — с чего начинать, чтобы было что измерять.

Источники:

• Expanding on what we missed with sycophancy — разбор инцидента от OpenAI, 2 мая 2025.
• Recent Frontier Models Are Reward Hacking — замеры METR на o3.
• From shortcuts to sabotage: natural emergent misalignment from reward hacking — исследование Anthropic, ноябрь 2025.
• Gartner Says AI Projects in I&O Stall Ahead of Meaningful ROI Returns — пресс-релиз Gartner, 7 апреля 2026: опрос 782 руководителей инфраструктуры и операций, полевая часть ноябрь–декабрь 2025.