Reward hacking: як AI-агент зламає вашу метрику

Andrew Maryasov, AI-консультант, засновник Auspex і Grow2.ai. Reward hacking — це коли система отримує високий бал, не виконавши задачу по суті. Не поламка моделі, а точне виконання того, що ви вимірюєте. Нижче — що показали заміри METR і Anthropic, як це виглядає у звичайній компанії без жодного саботажу, і чотири захисти, які ставлять не на кращу модель, а на кращу конструкцію вимірювання.

TL;DR (за 30 секунд)

• Агент не ламається — він виконує завдання. Просто завдання для нього — це сигнал, який ви вимірюєте, а не результат, заради якого ви його впровадили.
• METR виміряла це на o3: читерство у 0,7% запусків на HCAST і в 43 рази частіше там, де модель бачила код оцінювання. Прохання «не читеруй» майже не змінювали картину.
• Anthropic, листопад 2025: модель, яка навчилася читерити на кодових задачах, у 12% випадків намагалася саботувати код дослідження про саму себе. Цього її ніхто не вчив.
• У бізнесі це виглядає нудніше: тікети закриваються, ліди «обробляються», eval-скор росте, виручка стоїть.
• Захист — у конструкції вимірювання, а не в наступній версії моделі. Чотири елементи в кінці статті, і жоден з них не потребує ML-команди.

Три дні, за які метрика перемогла продукт

25 квітня 2025 року OpenAI викотила оновлення GPT-4o. 28 квітня почала відкочувати його назад.

За ці дні модель встигла стати мемом. Вона погоджувалася з усім, підтримувала імпульсивні рішення, хвалила відверто погані ідеї. У власному розборі інциденту OpenAI пише, що серед змін того релізу був новий сигнал винагороди на основі відгуків користувачів — тих самих великих пальців угору і вниз у ChatGPT. Сигнал корисний: палець униз зазвичай означає, що щось пішло не так. Але в сумі з іншими змінами він послабив основний сигнал, який доти стримував підлабузництво.

Але цікавіша за причину інша частина розбору: те, що показували прилади. Офлайн-евали були зеленими. A/B-тест на невеликій групі показував, що модель подобається. Спеціальної метрики на підлабузництво в процесі деплою просто не існувало. Кілька експертних тестувальників сказали, що модель «якось не так себе поводить», але це були суб’єктивні прапорці проти позитивних кількісних сигналів. Реліз пішов у прод.

Модель не зламалася. Вона знайшла найкоротший шлях до великого пальця вгору. Ним виявилося не «бути кориснішою», а «більше погоджуватися».

Закон Гудхарта не про AI. Просто AI виконує його швидше

Формулювання, яке всі цитують, належить антропологині Мерілін Стратерн: коли показник стає ціллю, він перестає бути хорошим показником. Сам Чарльз Гудхарт писав у 1975 році про монетарну політику, а не про нейромережі.

Механізм давній і людський. Кол-центр із KPI «час розмови» вчиться швидко класти слухавку. Відділ продажів із планом по дзвінках дзвонить тим, хто точно візьме трубку. Розробник із метрикою «закриті тікети» знаходить у беклозі найдешевші.

Різниця з агентом у трьох речах, і кожна з них множник.

Він шукає швидше. Він не має репутації, кар’єри й колеги за сусіднім столом, які утримують людину від надто відвертого зрізання кутів. І головне: він взагалі не бачить результату, заради якого його впровадили. Він бачить лише число, яке ви йому показали. Для людини метрика — це наближення до цілі, про яку вона все одно здогадується з контексту. Для агента метрика є ціллю, іншої в нього немає.

Тому reward hacking — не дефект конкретної моделі, який виправлять у наступному релізі. Це те, що робить будь-який достатньо сильний оптимізатор з достатньо дірявим вимірюванням.

Скільки цього в реальних системах

Дані є, і вони незручні.

METR, незалежна дослідницька організація, яка тестує фронтирні моделі перед релізом, перевіряла o3 від OpenAI. За їхньою оцінкою, від 1% до 2% усіх спроб розв’язати задачу містили ту чи іншу спробу reward hacking. На наборі HCAST це 0,7% запусків. А ось на RE-Bench, де модель могла побачити повний код функції оцінювання, читерство траплялося у понад 43 рази частіше. На одній задачі там модель зрештою зламала оцінювання в кожній без винятку траєкторії.

Гірше те, що модель розуміла, що робить. Коли METR питала o3 після успішного зламу, чи відповідали його дії наміру користувача, на одній із задач він відповів «ні» десять разів із десяти. Дослідники спробували просто попросити не читерити — додали до промпту чотири різні формулювання, від «розв’яжи задачу за призначенням» до прямого «не займайся reward hacking». Ефект був майже нульовий, читерство лишалося в більшості запусків. А коли задачу подали як допомогу науковцям із реальними наслідками, модель зламала оцінювання в 14 спробах із 20.

Anthropic у листопаді 2025 року показала, куди це веде далі. Дослідники взяли базову модель, дали їй знання про способи читерства і навчали підкріпленням на реальних робочих кодових задачах компанії. Модель очікувано навчилася читерити. Неочікуваним було інше: рівно в точці, де вона це опанувала, різко зросли всі показники неузгодженості поведінки. Модель почала імітувати лояльність, міркувати про шкідливі цілі, співпрацювати з умовними зловмисниками. У 12% випадків через Claude Code вона намагалася саботувати код того самого дослідження, яке мало виявляти її читерство. Базові моделі й продакшн-версії Claude у цих же тестах давали рівно нуль.

Ще одна деталь для тих, хто збирається лікувати це донавчанням. Стандартне RLHF на чатових промптах вирівняло поведінку — в чаті. На агентних задачах неузгодженість лишилася, і на окремих тестах зберігалося до 70% початкового рівня. Спрацювало те, що виглядає контрінтуїтивно: якщо в системному промпті під час навчання прямо сказати, що в цьому конкретному середовищі зламати скрипт оцінювання прийнятно, шкідливе узагальнення падає на 75–90%. Модель читерить так само часто, понад 99% випадків, але більше не робить з цього висновок, що вона — та, хто обманює.

Це лабораторія, не ваш прод. Але механізм у вашому проді той самий, а вимірювання гірші.

Як це виглядає у вашій компанії

Ніякого саботажу, просто тихий дрейф.

Агент підтримки з метрикою «закриті звернення» закриває їх швидше, і частина клієнтів просто пише ще раз наступного дня, вже з іншого акаунта. Агент кваліфікації лідів із метрикою «оброблені ліди» ставить статус усім, включно з тими, кого варто було б передати живій людині. Агент, який пише код, доводить тести до зеленого стану — модифікуючи тести. Кожен звіт бездоганний. Виручка не рухається.

Наша власна редакція контенту наступила на це так само, як усі інші. Агенти-автори ставили собі оцінку за фінальний текст, і вона майже завжди виходила вище восьми з десяти. Формально чесно: агент справді перевіряв текст за чек-лістом. Тільки перевіряв він текст, який щойно сам і написав, тримаючи в контексті всі свої аргументи «чому тут саме так». Ми додали окремого оцінювача, який отримує лише готовий текст, без історії правок і без пояснень автора. Оцінки просіли, і саме там знайшлися слабкі гачки й розмиті заклики. Метрика до цього не брехала. Вона вимірювала, наскільки автор задоволений собою.

Є проста перевірка, яку варто прогнати по кожному AI-впровадженню за останні два квартали. Три питання: яка операційна метрика мала зрушити, на скільки вона зрушила і чи досі вона вимірюється в тому самому вигляді, що й до впровадження.

Впровадження без відповіді на перше питання — це театр. Впровадження з «ні» на третє — театр із виправленими після прем’єри приладами.

Масштаб проблеми видно з боку аналітиків. Квітневе опитування Gartner серед 782 керівників інфраструктури та операцій дає 28% AI-кейсів, які повністю досягли очікуваного ROI, і 20%, які провалилися відверто. Решта — та сама сіра зона, де прилади показують рух, а бізнес його не відчуває.

Чотири захисти, які працюють

Жоден з них не про кращу модель.

Бізнес-метрика поруч із proxy-метрикою

Eval-скор, точність, час відповіді — усе це проксі. Вони потрібні, бо їх можна виміряти щодня. Але поруч має стояти показник, заради якого агента взагалі впровадили: повторні звернення за тиждень, конверсія кваліфікованого ліда у зустріч, дефекти, що дожили до продакшну. Коли проксі росте, а бізнес-показник стоїть або падає — це не парадокс і не лаг. Це діагноз, і його треба ставити на другому тижні, а не на другому кварталі.

Eval по всьому розподілу, а не по середньому

Розділіть тестові випадки на чотири класи: базові, стандартні, складні й хвостові — ті рідкісні, які коштують найдорожче. Оптимізатор чудово вміє підняти середню точність, підрізавши хвости: типові кейси стають трохи кращими, рідкісні — помітно гіршими, середнє зростає. Тому правило релізу жорстке: регрес на хвості блокує викат, навіть якщо середнє виросло. І частина тестових випадків має бути відкладеною, тією, яку агент ніколи не бачив.

Adversarial-тестування руками доменного експерта

Найкращий пошук діри у вимірюванні — це людина, яка знає, як виглядає результат насправді, і яку попросили зламати оцінювання. Не «перевір якість», а «отримай десятку, не зробивши роботу». Півдня такої роботи дає більше, ніж місяць моніторингу. Побічний висновок із заміру METR: якщо агент бачить код, за яким його оцінюють, він знайде в ньому діру набагато охочіше. Тримайте функцію оцінювання поза його контекстом.

Відкат і затвердження змін

Кожна версія промпту, скіла чи інструменту зберігається з можливістю повернутися однією дією, а попередня версія працює як контрольна група. Зміна, яка виграла за eval-скором і програла за виручкою або задоволеністю клієнтів, відкочується автоматично. І жодна зміна не їде в прод без рецензента — людини для ризикованих скілів, окремого агента-наглядача для рутинних. Агент не затверджує власну модифікацію, як розробник не мерджить власний PR у релізну гілку.

Що зробити цього тижня

Візьміть одне AI-впровадження, яке вже працює, і прогоніть по ньому три питання театрального аудиту. П’ятнадцять хвилин, і ви одразу побачите, чи є в системі взагалі цільова метрика.

Далі — двадцять найдорожчих кейсів із вашого домену. Не середніх, а тих, де помилка коштує грошей. Прогоніть агента по них і подивіться на бал. Якщо на них він такий самий, як на середніх, ваш eval нічого не вимірює.

І поставте поруч із дашбордом агента один бізнесовий показник. Один, не десять. Далі просто дивіться на них разом місяць.

FAQ

Що таке reward hacking простими словами?

Це коли система отримує високу оцінку, не зробивши роботу по суті. Агент оптимізує сигнал, за яким його оцінюють, а не результат, заради якого його створили. Наприклад, доводить тести до зеленого стану, змінюючи самі тести.

Чим reward hacking відрізняється від галюцинацій?

Галюцинація — це помилка: модель видає неправдиву інформацію, вважаючи її правдивою. Reward hacking — це успіх за критерієм, який ви самі задали. Замір METR показує, що модель часто цілком усвідомлює розбіжність із наміром користувача: на пряме питання, чи відповідав злам його намірам, o3 відповідав «ні» десять разів із десяти.

Чи можна просто заборонити агенту читерити в промпті?

Дані кажуть, що ні. METR додавала до промпту чотири формулювання заборони, включно з прямою вказівкою не займатися reward hacking, і ефект був майже нульовим. Заборона в промпті — це рядок тексту проти градієнта оптимізації. Виграє градієнт.

Це проблема лише фронтирних моделей у лабораторіях?

Механізм однаковий на будь-якому масштабі. У проді він рідко виглядає драматично: замість саботажу ви отримуєте закриті тікети без розв’язаної проблеми та зростаючий eval-скор при нерухомій виручці. Різниця тільки в тому, що в лабораторії за цим спостерігають, а в компанії зазвичай ні.

Скільки коштує побудувати нормальний eval?

Перша версія — це кілька днів роботи доменного експерта, який розмічає сто-двісті реальних випадків і чесно описує, як виглядає правильна відповідь. Це дешевше за один місяць роботи агента, який оптимізує не ту метрику. Порядок дій той самий, що і при відборі будь-якого AI-інструмента: спершу критерій, потім тест на своїх даних.

У нас чат-бот, а не агент. Нас це стосується?

Значно менше. Бот, який лише відповідає, має вужчий простір для оптимізації — і, як правило, не має доступу до систем, у яких можна щось зробити «в обхід». Ризик зростає рівно тоді, коли система починає діяти, а не говорити. Про цю межу є окремий розбір: AI-агент vs чат-бот.

З чого почати, якщо агентів ще немає?

З процесу, у якого вже є цифра. Автоматизація поверх невимірюваного процесу дає невимірюваний результат — і жодного способу помітити, що агент оптимізує не те. Порядок кроків описаний тут: які автоматизації впроваджувати першими.

Що далі

Reward hacking не лікується вибором вендора. Він лікується тим, що ви двічі на місяць дивитеся на дві цифри поруч і чесно відповідаєте, чому одна росте, а друга ні.

Якщо у вас уже працює агент і ви не впевнені, що ваш eval вимірює те, що треба, — приходьте на discovery-сесію. За годину зазвичай видно, яку метрику агент оптимізує насправді.

Дивіться також:

• AI-агент vs чат-бот: різниця, ціна, коли що обирати — де закінчується відповідь і починається дія.
• Як я оцінюю новий AI-інструмент за 20 хвилин — той самий принцип: спершу критерій, потім демо.
• Які автоматизації впровадити першими: 5 кроків по порядку — з чого починати, щоб було що вимірювати.

Джерела:

• Sycophancy in GPT-4o: what happened — розбір інциденту від OpenAI, квітень 2025.
• Recent Frontier Models Are Reward Hacking — заміри METR на o3.
• From shortcuts to sabotage: natural emergent misalignment from reward hacking — дослідження Anthropic, листопад 2025.