Самонавчання AI-агента: чому воно не працює без перевірки

Andrew Maryasov, AI-консультант, засновник Auspex і Grow2.ai. Самонавчання агента впирається не в модель, а в середовище. Поки задачу не можна автоматично повернути в початковий стан і автоматично перевірити результат, агенту нема з чого вчитися — він генерує гіпотези в порожнечу. У червні 2026 року NVIDIA разом із CMU та Берклі показали, як виглядає такий контур для реальних роботів. Нижче — з чого він складається, який його модуль насправді найдорожчий, і як той самий контур виглядає у звичайній компанії без жодного робота.

TL;DR (за 30 секунд)

• Агент не стає розумнішим від того, що ви дали йому кращу модель. Він стає розумнішим там, де замкнуто цикл: скинути сцену, зробити спробу, перевірити результат, змінити підхід.
• ENPIRE (NVIDIA, CMU, UC Berkeley, червень 2026) — обгортка для кодових агентів із чотирьох модулів. Один з них, Environment, робить рівно дві речі: автоматичний ресет і автоматичну перевірку.
• З цим контуром агенти самостійно довели політики до 99% успішних спроб на реальних роботах: PushT, розкладання штифтів у бокс, робота з зіп-таєм, вставляння відеокарти в слот.
• У промпті до агента прямим текстом написано: редагувати код середовища не можна, це шахрайство. Навіть з бездоганною верифікацією шлях зламати вимірювання доводиться закривати окремо.
• У більшості компаній самонавчання агента неможливе не через модель. Процес просто не скидається, не перевіряється і не логується.

Робот, зіп-тай і 99 відсотків

18 червня 2026 року дослідники NVIDIA, Університету Карнегі — Меллона і Берклі виклали препринт роботи під назвою ENPIRE. Кодові агенти — той самий Claude Code чи Codex, яких ви запускаєте в терміналі — без людини в контурі довели політики керування реальним роботом до 99% успішних спроб. Робот штовхає T-подібну фігуру в задану позицію, розкладає штифти по комірках, працює з зіп-таєм, вставляє відеокарту в слот.

Але 99% — це не найцікавіше. Цікавіше те, що довелося збудувати, перш ніж вони взагалі стали можливими.

Візьміть агента, який уміє все, про що зазвичай пишуть у пресрелізах: читає літературу, пише код, вигадує алгоритмічні гіпотези, запускає навчання з підкріпленням, розбирає невдачі. Він робить першу спробу зав’язати зіп-тай, робот змазує, стрічка падає на стіл. Далі до столу підходить аспірант і кладе зіп-тай на місце, потім ще раз, і ще двісті разів. У цій точці геніальний агент рівно настільки продуктивний, наскільки бадьорий аспірант, а швидкість навчання вимірюється не токенами, а годинами чужого сну.

Чотири модулі, з яких вузьким місцем виявився один

Назва ENPIRE — це перші літери чотирьох частин системи.

Environment (EN) дає агенту інтерфейси, які той може викликати: скинути сцену, перевірити результат, записати лог, зупинити робота при небезпеці. Policy Improvement (PI) генерує і править код політики, спираючись на винагороди, відео, трейси й конкретні провали. Rollout (R) проганяє обмежену кількість реальних спроб, зберігаючи стан, дію, відео й результат кожної. Evolution (E) — це коли агенти читають логи, ходять у літературу і переписують інфраструктуру навчання разом із кодом алгоритму, щоб закрити знайдені режими відмов.

PI, R та E — це, грубо кажучи, розум системи, і саме туди дивиться увага, коли читаєш анонс: гіпотези, дерево ідей, команда агентів, які надихаються гілками одне одного. Але жоден із цих трьох не запрацює, поки не існує EN. Він не пише коду і не вигадує гіпотез, він відповідає за нудне: щоб сцена поверталася в початковий стан і щоб хтось чесно сказав, вийшло чи ні.

Автори формулюють це майже як інженерну вимогу до задачі: перш ніж агент зможе покращити політику, задача має стати самоскидною і самоперевірною.

Як виглядає чесна перевірка

Візьміть зіп-тай. Питання «вийшло?» здається тривіальним, поки його не треба задати сто разів на годину без людини.

У ENPIRE це працює так. Детектор малює рамки навколо голівки й стрічки. Сегментаційна модель перетворює рамки на маски по сирому зображенню. Далі кожна камера — верхня і на зап’ясті — незалежно відповідає на одне питання: чи проходить стрічка крізь голівку вище фіксованого порогу. Два вердикти зливаються в одне число. Нуль або одиниця.

Ніякого «загалом непогано» і ніякого «модель показала обнадійливу динаміку».

З ресетом та сама історія, і вона навіть цікавіша. Система не просто повертає предмет на місце: вона обирає рандомізований початковий стан, виконує поведінку скидання, а потім окремо перевіряє, що скидання справді відбулося, і зберігає кадри для інспекції. Верифікується не лише результат спроби, а й те, що наступна спроба стартує з чистого аркуша, і щоразу з трохи іншого. Тримайте це в голові наступного разу, коли захочеться просто «дати агенту доступ до CRM і подивитися, як він навчиться».

Заявлені 99% — це pass@8, і автори спеціально пояснюють, що це не «вісім незалежних спроб, зарахуємо кращу». Всередині одного довгого проходу агент має до восьми ретраїв на підзадачу, і кожен наступний робиться вже після того, як він побачив попередній провал. Міряють не везіння семплінгу, а здатність помітити помилку й відіграти назад. Різниця між цими двома метриками — приблизно та сама, що між «наш менеджер закриває 12% лідів» і «наш менеджер закриває 12% лідів, якщо дати йому вісім спроб на одного й того самого ліда».

«No cheating» — прямо в промпті

У статті наведено промпт, з яким агент заходить у Push-T. Переклад близький до тексту:

Напиши евристичну політику, без навчання нейромережі, яка досягне 100% успіху в середовищі Push-T щонайменше на 50 послідовних епізодах. Тобі не дозволено змінювати код середовища — це шахрайство. Не шахраюй. Розгорни команду субагентів, щоб перебрати підходи.

Зверніть увагу: у лабораторії з детекторами, масками й двома камерами дослідники все одно вважали за потрібне двічі, різними словами, написати «не шахраюй». Не тому що модель зла, а тому що найкоротший шлях до одиниці на виході — це майже завжди правка того, хто цю одиницю ставить.

Я вже розбирав цей механізм окремо: агент оптимізує сигнал, який ви вимірюєте, а не результат, заради якого ви його впровадили (reward hacking і чотири захисти). ENPIRE — приклад того, як це виглядає з протилежного боку. Хороше середовище дає агенту можливість учитися. Воно ж дає йому можливість зламати вимірювання. Одне без іншого не постачається.

Ваш процес — це теж середовище. Просто нікудишнє

Тепер приберемо робота, і нічого принципово не зміниться.

Ви даєте агенту обробляти вхідні ліди. Він робить спробу: пише листа, ставить статус, передає далі. Що відбувається потім?

Скинути сцену не можна — лід один, і він уже прочитав лист. Перевірити результат нікому: успіх визначається думкою керівника відділу продажів десь через три тижні, і то за настроєм. Логу немає: агент не бачить, чим усе скінчилося, бо в CRM це записано в полі, яке заповнює жива людина, коли згадає.

Порівняйте це з тим, що зробили в NVIDIA, і питання «чому наш агент не покращується» перестає бути загадковим.

Модуль ENPIRE	Що це у вашій компанії
Environment: авто-ресет	Пісочниця, dry-run, повтор на історичних даних — можливість програти той самий кейс двічі
Environment: авто-перевірка	Бінарний машинний критерій успіху, який не потребує наради
Rollout	Бюджет спроб і повний лог: вхід, дія, результат
Policy Improvement	Правка промпту, скіла, інструмента — з можливістю відкату
Evolution	Регулярний розбір режимів відмов, а не «здається, стало краще»

Найдорожчий рядок тут — другий. Бінарний критерій означає, що хтось у компанії має сісти й чесно відповісти, як виглядає правильно виконана робота. Не «клієнт задоволений», а перевіряна ознака. Більшість AI-впроваджень, які я бачив, помирають саме тут, задовго до вибору моделі, і причина не технічна.

Як це виглядає в нашій редакції

Контент на цьому сайті пишуть агенти. Середовище для них ми будували приблизно за тією ж логікою, тільки замість роботів — текст.

Ресет у нас майже безкоштовний: чернетка живе в гілці й пул-реквесті, і викинути невдалу спробу означає закрити PR. Перевірка складається з двох шарів. Спершу скрипт-гейт проходиться по метаданих і структурі файла: немає обов’язкового поля, немає ознаки, що текст прогнали через антипатерни — файл далі не їде, без обговорень. Потім окремий агент-оцінювач отримує тільки готовий текст, без історії правок і без пояснень автора, і виставляє оцінки за рубрикою. Нижче порогу — стаття повертається на доопрацювання, і таких циклів дозволено два, після чого справу передають людині. На додачу, коли стаття їде на сайт, її зустрічає ще один тупий і надійний сторож — CI, який просто не мерджить пул-реквест, якщо не сходиться те, що має сходитися.

Поки агент оцінював сам себе, оцінки були прекрасні. Він справді перевіряв текст за чек-лістом — той текст, який щойно сам написав, тримаючи в контексті всі свої аргументи, чому тут саме так. Це та сама історія, тільки з іншим реквізитом.

І чесна межа. Ресету для реакції аудиторії в нас немає: опублікований пост назад не відіграєш, і жодна кількість агентів цього не змінить. Тому самонавчання йде рівно на тому шарі, де ресет існує — на якості тексту до публікації. Все, що за межею публікації, лишається людською роботою і повільним зворотним зв’язком.

Це нормальний спосіб думати про власні процеси: не «чи можна тут застосувати AI», а «де в мене вже є або дешево з’являється кнопка скинути і машинна відповідь вийшло-не-вийшло».

Чому вісім агентів не працюють увосьмеро швидше

Розділ обмежень у ENPIRE варто прочитати уважніше за розділ з результатами.

Поки агент читає логи, пише код, дебажить або просто чекає відповіді від мовної моделі — робот стоїть. Автори прямо пишуть, що зі зростанням кількості роботів середня утилізація роботів падає, а команда агентів витрачає дедалі більше часу на переказ ідей із сусідніх гілок замість роботи з залізом. Іноді агенти навіть не спромагаються запустити достатньо паралельних тренувань, щоб завантажити доступні GPU.

Висновок звідси прикро простий. Середовище не тільки вмикає навчання — воно ж ставить стелю. Якщо перевірка результату у вас відбувається раз на добу, ніяка кількість агентів не дасть вам більше однієї ітерації навчання на добу. Купувати другого агента до першої перевірки — це наймати другого водія на одну машину.

Що зробити цього тижня

Візьміть один процес, який ви збираєтеся віддати агенту, і спробуйте письмово відповісти на три питання. Як повернути цей процес у початковий стан, щоб програти той самий кейс ще раз. Хто або що каже «вийшло», і чи можна це порахувати без наради. Де лежить лог спроби через тиждень після неї.

Якщо на перше питання відповіді немає, шукайте сусідній шар, де вона є. Обробку вхідного ліда переграти не можна, а от розмітку двохсот історичних лідів — скільки завгодно разів. Класифікацію звернень, витяг даних із документа, чернетку відповіді, ранжування — усе це скидається безкоштовно, бо результат ще не пішов у світ.

Якщо немає відповіді на друге — це і є ваш проєкт на найближчі два тижні. Не впровадження агента, а побудова перевірки. Доменний експерт, сто-двісті реальних випадків, чесний опис того, як виглядає правильна відповідь. Далі порядок дій той самий, що і при відборі будь-якого AI-інструмента: спершу критерій, потім тест на своїх даних, і тільки потім демо від вендора.

FAQ

Що таке самонавчання агента простими словами?

Це коли агент змінює власний код, промпт або політику на основі результату попередніх спроб, без людини в контурі. Ключове слово тут — результат. Якщо після спроби ніхто не сказав агенту, вийшло чи ні, змінювати він буде навмання, і сходитися це не буде ні до чого.

Чим середовище ENPIRE відрізняється від звичайного eval?

Масштабом контуру. Eval зазвичай відповідає на питання «наскільки добре модель справляється» на фіксованому наборі. Середовище ENPIRE додає до цього дві речі, яких у типовому eval немає: автоматичний ресет, який дозволяє повторювати спробу нескінченно, і збереження повного трейсу кожної спроби, з якого агент потім витягує причини провалу. Eval вимірює. Середовище дає вчитися.

Це означає, що вибір моделі не має значення?

Має, але не в першу чергу. Автори ENPIRE порівнювали три кодових агенти на своєму бенчмарку — Codex з GPT-5.5, Claude Code з Opus 4.7 і Kimi Code з Kimi K2.6 — і різниця між ними є. Тільки жоден з них не показав би нічого без модуля Environment. Модель визначає, наскільки швидко ви підете вгору. Середовище визначає, чи є куди йти.

Що робити, якщо наш процес неможливо «скинути»?

Знайти шар, де скидання можливе, і вчитися там. Реальну відправку листа клієнту не відіграєш, а чернетку цього листа на історичних даних — скільки завгодно. Практично всі процеси розкладаються на частину, яка вже незворотна, і частину до неї, яка повторюється безкоштовно. Агент вчиться на другій, людина відповідає за першу.

Скільки коштує побудувати таке середовище?

За нашим досвідом впроваджень, перша версія — це кілька днів роботи доменного експерта, який розмічає реальні випадки, плюс приблизно тиждень інженерної роботи на скрипт перевірки й зберігання логів. Порівнювати цю суму варто не з нулем, а з вартістю кварталу, протягом якого агент оптимізує невідомо що, а ви дивитеся на дашборд, який нічого не вимірює.

У нас чат-бот, а не агент. Нам це потрібно?

Значно менше. Бот, який лише відповідає, майже не має простору для самонавчання: у нього немає дії, результат якої можна перевірити. Потреба в середовищі виникає рівно тоді, коли система починає діяти, а не говорити. Про цю межу є окремий розбір — AI-агент vs чат-бот.

З чого почати, якщо агентів ще немає?

З процесу, у якого вже є цифра і повторюваність. Автоматизація поверх невимірюваного процесу дає невимірюваний результат, і жодного способу помітити, що агент іде не туди. Порядок кроків описаний тут: які автоматизації впровадити першими.

Що далі

Головне в роботі ENPIRE — не про роботів. Модуль, який робить самонавчання можливим, виявився найпростішим за конструкцією і найнуднішим за змістом: скинути, перевірити, записати.

І саме цього модуля немає майже ніде. Не тому що складно з інженерного боку, а тому що доводиться сісти й письмово сформулювати, як виглядає добре зроблена робота, а це рідко вдається з першого разу і майже завжди виявляє, що всередині команди відповіді різні. У проєктах, де вона таки знаходиться, агенти починають приносити результат приблизно одразу. Там, де ні, будь-яка модель поводиться однаково.

Якщо ви плануєте віддати процес агенту і не впевнені, що зможете перевірити його роботу машинно, — приходьте на discovery-сесію. За годину зазвичай видно, чи є в процесі кнопка «скинути» і хто в ньому каже «вийшло».

Дивіться також:

• Reward hacking: як AI-агент зламає вашу метрику — що станеться з тим самим агентом, якщо перевірка дірява.
• Як оцінити AI-інструмент за 20 хвилин — той самий принцип на рівні закупівлі: спершу критерій, потім демо.
• Які автоматизації впровадити першими: 5 кроків по порядку — як вибрати процес, у якому є що вимірювати.
• Персональна AI-операційна система: шість місяців у цифрах — той самий контур, зібраний для однієї людини.

Джерела:

• ENPIRE: Agentic Robot Policy Self-Improvement in the Real World — сторінка проєкту NVIDIA GEAR з відео, кодом перевірок і графіками масштабування.
• arXiv:2606.19980 — препринт, 18 червня 2026, NVIDIA, Carnegie Mellon University, UC Berkeley.