Де живе розум вашого агента: в обгортці чи у вагах

Andrew Maryasov — AI-консультант, засновник Auspex і Grow2.ai; впровадження ведуть Auspex (CRM) і Grow2.ai (AI-агенти). Коли агент працює погано, стандартна реакція — дописати інструкцію: ще один пункт у системному промпті, ще один guardrail, ще один шар перевірки поверх відповіді. У препринті Inherent про Faraday зроблено протилежне: обгортку лишили примітивною — п’ять інструментів і лінійна історія без стиснення, — а міняли ваги моделі. Автори формулюють це прямо: наукові здібності агента покращуються «зміною вагів політики, а не ускладненням обгортки». І оптимізація промпта в конкурента цей розрив майже не закриває. Нижче — що саме виміряли, чому переказ про «безперервне донавчання наглядача» не витримує звірки з першоджерелом, і за яких умов це взагалі має стосунок до бізнес-процесу.

Три слова, без яких далі буде плутанина. Обгортка — код навколо моделі: набір інструментів, які їй дозволено викликати, і правила, за якими складається її історія діалогу. Наглядова модель (supervisor) — окрема модель, яка оцінює роботу агента. Post-training — донавчання вже готової моделі під конкретні задачі; воно міняє її ваги, тобто саму модель, а не текст інструкції до неї.

Коротко. Це контрольований експеримент, а не демо: Faraday і базова Qwen3.6-27B крутяться в тій самій простій обгортці, з тим самим кодовим агентом як інструментом, і відрізняються рівно одним — Faraday пройшов post-training на задачах Replica. Результат: він обходить дві флагманські моделі на 73% задач у розподілі та на 60% відкладених задач з AI-for-science, у середньому на 6–8% на тестовому спліті. Промпт цієї різниці не добирає: оптимізація промпта для конкурента, за словами авторів, «лише незначно зменшує розрив». Обгортку при цьому лишили навмисне примітивною — п’ять інструментів і лінійна історія без стиснення. Одразу застереження: «наглядач, що вчиться разом з агентом» — формулювання переказу, а не статті; у препринті це разовий offline post-training, і слова «continually» там немає взагалі. Найдефіцитніший актив у всій конструкції — не модель, а простір задач із машинним вердиктом.

Що не купує написана інструкція

Дефолтна реакція на кривого агента — текст. Написати чіткіше. Перелічити заборони. Додати приклад правильної поведінки. Це дешево, робиться за годину і іноді справді допомагає.

Проблема в тому, що ефект від цього виміряний — і він скромніший, ніж хочеться. У Stanford перевіряли найпряміший варіант: у системному промпті прямим текстом перелічені класи вразливостей, яких треба уникати. Модель усе одно пише дірявий код у 23% випадків. Я розбирав ці цифри окремо — скільки реально дає системний промпт як шар безпеки.

Інструкція — це побажання, а не механізм: вона працює рівно доти, доки модель звертає на неї увагу, і не має жодного способу повідомити, що її проігнорували.

І от тут цікаво подивитися на роботу, де від цього шляху відмовились свідомо і поміряли, що з цього вийшло.

Що зробили в Inherent

13 серпня 2026 року команда Inherent виклала препринт «Training AI Scientists to Replicate Research» — одинадцять авторів, серед них Едвард Х’юз і Луї Кірш.

Задача звучить вузько: навчити агента відтворювати результати наукових статей. Взяли 100 робіт з машинного навчання та AI-for-science, опублікованих між 1990 і 2026 роками. За описом експерименту, з кожної статті окремі графіки результатів вирізала модель Gemini 2.5 Pro — кожен вирізаний графік перетворюється на одну задачу. Разом вийшло 310 задач; цей набір автори назвали Replica.

Агент отримує ізольовану машину, у ній — PDF статті з дірками замість результатів, кодовий агент, набір дослідницьких бібліотек, доступ в інтернет і одна сьома серверної відеокарти. Година часу. Треба поставити експеримент і дістати той графік, якого бракує.

Оцінює результат суддя. Для кожної задачі Claude Opus 4.7 за коротким рукописним мета-промптом генерує власну рубрику — п’ять вимірів: наскільки відтворений графік візуально збігається з оригіналом, чи підтримує він наукове твердження статті, чи справді експеримент реалізує те, що описано, чи розумно витрачено обчислювальний бюджет, і чи агент не шахраював. Оригінальний графік від генератора рубрики ховають, щоб рубрика ловила суть твердження, а не діапазони осей.

Далі на цьому сигналі роблять Faraday — 27-мільярдну модель, донавчену з Qwen3.6-27B на оцінках цієї судді. Технічні подробиці донавчання винесені в кінець статті, вони не потрібні, щоб зрозуміти висновок.

Розум переїхав з обгортки у ваги

Головне речення роботи — в розділі про обгортку:

«Наукові здібності Faraday покращуються зміною вагів його політики, а не ускладненням обгортки».

Обгортку побудували за трьома принципами: проста й інтерпретована, максимально дозвільна, з мінімальним набором інструментів. На практиці це п’ять функцій — apply_patch, read_file, list_dir, grep_files, shell — і лінійна історія діалогу, яку не стискають взагалі. Переповнення контексту просто обриває епізод, і обірваний епізод судять як усі інші.

Ніякої оркестрації, ніякого дерева підагентів, ніяких хитрих правил компакції. Порожньо навмисне.

А тепер порівняйте з тим, як зазвичай виглядає «покращення агента» в продукті: третя ітерація системного промпта, роутер, валідатор поверх відповіді, ретраї за regexp.

Найважливіше для висновку — те, як влаштоване порівняння, а зовсім не сам результат. За даними препринту, Faraday і базова Qwen3.6-27B «працюють у тій самій простій обгортці, з доступним Codex GPT-5.5 як інструментом для коду; вони відрізняються лише тим, що Faraday пройшов RL post-training на Replica».

Одна змінна: та сама обгортка, той самий інструмент, та сама база, і різниця тільки у вагах. Це не «нова архітектура проти старої» і не «краща модель проти гіршої».

Результат експерименту: Faraday обходить Claude Opus 4.8 і Codex GPT-5.5 на 73% задач у розподілі й на 60% відкладених задач з AI-for-science, за оцінкою тієї ж рубричної судді. У середньому це +6% до Claude і +8% до Codex на тесті. Люди-експерти, яким дали ті епізоди, де суддя бачить перевагу Faraday, підтверджують ранжування.

Окремо автори спробували закрити відставання найдешевшим способом — переписали й оптимізували промпт для Codex. Це, за їхніми словами, «лише незначно зменшує розрив».

Де переказ розійшовся з першоджерелом

Про цю роботу я дізнався з Import AI 469 — і саме там формулювання, яке варто виправити, поки воно не пішло далі.

У переказі сказано, що невелику наглядову модель тренують безперервно — наглядач, який еволюціонує разом із піднаглядним. У препринті цього немає. Слова «continually» в тексті немає жодного разу, а «continuous» стосується виключно неперервної шкали оцінки судді від нуля до одиниці. Faraday — це разовий offline post-training на train-спліті Replica, після якого ваги фіксуються.

Різниця не косметична. «Наглядач, що донавчається в реальному часі» — це операційна обіцянка, під яку хтось спланував би моніторинг, дрейф і відкати. «Модель, донавчена один раз на зібраному наборі задач» — це проєкт з датасетом, який має початок і кінець.

Я звірявся не з переказом, а з препринтом, і рекомендую те саме кожному, хто збирається переносити такі речі у план робіт.

Три сходинки, на яких може стояти ваш eval

Якщо зібрати це з тим, що вже писав раніше, вимальовується градація. Це не сходи, якими треба обов’язково йти вгору, — радше шкала того, наскільки дорого вам обійшовся ваш вимірювач і скільки він за це віддає.

Найнижча — коли eval просто перевіряє відповідь. Класичний LLM-as-judge поверх готового результату: правильно чи неправильно. Дешево, статично, дає контроль якості й нічого більше.

Вище — коли той самий вердикт починає ранжувати кандидатів. Щойно оцінку ставить машина, можна запускати багато спроб і брати кращу; про цю конструкцію я писав окремо в тексті про те, коли флот агентів виграє в одного.

Faraday стоїть на третій. Оцінки судді перетворюються на градієнти, і поведінка агента переїжджає з тексту інструкції у ваги. Вимірювач при цьому той самий, точнішим він не став. Змінилося те, куди йде його вихід: раніше у звіт для людини, тепер у процедуру оптимізації. З цього моменту ваш набір задач перестає бути витратами на QA і стає тим, з чого зроблена сама модель.

Передумова на всіх трьох одна й та сама, і вона не про моделі. Потрібна задача, яку машина вміє скинути й перевірити без людини — агент без перевірки не вчиться, і ця стеля не рухається від того, скільки грошей вкладено в модель.

Ціна третьої сходинки

Щойно оцінка стає ціллю оптимізації, вона стає мішенню. Це не абстрактний ризик — я розбирав механіку і захисти в тексті про reward hacking, а вимірювання того, що монітор пропускає, — у розборі метрики ухиляння.

В Inherent на це відповіли конструкцією замість окрику в промпті. Рубрику ховають від моделі під час навчання, щоб та не підганяла роботу під критерії. Оригінальний графік ховають від генератора рубрики. Чесність винесена в окремий, п’ятий вимір оцінки — суддю прямо просять дивитися, чи агент не шахраював. Суддю опитують тричі на епізод, щоб зменшити розкид, і дають йому десять хвилин та право перезапустити код агента.

Аргумент авторів тонший, ніж «ми додали перевірку». Верифікована нагорода, кажуть вони, вимагає описати процедуру оцінки наперед — і саме тому стає нерухомою мішенню, тоді як суд над цілим епізодом заднім числом рухається разом із задачею.

Звучить переконливо. Але тут же поруч вони пишуть, що чи здатне навчання на відкритих задачах масштабно прибрати reward hacking — «лишається невідомим».

Ось цю обережність із першоджерела варто нести далі, а не губити її по дорозі.

Чому це поки не рецепт для вашого процесу

Кілька речей, які легко втратити при переносі. Середовище замкнене й машинно перевірне. Є «золотий» графік з оригінальної статті, з яким можна звіритися. У бізнес-процесі еквівалента зазвичай немає: немає опублікованої правильної відповіді на питання «чи добре менеджер відпрацював цього ліда».

Масштаб задач навмисне маленький: година й одна сьома серверної відеокарти. Автори прямо кажуть, що обмежили горизонт заради пропускної здатності навчання. Окремо вони перевірили вісім задач із більшими ресурсами — до восьми годин і восьми серверних відеокарт — і там Faraday теж у середньому попереду, але це вісім точок, а не закономірність.

І пряма цитата з розділу про обмеження: Faraday не зміг відтворити результати кількох робіт, щодо яких автори впевнені, що дослідження зроблено акуратно й описано без прикрас. Тобто негативний вердикт цієї машини поки не є вироком статті. Люди все одно мусять дивитися.

Ще одна деталь для тих, хто рахуватиме бюджет: суддя тут — не безкоштовна функція, а кодовий агент, який тричі на епізод десять хвилин колупає контейнер. Вартість вимірювання цілком може перевищити вартість самої генерації.

Що з цього справді робоче

Найкорисніше тут — точно не «донавчіть свою модель»: для переважної більшості компаній це передчасно на два кроки.

Корисніше інше. У вашій системі є місце, де живе розум агента, і ви його обираєте — хоч і рідко свідомо. Зараз він майже напевно живе в тексті — у промптах, регламентах, правилах роутера. Це найдешевше місце і найслабше: текст не має зворотного зв’язку, ніхто не помічає, коли його ігнорують, і кожна нова вимога робить його довшим.

На цій шкалі я стою на першій сходинці, і це варто сказати вголос. У мене сімнадцять агентів у Paperclip і 60+ скілів; жоден із них не донавчений, і з кінця 2025 року весь розум системи живе в тексті — у промптах і скілах. Вимірювач у контурі є: окремий агент-оцінювач читає готовий матеріал за рубрикою і повертає його на доопрацювання, якщо бал нижчий за поріг. Але його вихід іде у звіт для мене, а не в жодну процедуру оптимізації, тож це рівно перша сходинка. На другу я не піднявся не через гроші, а тому, що набір задач із машинним вердиктом у мене поки що зібрано на один процес із десятка.

Перехід на будь-яку наступну сходинку починається з вимірювача, а не з навчання. Питання, яке варто поставити собі цього тижня: чи є хоч один процес, де вердикт «вийшло / не вийшло» ставить машина, а не людина? Якщо є — у вас уже є актив, і з ним можна робити другу сходинку хоч завтра. Якщо ні, то дискусія про наглядові моделі для вас поки що академічна, і починати треба на два кроки раніше.

Ця робота цінна саме тим, що показала межу зверху: обгортку можна лишити примітивною — п’ять інструментів і лінійна історія — за умови, що у вас є набір задач із працездатним автоматичним суддею.

Дефіцитним активом виявилися сто розібраних статей із вирізаними графіками, а зовсім не модель на 27 мільярдів параметрів. Відбирали їх кураторськи, руками, і в препринті це найменш ефектна частина роботи.

FAQ

Що таке Faraday і хто його зробив?

Faraday — 27-мільярдна модель-агент від компанії Inherent, донавчена з Qwen3.6-27B для відтворення результатів наукових статей. Вона використовує зовнішній кодовий агент (Codex GPT-5.5) як інструмент. Препринт «Training AI Scientists to Replicate Research», arXiv:2608.13331, викладений 13 серпня 2026 року.

Що таке Replica?

Набір із 310 задач на відтворення графіків, згенерований зі 100 статей з машинного навчання та AI-for-science, опублікованих між 1990 і 2026 роками. З кожної статті вирізали окремі графіки результатів; кожен вирізаний графік — одна задача.

Наглядову модель справді тренують безперервно?

Ні. Це формулювання переказу Import AI, а не препринту. У статті описано разовий offline post-training на тренувальному спліті Replica; слова «continually» в тексті немає. Наглядач не донавчається разом з агентом у реальному часі.

Чим це відрізняється від LLM-as-judge?

Роллю оцінки. LLM-as-judge виносить вердикт про готову відповідь і на цьому зупиняється. Тут той самий вердикт перетворюється на нагороду, за якою міняються ваги моделі. Суддя не контролює результат, а формує поведінку.

Чому не можна досягти того самого кращим промптом?

Автори перевірили саме це: оптимізували промпт для Codex і зафіксували, що розрив зменшується лише незначно. Це не доводить, що промпт безсилий у принципі, — але показує, що в цій задачі він не заміняє post-training.

Наскільки надійний рубричний суддя?

Він помітно стабільніший за базовий: два незалежні прогони рубричної судді узгоджуються на рівні 0,66 за коефіцієнтом рангової кореляції Kendall τ (одиниця — повний збіг порядку, нуль — випадковий) проти 0,46 у базової. Цікава деталь — двоє людей між собою узгоджуються лише на 0,30. Але узгодженість судді саме з людьми низька в абсолюті: 0,19 проти 0,15 у базової. Важливо, що замір робили на спеціально відібраних задачах, де судді розходяться найсильніше, тож це нижня оцінка, а не середня.

З чого почати, якщо машинної перевірки в нас немає?

З найвужчої ділянки, де правильну відповідь узагалі можна записати наперед. Зберіть кілька десятків реальних випадків із перевіреними людиною відповідями — це вже набір, на якому можна порівнювати варіанти інструкції між собою. Автоматичний суддя будується після цього, а навчання моделі — далеко після.

Для інженерів

Донавчання: LoRA поверх Qwen3.6-27B, turn-level варіант GRPO на сигналі рубричної судді. Обгортка — п’ять функцій (apply_patch, read_file, list_dir, grep_files, shell), лінійна історія діалогу без компресії; переповнення контексту обриває епізод, і обірваний епізод судять як усі інші. Бюджет однієї задачі — година на одній сьомій MIG-слайса H200. Склад експерименту: зовнішній кодовий агент — Codex GPT-5.5, генератор рубрики — Claude Opus 4.7, базова лінія порівняння в цьому ж експерименті — Claude Opus 4.8. Суддю опитують тричі на епізод; узгодженість двох прогонів рубричної судді — 0,66 за Kendall τ.

Джерела

• Training AI Scientists to Replicate Research — препринт, arXiv:2608.13331, Inherent, 13.08.2026. Основне джерело: Replica, Faraday, конструкція судді, обмеження
• Import AI 469 — Jack Clark, 17.08.2026, переказ роботи (звідти формулювання про «безперервне» навчання, якого немає в препринті)
• Безпека системного промпта: скільки він реально дає — вимірювання Stanford щодо написаних інструкцій

Опублікував Andrew Maryasov, AI-консультант, засновник Auspex і Grow2.ai; впровадження ведуть Auspex (CRM) і Grow2.ai (AI-агенти).