Как оценить AI-инструмент за 20 минут: мой фреймворк

Андрей Марьясов, AI-консультант. За три года я перебрал больше 80 AI-инструментов в реальных проектах. В ежедневный стек попала горстка. Остальное отсеяла процедура, на которую уходит двадцать минут и ни одного звонка с вендором.

TL;DR (за 30 секунд)

• Демо вендора ничего не доказывает. Вендор выбирает данные, пишет промпт и знает, на каком вопросе модель ломается. Туда он не идёт.
• Двадцать минут на своих данных дают больше сигнала, чем час звонка с sales-инженером.
• Фреймворк состоит из трёх блоков: запустить на реальных данных, намеренно сломать, посчитать стоимость встраивания.
• Главный вопрос в конце не «работает ли он?», а «сколько моих процессов придётся переделать, чтобы он заработал».
• Проходной балл — не «вау». Проходной балл — «стоит потратить ещё два дня».

Почему я перестал смотреть демо

Несколько лет назад я делал так: находил инструмент, читал лендинг, смотрел демо-видео, записывался на звонок. На звонке всё работало. Модель вытаскивала поля из PDF, агент отвечал клиенту, дашборд рисовал графики. Я подписывался на месячный план, а через три недели уже не помнил пароль.

Дело не в том, что вендоры врут. Демо — просто контролируемая среда: вендор выбрал файл, вендор написал промпт, вендор знает, на каком вопросе его модель теряет почву. И именно на этом вопросе звонок как-то незаметно переходит к следующему слайду.

Корпоративный мир давно научился с этим жить. Ответ там выглядит так: взвешенная скоркарта на одиннадцать категорий, платный proof of concept на две недели, юридический отдел, SOC 2 Type II, governance-обзоры каждый квартал. Это работает, и для компании на пятьсот человек я бы делал именно так. Основной тезис этих чек-листов вообще не оспорить: единственное число, которое имеет значение, — это то, как модель отработала на ваших данных.

Но если вы выбираете инструмент для себя или для команды из восьми человек, у вас нет двух недель. Нет юридического отдела и человека, который соберёт evaluation matrix в Excel. У вас есть вечер вторника и желание понять, стоит ли эта штука вашего внимания.

Поэтому у меня есть короткая процедура. Двадцать минут, три блока, один лист.

Правило двадцати минут

Двадцать минут не отвечают на вопрос «внедрять ли». Они отвечают на единственный вопрос этого этапа: стоит ли потратить на этот инструмент ещё два дня?

Большинство инструментов умирает именно здесь, ради этого всё и затевалось.

Таймер я действительно ставлю, и это не поза. Без таймера легко провалиться в настройку интеграций, потратить полдня и в конце получить вместо ответа ощущение, что «вроде интересно». Через неделю такое ощущение превращается в ещё одну подписку, которую вы видите только в выписке по карте.

Блок 1. Реальные данные, минуты 0–7

Первое, что я делаю после регистрации, — закрываю вкладку с онбордингом и его тестовым файлом sample_invoice.pdf.

Вместо него беру три своих кейса. Не средних. Худшие, какие найду:

• письмо от клиента с тремя вложениями и датой в формате, которого не существует в природе;
• выгрузку из CRM, где половина полей пустая, потому что менеджер заполнял их «потом»;
• транскрипт звонка, где двое говорят одновременно, а третий подключился из тоннеля.

Всё остальное — гигиеничный вариант реальности, в котором любой инструмент выглядит умным.

Дальше я меряю одно число: сколько из трёх результатов я принял бы с лёгкой правкой, а не переписывая с нуля. Моя планка — два кейса из трёх, и планка здесь сознательно ниже: на трёх кейсах более точной арифметики просто не бывает.

Когда инструмент даёт слабый результат, рука сама тянется переписать промпт, потом ещё раз, потом ещё. На седьмой итерации вы наконец получаете хороший результат, только вот получили его вы, а не инструмент. Если для приличного выхода нужно семь заходов и полстраницы инструкций, инструмент проиграл. Я просто ещё не хочу этого признавать, потому что уже потратил на него час.

Блок 2. Сломай намеренно, минуты 7–14

Happy path не показывает ничего — всё интересное начинается на плохой дороге.

Пустое поле. Запрос, в котором нет ключевых данных. Модель должна сказать «данных недостаточно». Если она уверенно выдумывает ответ, в продакшене это дороже молчания: выдуманный ответ никто не проверяет, потому что он выглядит как ответ.

Противоречие. Два документа с разными цифрами по одной сделке. Хорошее поведение — указать на расхождение. Плохое — тихо выбрать одну из цифр, и вы никогда не узнаете какую.

Выход за пределы. Вопрос о том, чего в переданных данных нет вообще. Проверяется здесь не интеллект, а готовность признаться в незнании.

Когда я тестировал оркестраторы агентов (n8n, Mastra и несколько менее известных), меня интересовал не сценарий, в котором все три шага отработали. Меня интересовало, что случится, когда второй шаг вернёт пустой ответ. Одни останавливаются и кричат. Другие аккуратно передают пустоту дальше, и на выходе у вас безупречно оформленный отчёт ни о чём: заголовки на месте, выводы на месте, цифры взяты с потолка.

Первый инструмент можно оставить без присмотра. Над вторым придётся сидеть, и сидеть придётся именно вам.

Блок 3. Стоимость встраивания, минуты 14–20

Цена подписки — самая маленькая и самая прозрачная часть стоимости. Остальное приходится считать самому, и именно здесь гибнет большинство «дешёвых» решений.

Я складываю четыре числа:

Что считаю	Как оцениваю за 6 минут
Часы на интеграцию	Есть ли нативный коннектор к тому, чем я уже пользуюсь? Придётся ли писать обёртку?
Стоимость переучивания	Сколько людей должны сменить привычку и насколько сильно
Стоимость выхода	Можно ли выгрузить свои данные в CSV или JSON без звонка в поддержку
Цена ошибки	Что случится, если инструмент ошибётся в пяти процентах случаев: неудобство или потерянный клиент

Более сильный инструмент, который надо сшивать руками, регулярно проигрывает более слабому с нативной интеграцией. Не потому, что качество не важно. Потому что сорок часов интеграции — это сорок часов, которых у меня нет, а «потом допилю» ещё ни разу не наступало.

Что из этого выжило и сколько стоит — в разборе моего рабочего стека; там же о том, почему самая дорогая его часть — не подписки.

Скоркарта на двадцать минут

Блок	Минуты	Вопрос	Проходной балл
Реальные данные	0–7	Сколько из трёх грязных кейсов прошло без переписывания?	2 из 3
Намеренный слом	7–14	Говорит ли «не знаю»? Останавливается ли после ошибки?	Да на оба
Стоимость встраивания	14–20	Сколько часов до первого полезного результата в моём процессе?	не больше 8

Сохраните эту таблицу. В следующий раз, когда откроете лендинг со словами «AI-powered» в заголовке, у вас будет на что смотреть, кроме кнопки «Start free trial».

Один проваленный блок означает «нет». Просто нет, без «дадим ещё шанс» и «попробуем на другом кейсе».

Я долго учился не давать второй шанс, и каждый урок имел цену в виде годовой подписки.

Красные флаги, после которых я закрываю вкладку сразу

Иногда двадцать минут даже не начинаются. Вот на чём я останавливаюсь:

• Нет экспорта данных. Если ваши данные не выходят оттуда в CSV или JSON, вы покупаете не инструмент, вы арендуете заложника.
• Нельзя попробовать без звонка с менеджером. Демо-версия за паролем от sales — это когда вендор хочет увидеть ваше лицо раньше, чем вы увидите его продукт.
• Цен нет на сайте. Непрозрачное ценообразование обычно означает, что вас сначала оценят, а уже потом назовут сумму.
• «Мы не тренируемся на ваших данных» есть в маркетинге, но не в договоре. Обещание, которое живёт только на лендинге, стоит ровно столько, сколько стоит лендинг.

Что происходит на двадцать первой минуте

Здесь есть ровно три выхода, и ни один из них не «как-нибудь само рассосётся».

Инструмент прошёл все три блока — я даю ему два дня на реальном потоке задач, с теми же критериями, только на большем объёме. Две трети того, что доходит до этого этапа, остаётся в стеке навсегда.

Инструмент провалил блок стоимости, но выиграл два первых — я не выбрасываю его, я записываю в отдельный файл с датой. Через полгода коннекторы появляются, цены падают, и половина таких записей оживает.

Инструмент провалил реальные данные или слом — я закрываю вкладку и не возвращаюсь. Никакие скидки и обновления не лечат инструмент, который выдумывает ответы.

Тяжелее всего, как всегда, с собой, а не с инструментами. Двадцать минут — это ровно столько, сколько нужно, чтобы не успеть влюбиться.

FAQ

Хватит ли 20 минут, чтобы выбрать AI-инструмент для компании?

Нет, и это не цель. Двадцать минут отсеивают кандидатов. Для решения на уровне компании дальше идёт пилот на две-четыре недели с реальными пользователями, письменными критериями pass/fail и измеренной базовой линией. Фреймворк экономит десять ненужных пилотов, а не сам этап решения.

Что делать, если инструмент не даёт доступа без звонка с sales?

Звоните, но не на демо. Просите песочницу со своими данными и своим промптом. Вендор, который соглашается, обычно уверен в продукте. Вендор, который настаивает на управляемой презентации, сообщает вам что-то важное ещё до подписания договора.

Сколько инструментов тестировать параллельно?

Три-пять. Меньше — не с чем сравнивать. Больше — на четвёртый день вы путаете, который из них умел работать с таблицами. Главное: все получают одинаковые грязные кейсы и одинаковые критерии, иначе вы сравниваете собственное настроение, а не инструменты.

Как тестировать на реальных данных и не нарушить конфиденциальность?

Обезличьте выборку: замените имена, номера договоров и суммы, сохранив структуру и «грязь». Для чувствительных данных смотрите в сторону self-hosted или enterprise-планов с нулевой retention. Политика хранения данных должна быть в договоре, а не в FAQ на сайте.

Чем этот фреймворк отличается от корпоративного vendor evaluation?

Масштабом и ценой ошибки. Корпоративная процедура защищает многомесячный контракт и нескольких стейкхолдеров, поэтому содержит governance, аудит и взвешенные скоркарты. Личный фреймворк защищает ваше время и ваш вечер. Логика общая: тестировать на своих данных, фиксировать критерии заранее, считать полную стоимость, а не цену лицензии.

Инструмент прошёл все три блока. Что дальше?

Два дня на реальном потоке задач и один вопрос в конце: что сломается, если завтра этот инструмент исчезнет. Если ответ «ничего» — он вам не нужен. Если ответ «половина работы» — вы только что нашли зависимость, и теперь стоит перечитать условия выхода ещё раз, внимательнее.

Сколько инструментов в итоге доживает до ежедневного использования?

У меня из более чем 80 протестированных осталось девять, и это нормальная пропорция. Большинство остальных не были плохими. Они просто решали задачу, которой у меня нет.

Что дальше

Фреймворк отвечает на вопрос «стоит ли смотреть дальше». Он не отвечает на вопрос «какие три инструмента сдвинут именно ваш бизнес» — тут нужен контекст процессов, а не таймер.

Прогнать этот отбор можно самому за один вечер. Если хочется сделать это со второй парой глаз — приходите; сколько времени уйдёт, зависит от того, насколько ваш процесс уже описан.

Смотрите также:

• Мой AI-стек 2026: что я реально использую каждый день — то, что прошло отбор, с ценами.
• Лучшие AI-инструменты для бизнеса в 2026: 28 отобранных — если нужен стартовый список кандидатов.
• AI-агент vs чат-бот: разница, цена, когда что выбирать — когда инструмент должен не отвечать, а действовать.
• Как нанять AI-консультанта: чек-лист из 12 вопросов — тот же скептицизм, только в отношении людей.