Большинство неудачных пилотов ИИ-агентов проваливаются не из-за технологии. Демонстрацию проводят на удобных примерах, базу для сравнения не снимают, а о том, что считать успехом, спорят уже после. В итоге у сторонников и противников на руках одни и те же ощущения и никаких чисел.
Чтобы оценить эффект ИИ-агентов, нужны три вещи, о которых договариваются до старта: одна задача, базовый замер текущего процесса и правило, по которому считается каждый показатель.
Почему пилот идёт на одной задаче
У одной задачи один владелец результата, один набор критериев приёмки и один протокол замера. Когда пилот размазан по пяти отделам, каждый меряет своё, а итоговый отчёт состоит из средних, за которыми ничего не стоит.
Результат узкого пилота можно показать финансовому директору и повторить на следующей задаче.
Есть и практическая причина: каждое подключение к внутренним системам требует доступов, согласования с ИБ и работы ИТ. Одна задача требует минимального набора подключений, и восемь недель уходят на работу и замер, а не на согласования.
Как выбрать задачу для пилота
- Задача повторяется достаточно часто, чтобы за несколько недель набрался материал для сравнения.
- Есть владелец результата с правом подписи — человек, который примет или не примет работу.
- Критерии приёмки можно записать заранее, а не «поймём, когда увидим».
- Текущий процесс измерим: сроки, трудозатраты и дефекты уже где-то фиксируются.
- Ошибку можно поймать проверкой до того, как она дойдёт до клиента или до выпуска.
Условные примеры: типовые доработки одного сервиса для Разработки, одна тематика обращений первой линии для Beseda AI, один сценарий разговоров для Connecto AI.
Иногда пилот лучше не начинать: нет владельца результата, нельзя определить критерии приёмки, нет доступа к нужному контексту, нельзя организовать тестовый контур или команда не готова выделить время на контрольные решения. В таких условиях замер покажет организационные пробелы, а про ИИ из него ничего не узнать.
Зачем нужен базовый замер
Базовый замер снимается с текущего процесса до развёртывания. Обычно это срок прохождения задачи, трудозатраты, стоимость и дефекты. Главное правило: пустые значения остаются пустыми. Если дефекты раньше не учитывались, их нельзя восстановить по памяти задним числом.
Повторный замер делается тем же способом и по тому же протоколу. Меняется только способ выполнения задачи. Всё остальное, от состава команды до способа подсчёта, остаётся прежним, иначе разница между замерами ничего не значит.
Как оценить эффект ИИ-агентов по четырём категориям
Показатели удобно раскладывать на четыре категории: качество, скорость, стоимость и надёжность. На примере поддержки клиентов:
- Качество: доля обращений, закрытых без оператора.
- Скорость: время первого ответа.
- Стоимость: время оператора по вашим ставкам плюс стоимость обращений к модели.
- Надёжность: доля корректных передач оператору.
Правило «считается / не считается»
У каждого показателя рядом записывается, что в него входит и что нет. Для поддержки: обращение считается закрытым без оператора, только если клиент подтвердил ответ; если он переспросил или пожаловался, обращение не считается. Для разработки: время от постановки до подписанного выпуска, но без ожидания решений вне конвейера, если оно вынесено в паспорт.
Стоимость считается как часы людей по вашим ставкам плюс обращения к модели. Лицензия и разовое внедрение в стоимость цикла не входят, их сравнивают отдельно на горизонте года.
Правила подсчёта записываются в паспорт пилота на первой неделе, до того как появилось хоть одно число. Если отложить этот разговор, спор о результате начнётся на восьмой неделе, и каждая сторона будет права по-своему.
Кто нужен с вашей стороны
Чаще всего пилот застревает на вопросе «а кто у нас это даёт». Поэтому у каждой зоны готовности должен быть владелец, названный по имени:
- Владелец продукта или процесса: задача, критерии приёмки, подпись результата.
- Владелец системы: доступы к репозиторию, трекеру, базе знаний или сценариям через ваш IdP.
- ИТ: серверы или изолированное облако и тестовый контур.
- ИБ: регламент доступа поставщика и требования к журналу.
- Финансы: ставки и сроки для базового замера, правило учёта стоимости обращений к модели.
Как выглядит пилот по неделям
- Неделя 1. Выбор задачи и паспорт пилота: цель, владелец, критерии приёмки, показатели, уровень проверки.
- Неделя 2. Базовый замер текущего процесса.
- Недели 3–4. Развёртывание в вашем контуре, подключение систем и акт готовности контура.
- Недели 5–7. Выполнение задачи, журнал решений и промежуточный обзор.
- Неделя 8. Повторный замер и акт сравнения, подписанный обеими сторонами.
Чего не должно быть в акте сравнения
- Средних по рынку.
- Чужих кейсов.
- Прогнозов.
- Экономии от численности, которую вы не меняли.
В акте записана разница между двумя замерами, снятыми в вашей компании. Остальное можно обсуждать на презентации, но решение по нему не принимают.
Что делать по итогам пилота
Правило решения тоже стоит записать заранее. Например, условно: если качество не хуже базового и срок сократился, масштабируем на следующую задачу или команду; если срок сократился, но качество просело, дорабатываем; если разницы нет, завершаем. Пороги назначаете вы, исходя из своей экономики.
Завершить пилот тоже нормально. Компания получает акт с числами, понимание своего процесса и список того, что мешало. Это лучше, чем полгода внедрять систему по впечатлениям.
Сколько стоит пилот и как прикинуть окупаемость
Пилот Мозаики платный. Цена фиксируется в паспорте пилота до старта и после подписания не меняется; оплачивается отдельно от лицензии и внедрения, до начала работ. В неё входят паспорт пилота, развёртывание в вашем контуре, ведение одной задачи, два замера и акт сравнения. В цену не входят лицензия и внедрение после пилота, доработка ваших систем и расширение задачи после подписания паспорта.
Для Разработки порядок окупаемости можно прикинуть ещё до пилота на странице «Калькулятор»: он считает на ваших ставках прямо в браузере и сопоставляет их с опубликованными вилками тарифа. Для Beseda AI и Connecto AI публичной вилки нет, цена считается после аудита сценария.
Калькулятор даёт оценку, а точную цифру для вашей компании даёт пилот. План по неделям, требования к готовности и состав оплаты описаны на странице «Пилот».