Бюджет на ИИ выдают траншами

Вот пример. Проект обещает окупиться за 2,5 года. Если поставка задержится на полгода, срок вырастет до 3,45 года. Если расходы окажутся на 20% выше, до 4,2. Все цифры условные и к проектам компании не относятся. Бюджет на такой проект выдается траншами, и к каждому привязаны цифры, по которым проект ведется дальше или останавливается.

Я начинаю с одного вопроса. При каких результатах проект придется остановить или пересобрать? Ответ авторы записывают до запуска и приносят на защиту бюджета вместе с расчетом. Решает руководитель бизнеса вместе с финансовым директором и CIO. Финансисты отвечают за допустимый срок окупаемости, CIO за поставки и пилот. В крупных компаниях и у государственных заказчиков бюджет на ИИ проходит несколько комитетов, и каждый смотрит на свой риск.

Предположим, обработка обращений клиентов стоит 118 млн рублей в год. Проект снижает расходы до 79 млн. Это лицензии и вычисления на 49 млн, команда сопровождения на 20 млн и проверка человеком на 10 млн. На запуск нужно 97 млн и 17 месяцев. Экономия составляет 39 млн в год.

В смету сразу попадают лицензии и оборудование. Остальное приходит позже. Данные готовят и размечают, систему подключают к уже действующим, людей обучают, безопасность проверяют. Пока работают старое и новое решение, за двойной режим платят отдельно. Сроки поставки и поддержки и штраф за срыв записывают в договор. Заранее продумывают, что делать при задержке и есть ли второй поставщик.

Пилот показывает, справляется ли система с задачами именно этой компании. Берутся две или три типовые задачи и реальные данные. Допустимые значения доли ошибок, времени ответа и нагрузки оговаривается до испытаний. Потом считается, сколько стоит один принятый результат, например правильно обработанное обращение, вместе с повторными попытками и проверкой человеком.

С ИИ есть то, чего нет у обычных систем. Расходы растут вместе с использованием, а качество меняется при смене версии модели или данных. Если доля верных ответов упала с 92% до 88%, на ручную проверку уходит 12% обращений вместо 8%, в полтора раза больше, и статья в 10 млн вырастает до 15 млн. Система обходится в 84 млн, экономия падает до 34 млн, окупаемость растет до 2,9 года. Порог еще держится, но запаса почти нет. Вычисления и проверка человеком растут вместе с нагрузкой. Если рост нагрузки не приносит дохода, экономия сокращается. Поэтому в каждом отчетном периоде проверяются стоимость результата и качество на контрольном наборе задач. Отслеживается и доля вычислений, которая доходит до принятого результата. Все остальное считается потерей.

Эксплуатация просчитывается на три или пять лет вперед, включая энергию, поддержку, обновление моделей, безопасность и людей. Отдельно разбираются ошибки. В примере поставщик возместит не больше 25 млн, а возможный ущерб оценивается в 310 млн. Остальные 285 млн остаются на компании. Их закрывают проверкой человеком, ограничением полномочий системы, страхованием и возможностью отката. Откат испытывают до запуска.

Дальше смотрим на отклонения. Задержка на полгода и еще 18 млн дают окупаемость 3,45 года. Если расходы вырастут на 20%, примерно до 95 млн, экономия сократится до 23 млн, а срок составит 4,2 года. Допустимый срок окупаемости утверждается при защите бюджета, в примере это три года. Чтобы уложиться в него, нужна экономия около 32 млн в год. Новая система может стоить примерно до 86 млн, и рост расходов больше чем на 8% выводит проект за порог. Базовый расчет в порог укладывается, оба отклонения нет.

Поэтому действует простое правило. Бюджет целиком получают проекты, которые остаются ниже допустимого порога при худшем отклонении. Остальным проектам выдается первый транш и назначается срок, к которому цифры нужно подтвердить. Наш проект получает деньги на пилот и первый этап. Второй транш зависит от стоимости результата и качества на контрольном наборе.

Если проектов несколько, их сравнивают по сроку окупаемости при худшем отклонении и по цене остановки. Проект с более длинным сроком, который можно остановить через квартал без больших потерь, надежнее быстрого проекта с дорогим выходом.

Перед утверждением бюджета спросите команду, сколько компания потеряет, если проект остановят через квартал. Если команда не может назвать сумму сразу, остановку она не продумала.

Автор: Станислав Ежов, директор по развитию ИИ, ПАО «Группа Астра»