Как считать ROI ИИ по каждому контуру, а не по компании в целом

Контур — это единица счета. Этап процесса, продуктовый сегмент, класс модели. У DEV и TEST разная трудоемкость и разный предел сжатия. У классического ML и генеративного ИИ разный горизонт окупаемости: первому хватает года-трех на базе прибыли до налога, второму нужен более длинный ряд метрик вроде накопленной ценности клиента, потому что деньги приходят из новых продуктов с лагом. Сложить эти два эффекта в одно число и назвать его ROI ИИ по компании — значит получить величину, которая не объясняет ничего ни по бюджету, ни по сроку.

Показатель, ставший целью, перестает быть измерителем. Команда начинает дробить задачи ради роста числителя, повышает дисциплину оформления в трекере, и это выглядит как рост выпуска, хотя работы столько же. Средний ROI смешивает эти искажения с реальным эффектом. Отличить одно от другого можно только внутри контура, где виден источник и характер сдвига.

Директор по развитию ИИ ПАО «Группа Астра» Станислав Ежов
Фото: «Группа Астра»

Логика расчета простая. Считать не количество закрытых задач, а отдачу с одного оплаченного часа. Каждому типу работы присваивается условный вес. Берется он не экспертно, а из фактических часов, которые команда тратила на задачи этого типа в прошлом периоде, и фиксируется на старте, чтобы задним числом его никто не подвинул. Часы для расчета берутся из табеля, а не из трекера. В трекере списания зависят от дисциплины заполнения, а не от объема сделанного, и если команда стала аккуратнее вести учет, это не должно выглядеть как рост производительности.

Дальше смотрят, насколько выросла отдача на час, и переводят этот рост в долю рабочего фонда, которая освобождается для новых задач. Освобожденные часы умножают на стоимость человеко-часа, из этой суммы вычитают затраты на внедрение, а остаток делят на сами затраты. Это и есть ROI за период. Считается он по контуру, потому что у каждого контура своя база, свой фонд и своя стоимость часа.

Вот как это работает на практике. Контур DEV показывает прирост на треть: задачи закрываются быстрее, счетчик растет. Контрольный порог по качеству срабатывает и останавливает этот результат. Дефекты на задачу выросли, срок доработки увеличился почти вдвое. Причина простая. Крупные истории раздробили на мелкие тикеты, и каждый тикет засчитался отдельно как выполненная работа. На фонде в несколько тысяч человеко-часов за квартал и обычной ставке за час это выглядело бы как многомиллионная экономия. Но прирост не прошел проверку, и эту сумму не засчитывают. Перенос методики на соседние команды останавливают до пересмотра порогов дробления, даже если экономия уже вписана в чей-то квартальный план и решение об ее отмене неприятно для всех сторон.

Раздельный счет по контуру — это ответственность за конкретный бюджет и конкретную цену ошибки. Контур DEV, контур поддержки, контур кредитного скоринга считаются по отдельности, с собственной базой и собственным порогом значимости для каждого. Сводный процент проникновения ИИ не говорит совету директоров, где именно деньги превращаются в прибыль, а где в затраты на переделку.

Такие ситуации показывают то же самое, что происходит на уровне всей компании. Скорость внедрения ИИ измеряют гораздо охотнее, чем его управляемость. Токены дешевеют, решения нет. Цена генерации выпуска падает, а цена ошибки в контуре с высокой ответственностью, в кредитном решении, в производственном процессе, в контуре с доступом к КИИ, остается прежней или растет. Отказ засчитать непроверенный прирост на таком контуре частный случай общего правила. Контур, не прошедший контрольный порог по качеству, прибыли не приносит. Он копит отложенный риск, который проявится позже и дороже.

Растущая мощность ИИ создает долг управляемости раньше, чем компания успевает его заметить. Метрики скорости считают первыми, метрики контроля вторыми, если вообще считают. AI-Native архитектура принимает эту мощность контуром за контуром, не теряя контроль ни над одним из них. Эффективность токенов и вычислений показывает, какая доля этой мощности дошла до прибыли, а какая растворилась в непосчитанном контуре. Средний ROI по компании эту долю скрывает по конструкции. Раздельный счет по контуру, даже когда он останавливает чей-то отчет об успехе, остается единственным способом ее увидеть.

Станислав Ежов, директор по развитию ИИ, ПАО «Группа Астра»