Альянс в сфере ИИ и Ассоциация ФинТех разработали методологию оценки финансовой эффективности ИИ-проектов. Она станет единым инструментом для расчета бизнес-результатов от внедрения ИИ и установит корректные принципы оценки, а также поможет избежать двойного учета на уровне компании.
Ассоциация ФинТех и Альянс в сфере ИИ представили методологию оценки финансовой эффективности проектов искусственного интеллекта на международной конференции AI Journey в минувшую пятницу, 21 ноября. Согласно сообщению ассоциации, методология станет единым инструментом расчета бизнес-результатов, установит корректные принципы оценки и поможет избежать двойного учета на уровне компании. Ее разработкой занимались участники отраслевого клуба «ИИ в финансовой отрасли» (создан обеими организациями).
По словам генерального директора Ассоциации ФинТех Максима Григорьева, отечественные компании готовы масштабировать ИИ-решения, но им нужны единые методы расчета эффекта, стандартизированные форматы кейсов и доверие к данным. Он отметил, что инициативы отраслевого клуба помогут в формировании зрелого рынка со сравнимыми решениями, измеримыми эффектами и управляемыми рисками.
«Методология разработана специально для финтех-организаций и призвана унифицировать подход к расчету финансового эффекта от внедрения решений на основе искусственного интеллекта. Она будет полезна всем, кто в финансовой сфере хочет системно и прозрачно оценивать, сколько именно денег приносит или экономит каждый ИИ-проект», — рассказала генеральный директор Альянса в сфере ИИ Валерия Воробьева.
По ее словам, методология станет «учебником» для начинающих путь оценки эффективности ИИ и помощником для умеющих считать финансовый эффект и стремящихся расширить и углубить методологическую базу. Но она отметила, что, несмотря на универсальность методологии, каждая отрасль уникальна. В будущем авторы методологии разработают ее универсальные версии и для других секторов экономики.
«Мы видим методологию не как статичный документ, а как живой, развивающийся инструмент. Наша цель — сделать ее максимально удобным и практичным «учебником» для менеджеров и сотрудников финансовых организаций, которые самостоятельно рассчитывают эффект от ИИ-проектов. Поэтому мы открыты к обратной связи и готовы вносить улучшения на основе реального опыта применения. Уже в следующем году планируется включить в методологию новую главу, посвященную оценке модельного риска. В дальнейшем, в зависимости от запросов сообщества и эволюции технологий, могут появиться и другие дополнения. Текущая версия методологии уже доступна для скачивания на сайте Альянса в сфере ИИ», — сказала Валерия Воробьева.
«Инвестиции в ИИ в эпоху дорогих денег и определенного разочарования от предыдущих несбыточных ИИ-проектов требуют подробного экономического обоснования. Рынку была необходима единая и прозрачная система оценки эффективности, поэтому на базе отраслевого клуба «ИИ в финансовой отрасли», созданном Ассоциацией ФинТех и Альянсом в сфере ИИ, участники рынка объединили усилия для создания единого подхода», — рассказал советник генерального директора Ассоциации ФинТех по ИИ Алексей Сидорюк.
Он отметил, что новая методология предназначена компаниям финансовой отрасли для помощи в формировании бюджета на внедрение ИИ-решений. Она предоставит аргументы и расчеты для обоснования инвестиций внутри организаций. Отрасль получит новые возможности для стратегического планирования, а на уровне государства методология понизит барьеры на адаптацию ИИ и будет способствовать системному развитию отраслей экономики посредством применения ИИ.
«Оценка экономического эффекта от ИИ, с одной стороны, сложный и комплексный процесс, с другой — вполне решаемая прикладная задача. Справедливо, что уровень сложности сильно зависит от того, в каком именно направлении и бизнес-процессе мы внедряем ИИ. Ключевая задача оценки — ответить на вопрос: «А что было бы, если бы мы не внедрили ИИ?», — сказал представитель ООО «Т-Технологии» (ПАО «Т-Банк», является участником Альянса в сфере ИИ).
Менеджер продукта «К2 НейроТех» ООО «К2 Тех» Вячеслав Дегтярев назвал новую методологию значительным шагом вперед для российского рынка ИИ, чья ключевая ценность заключается в системном подходе и практической ориентированности. По его словам, это полноценный фреймворк, детально описывающий весь жизненный цикл проекта: от формулировки гипотезы и выбора корректного бейзлайна до мониторинга эффекта и предотвращения двойного счета.
«Особенно важно глубокое описание типов финансовых эффектов, включая влияние на резервы и капитал. Для нас, как для поставщика инфраструктурного решения ПАК-AI, такая методология становится важным элементом экосистемы, помогая заказчикам обосновывать инвестиции в ИИ по единым, понятным и строгим правилам», — сказал Вячеслав Дегтярев.
С ним согласился основатель маркетплейса нейросетей Chad AI Артур Кольцов. По его словам, новая методология дает возможность российским компаниям не придумывать подходы, а считать эффект от внедрения ИИ по единым правилам.
«В документе есть готовые формулы, примеры расчетов и калькуляторы — компания может сразу подставить цифры и понять окупаемость проекта. Главное, что методология исключает двойной учет эффектов, когда один результат считают несколько раз», — отметил он.
По словам представителя «Т-Технологий», считать эффект от внедрения относительно несложно в хорошо оцифрованных сферах с прямым влиянием на финансовый результат и большим количеством наблюдений для экспериментов. Среди примеров он упомянул ботов клиентской поддержки и ранжирование продуктовой ленты.
«Мы проводим честный эксперимент, где для части пользователей отключаем возможность попасть к чат-боту, а в части рекомендаций строим ранжирование по бизнес-правилам, а не с помощью ИИ-моделей. Разница в результатах дает нам оценку вклада ИИ», — рассказал представитель «Т-Технологий».
Он отметил, что сложнее всего посчитать влияние ИИ с точки зрения финансов в направлениях с непрямым эффектом и ограниченным объемом данных для экспериментов. Таких, как копилоты для разработчиков, которые влияют на скорость работы команд, качество кода, сроки релизов, и это влияние сложно замерить в честных экспериментах и перевести в понятные денежные метрики.
«Методология оценки внедрения ИИ зависит от каждого конкретного бизнес-процесса. Например, если раньше процесс обработки 500 счетов в месяц занимал неделю, то теперь это час. Считается просто: сэкономленные часы умножаем на зарплату. Сложнее, когда речь о косвенных эффектах: рекомендательные системы растят конверсию, но нужно отделить это от других маркетинговых активностей. Еще сложнее с R&D-проектами и стратегическими инициативами — эффект размыт во времени и привязан ко множеству факторов», — рассказал Артур Кольцов.
Вячеслав Дегтярев пояснил, что наиболее сложными для оценки являются стратегические и экосистемные инициативы, например, направленные на рост лояльности клиентов или усиление бренда. По его словам, их эффект проявляется в долгосрочной перспективе и требует выявления сложных причинно-следственных связей.
«Отдельный класс задач — сложносоставные проекты, где несколько моделей влияют на один и тот же процесс или одна модель используется в разных бизнес-линиях. Здесь критично правильно «разложить» эффект по драйверам и избежать двойного подсчета. Не менее требовательны к экспертизе инициативы, влияющие на резервы и капитал, где нужен тесный диалог между ИИ-командой, аналитиками рисков и финансистами. Еще один пример сложных для оценки проектов — инфраструктурные: запуск ИИ-платформы или суперкомпьютерного кластера под ИИ, когда эффект размазывается по десяткам кейсов и выражается в сокращении времени внедрения, снижении стоимости владения и повышении устойчивости процессов», — рассказал он.
«Максимальный прямой экономический эффект от внедрения ИИ в Т-Банке сейчас достигается в сфере обслуживания клиентов, в кредитовании и антифрод-решениях. Компании только учатся правильно измерять эффекты от внедрения ИИ, не все они прямые и могут быть корректно посчитаны. Один из неявных эффектов — усиление сотрудников. Искусственный интеллект помогает работникам быстрее решать задачи — от этого выигрывает вся компания», — заявил представитель «Т-Технологий».
Он заметил, что прямой экономический эффект от внедрения ИИ в операционной деятельности ежегодно составляет десятки миллиардов рублей, а косвенные — значительно выше. По его словам, непрямые эффекты — инструменты, усиливающие сотрудников (копилоты, помогающие в написании кода).
«Относительно проще оценивать проекты прямой автоматизации, где эффект прозрачен и легко измерим: высвобождение времени сотрудников кол-центра благодаря чат-боту, оптимизация логистических маршрутов, сокращение ручной обработки заявок», — рассказал Вячеслав Дегтярев.
По мнению Артура Кольцова, новая методология нужна. Он отметил, что она позволит говорить всем игрокам рынка на одном языке и облегчит обмен опытом и сделает процессы прозрачнее для инвесторов, советов директоров и акционеров. Наконец она повысит скорость внедрения искусственного интеллекта.
Представитель пресс-службы ООО «МВС» (MWS AI и MWS, входят в ПАО «МТС») отметил, что сейчас подходящее время для появления единой методологии. Главная причина — генеративный ИИ переходит от больших языковых моделей к продуктам, которые начинают приносить финансовый эффект, а с лучшими разработками российские компании могут выходить за рубеж, поэтому полезно иметь единую методологию.
«Единая методология станет полезным инструментом для всей ИТ-сферы и смежных бизнес-подразделений. Она не заменяет внутренние подходы к планированию и контролю, а задает общие принципы, которые можно адаптировать под отрасль и специфику компании. В первую очередь она формирует общий язык и стандарты для коммуникации между бизнес-заказчиками, техническими специалистами и финансистами. Это позволяет адекватно сравнивать эффективность разных проектов как внутри компании, так и на уровне всей отрасли, формируя качественные бенчмарки. Во-вторых, она повышает прозрачность и доверие к технологиям искусственного интеллекта. Когда расчет экономического эффекта строится на четких, воспроизводимых принципах, руководство и инвесторы начинают воспринимать ИИ не как «черный ящик» с неясной отдачей, а как надежный инструмент создания ценности. В-третьих, это стимулирует инвестиции, так как четкие расчеты ROI снижают риски и упрощают процесс одобрения бюджета. Для многих компаний, особенно только начинающих путь в ИИ, эта методология станет практическим руководством, позволяющим избежать распространенных ошибок и сразу выстроить зрелый процесс управления эффектами ИИ-проектов. В нашей работе по развитию ПАК-AI и ИИ-инфраструктуры мы также планируем опираться на эти принципы, чтобы говорить с заказчиками о финансовом результате на одном языке», — заключил Вячеслав Дегтярев.
Представители ведущих отраслей соберутся на ИТ‑форумах ComNews, чтобы оценить эффективность внедренных ИИ‑систем и обсудить достигнутые результаты. Ознакомиться с календарем событий можно здесь: https://www.comnews-conferences.ru/
