Дмитрий ГРИШИН, директор по инновациям и Вадим ЕГОРОВ администратор ИТ-проектов банка «УРАЛСИБ» специально для Национального банковского журнала (NBJ) подготовил экспертный материал о генеративном интеллекте и его востребованности в бизнес-процессах кредитных организаций.

Ровно год назад отгремел ChatGPT – всему миру был представлен некий волшебный чат-бот, который блестяще сдает экзамен на врача, ищет ответы на вопросы лучше Google и обещает произвести революцию в мире дизайна и сторителлинга, за доли секунд генерируя изображения и тексты по запросу пользователя. Революция произошла незаметно: до этого на протяжении нескольких лет лучшие специалисты в области данных разрабатывали и обучали пониманию контекста целые классы и ансамбли больших языковых моделей, создавали решения на базе нейронных сетей, используя передовые методы обработки естественного языка. И тем не менее, до конца 2022 года едва ли оказывались в центре внимания Google, придумавший архитектуру нейросети-трансформера, а также стартап OpenAI, презентовавший предыдущие поколения знаменитой нейросети ChatGPT-1 и ChatGPT-2. Новое поколение генеративных моделей, способных к генерации больших и связных текстов, программных кодов и изображений, подарили миру понятие «бытового» искусственного интеллекта. Продукт работы сложнейших методов глубокого обучения с подкреплением стал как никогда доступен широкому кругу пользователей, с легкой руки обозванный «аишкой» и «нейронкой», в удобной веб-версии, а после и в мобильном интерфейсе ставший постоянным спутником студенческих (и нередко научных) работ и «консультантом» профессиональных юристов.

Дмитрий ГРИШИН, директор по инновациям «УРАЛСИБ»
Однако настоящий технологический прорыв, кажется, еще впереди, поскольку до сих пор не до конца ясно, как на технологию отреагирует бизнес, в том числе банковский. Чуткое к инсайдам финансового рынка новостное поле периодически сотрясают крупные отраслевые игроки, которые, избегая стратегических решений по внедрению генеративного интеллекта и даже запрещая его использование сотрудниками, всеми способами показывают стейкхолдерам высокий уровень погруженности в тему. Так, показателен пример Morgan Stanley, использующего чат-ботов на базе OpenAI для помощи финансовым консультантам в качестве ресурса знаний из внутренних хранилищ данных и исследований фирмы. Хедж-фонд Citadel тем временем одним из первых в мире начал переговоры о корпоративной лицензии ChatGPT, дающей расширенные возможности бизнесу в разработке программного обеспечения и анализа информации. Платформа управления расходами Brex в партнерстве с OpenAI запустила анализ расходов и контрольные показатели для клиентов с помощью чата. Прорывным решением обещал удивить мир Bloomberg, некогда заявивший о разработке собственной финансовой языковой модели, созданной для оценки настроений инвесторов, классификации новостей и других задач. И вместе с тем революционная технология сталкивается с множеством рисков и неопределенностью, которые спустя год после хайпа ChatGPT словно перевешивают обещанные перспективы. Однако целью этой статьи не является составление многообещающих прогнозов или перечисление открытий и новаций феномена генеративного ИИ. Вместо этого, возможно, следует прагматично подойти к оценке текущей и будущей полезности технологии, рассмотрев различные области и кейсы применения больших языковых моделей в банках.

Генеративный интеллект нужен там, где нет готовых алгоритмов

Измерение потенциала применения технологии начинается с терминов и определений. Приятный на слух «генеративный искусственный интеллект», оставаясь в действительности совокупностью моделей, работающих на базе нейронных сетей, оказывается знаменит благодаря способности мгновенно и практически в не ограниченном объеме «создавать» уникальный контент на основе больших объемов информации для обучения. «Создание», или генерация, контента, как выяснилось на практике, сопряжено с рядом особенностей: даже самый мощный GPT-бот часто врет и подтасовывает факты (делает ошибки, как выражаются разработчики).

Генеративный интеллект выступает в роли этакого «безумного гения», в связи с чем для полноценного внедрения в бизнес-процессы требуется механизм валидации результатов его работы. Так, чтобы выделить наиболее перспективные области применения ГИИ, необходимо учитывать эти особенности работы ГИИ.

Вадим ЕГОРОВ администратор ИТ-проектов банка «УРАЛСИБ»
Наилучшим образом это удается Группе Б1 (бывший E&Y) – авторам отчета «ГенИИ: второй пилот со странностями». В нем сферы деятельности бизнеса поделены с точки зрения толерантности к ошибкам и объема текстовых данных. Так, наибольшего потенциала ГИИ достигает там, где большое количество неструктурированных текстов и при этом допускается высокий процент неточности результата. Это касается в первую очередь создания дизайна и «креативов», а также аналитики и оптимизации процессов. Вместе с тем на практике ChatGPT и его конкуренты оказываются полезными в разработке и проведении исследований, где большие объемы данных для обучения сочетаются с высоким запросом на точность. Отдельного внимания заслуживает поддержка клиентов, где человеческий фактор сразу оказался под прицелом прогресса. Тем не менее, способный к почти безупречному с точки зрения языка диалогу умный чат-бот рискует если не соврать потенциальному клиенту, то выдать сенситивную информацию. Этот риск почти сразу встал на пути у сторонников допуска генеративных моделей к клиентским данным в банках и других организациях. И сразу, как подсказывают авторы отчета, следует остерегаться подключения таких чат-ботов к таким процессам, как поставки и логистика, управление оборудованием и энергетикой, где, во-первых, очень вероятны тяжелые последствия ошибки генеративного интеллекта, а во-вторых, уже и так внедрены машинные методы, не связанные с обработкой естественного языка. Таким образом, потенциал внедрения ГИИ будет зависеть от двух важнейших положительных драйверов – большого объема неструктурированных данных для обучения и относительно безболезненными последствиями от совершенных моделью ошибок. Иными словами, генеративный интеллект может оказаться востребован в процессах, где нет четких алгоритмов, но есть потребность в выявлении неявных закономерностей, имитировании деятельности и поведении человека, создании творческих визуальных решений.


От гипотез к пилоту: как GPT-сервисы окажутся в банках

Россия, несмотря на санкции, оказалась серьезно вовлечена в разработку генеративных моделей и создания решений на базе ГИИ. В особенности это касается технологически развитой банковской отрасли. Постепенно укрепляется представление о том, что генеративный ИИ становится драйвером маржинальности российских банковских продуктов. Причем пока российские «бигтехи» вроде Сбера и Яндекса создают свои проприетарные модели, новаторы подключаются к API OpenAI. Совсем недавно появились бизнес-версии ГИИ разработок от Yandex.Cloud, доступные наряду с остальными сервисами экосистемы для облачных вычислений. Из наиболее ярких примеров стоит выделить Точка-банк, добавивший ChatGPT в интерфейс интернет-банка, позволив предпринимателям бесплатно генерировать идеи для бизнеса, в том числе акции для покупок, тексты рекламных обращений и пр. Дальнейшие шаги по внедрению GPT предполагают поиск ответов на все более сложные вопросы клиентов, такие как подбор кодов ОКВЭД, генерация текстов рекламной кампании и ответов на негативные отзывы.

На текущий момент приоритетной задачей для участников финансового рынка остается налаживание механизмов поиска практической области применения генеративного интеллекта в бизнеса-процессах. Наблюдая за «хайпом» GPT-решений лидеров рынка, хочется задуматься о действительной пользе таких сервисов, выраженной в таких метриках, как сокращение time-to-market, улучшение клиентского опыта и повышение NPS. В соответствии с данным принципом представляются два направления развития GPT-сервиса в банке – решение может быть ориентировано как на клиентов, так и на сотрудников. Начинать с последних оказывается куда правильнее с точки зрения безопасности внутренних данных банка, связанного обязательствами по неразглашению коммерческой и банковской тайны, а также любых персональных данных клиентов. В таком случае перечень возможностей ИИ-решений не ограничивается созданием диалогового тренажера или виртуального офисного ассистента, который подключается к созвонам, транскрибирует аудиозаписи и распределяет роли и задачи. Амбициозной задачей в конце 2023 года кажется создание на базе ГИИ внутренней справочной системы, которая с помощью генерации уникальных ответов способна кратно сократить время вывода сотрудника на плановую производительность вне зависимости от его сферы деятельности. Гораздо сложнее на деле оказывается создание сервиса для консультирования клиентов. Если выходить за пределы общедоступной информации о продуктах банка, когда бот помогает сэкономить и выбрать лучшее предложение, потребуется немало усилий по созданию надежного и безопасного механизма разграничения прав доступа к информации – именно этот актив остается ключевым для оператора контакт-центра.

Что делать тем, у кого нет миллиарда на разработку, или как начать работать с ГИИ прямо сейчас

Рекордная скорость обучения лучших проприетарных моделей не позволяет участникам рынка надеяться на собственные разработки. Вместе с тем прагматичным выходом из ситуации может оказаться инвестиция в компетенции: экспертиза по формирующемуся рынку очень важна на этапе тестирования гипотез и поиска областей применения ГИИ в банке с помощью создания прототипов разных сервисов. Именно этим занимались аналитики и разработчики в рамках летнего хакатона в сфере генеративного интеллекта UralsibHack 2023, собравшего более 250 участников, 13 финалистов и 3 победителя. Опыт работы команд с проприетарными моделями показал, что технологически наиболее сильными оказываются сервисы в сфере бэк-офиса, связанные с транскрибацией и суммаризацией видеоконференций, а также «творческие» сервисы: особой популярностью на хакатоне пользовался кейс генератора индивидуального дизайна банковской карты по запросу пользователя. Вместе с тем уникальным оказалось решение Darkflow, с помощью которого пользователь получал сводный анализ корреляций между вербальными интервенциями и биржевыми котировками.

От практики создания собственных сервисов не так далеко до интеграций с уже готовыми решениями, что также может оказаться актуально для прагматичного игрока. В Уралсибе в инновационную лабораторию каждый год попадают сотни проектов, значимая доля которых в 2023 году оказалась связана с генеративным искусственным интеллектом. Из недавнего опыта очень показательны пилотные проекты, позволяющие по ускоренной схеме протестировать и подготовить к внедрению перспективные сервисы. Так, ярким примером такого пилота стал JustAI. Сервис позволил автоматизировать процессы обслуживания в дистанционных каналах с помощью реализации цифрового виртуального помощника. Автоматизации удалось достигнуть без интеграции с системами банка уже в клиентской поддержке 1-ой линии, когда встроенный AI-суфлер помогал оператору, прибегая к контекстным подсказкам, сценариям решения типовых проблем и другой справочной информации. Другой амбициозной задачей в банке является машинная обработка огромного пула записей разговоров с клиентом в контакт-центре, распознавание и сквозная аналитика по установленным KPI. Решать такую задачу взялись авторы проекта «Спиктор», создавшие решение по предварительной транскрибации и обезличиванию данных в контуре банка с последующей обработкой в собственной системе для управления клиентским опытом.

Открытый код истории: почему нам всем пригодятся технологии open-source

Таким образом, массовый успех работы с ГИИ в банках вряд ли будет зависеть от качества собственной разработки LLM (больших языковых моделей). В условиях ограниченности ресурсов не представляется возможным тратить миллиарды долларов на конкурентоспособные аналоги ChatGPT – усилия в этой области уже сопоставимы с созданием собственного браузера или персонального компьютера. Вместо этого наш подход к работе с генеративным ИИ предполагает использование плодов пока еще открытой науки – больших языковых моделей с открытым исходным кодом. Open-source технологии в сфере генеративного искусственного интеллекта стремительно приближаются по уровню развития к заданному OpenAI уровню. Так, совокупные метрики качества моделей в ходе тестирования доказали, что лучшая открытая модель Vicuna13b на базе класса моделей LLaMA по качеству набрала 86% от пока еще безусловного лидера – ChatGPT-4. Именно такие модели, часть из которых доступна для коммерческого использования, кажутся наиболее перспективными для бизнеса. Не делая прогнозов, можно предположить о резонности такого выбора банками – вместо инвестиций в разработку достаточно закупить инфраструктуру и на базе уже готовой модели создавать новые продукты, ориентируясь прежде всего на пользовательский опыт, а не на качество работы модели.

В результате банк получает универсальный набор возможностей по созданию сервисов с развертыванием моделей on-premise, таким образом нивелируя риски утечки данных от работы с внешними сервисами и избегая многомиллионных трат на собственную GPT-модель. О так называемых внешних сервисах также не стоит забывать, когда речь идет о работе с открытыми данными. Общедоступная информация, будь то материалы сайта или пресс-релизы, вполне заслуживает обработки лучшими проприетарными моделями российских и зарубежных сервисов. Это действительно может быть эффективно с точки зрения затрат – потребуется минимум компетенций и непрерывный доступ к API контрагента без интеграции с системами банка и сопряженными с этим процессом сложностями. Основные затраты в таком случае приходятся на разработку интерфейса и улучшение пользовательского опыта. Куда сложнее обстоит дело с вышеупомянутым консультированием клиентов. В таком случае потребуется донастройка моделей уже на внутренней инфраструктуре банка, что предполагает автономность решения и исключает зависимость от любых внешних контрагентов.

Для реализации такого подхода требуется решить ряд фундаментальных задач:

1. Фактчекинг. Решение должно производить не талантливую имитацию правды, а строгое соответствие первоисточникам. 
2. Разграничение доступа информации. Сейчас модели обучены на общедоступной информации, тогда как даже самое простое решение-консультант потребует выдачу ответа в соответствии с правами доступа. Сложной задачей станет уже не столько интерфейс, сколько настройка выходного фильтра.
3. Приобретение новых навыков работы. Создание промптов – это уровень даже не мануфактуры, а ремесленничества. Так необходимый воспроизводимый результат все еще достигается не без помощи человека. В промптах люди учатся взаимодействовать с условным роботом, от точности запроса зависит корректности итоговой выдачи.

 
Решение этих фундаментальных задач позволит банкам сфокусироваться на создании сервисов, амбициозно настроенных на кратный рост производительности, будь то за счет автоматической консультации клиента, сервиса подсказок «телесуфлера» для работников банка, тренажера по отработке навыков продаж или даже единой базы знаний о процессах и практиках работы как автоматического наставника для сотрудников и помощника для руководителей.

Материал также опубликован в печатной версии Национального банковского журнала (март 2024)