Анализ данных в финансовых организациях: роль ИИ

Для принятия обоснованных решений, минимизации рисков и повышения эффективности бизнес-процессов в финансовых организациях анализ данных играет ключевую роль. В условиях стремительного роста объемов информации и усложнения финансовых операций необходимость в систематическом подходе к обработке данных становится критически важной. Статья посвящена обзору процесса анализа данных в финансовых организациях, его этапам и перспективам дальнейшего развития.

Александр Сергеевич Албычев, заместитель руководителя Федерального казначейства

Александр Александрович Червяков, начальник Управления развития информационных систем Федерального казначейства

Ольга Леонтьевна Яблонская, руководитель Межрегионального управления Федерального казначейства по централизованной обработке данных

Целью данной статьи является систематизация знаний об анализе данных в финансовой сфере, выявление ключевых этапов и демонстрация их взаимосвязи. Это позволяет не только углубить понимание процессов и подчеркнуть их значение для повышения конкурентоспособности организаций в условиях цифровизации, но и наметить пути дальнейшего развития архитектур обработки данных.

Процесс анализа данных в финансовых организациях включает несколько последовательных этапов (рисунок 1). На первом этапе проводится предобработка входящего потока информации, включающая, в частности, распознавание документов и очистку данных от шумов и ошибок. Далее из информации извлекаются структурированные данные путем суммаризации, структурирования и применения различных методов контроля качества. На следующем этапе данные преобразуются в «знания» с использованием методов классификации и прогнозирования, что позволяет выявлять закономерности и тренды. Завершающим этапом является поддержка принятия решений, включающая решение многокритериальных задач и подготовку аналитических материалов для руководства.

Эволюция архитектурного ландшафта обработки данных в финансовых организациях тесно связана с уровнем их технической зрелости. На начальном этапе данные анализируются «на лету» (on-the-fly), то есть передаются между системами в рамках сквозных бизнес-процессов. Такой подход позволяет оперативно обрабатывать информацию, но ограничивает анализ рамками отдельных систем и процессов. С развитием технологий организации переходят к созданию централизованных хранилищ данных (Data Warehouse, DWH), которые консолидируют данные из всех систем, обеспечивая возможность комплексного анализа на уровне всей организации. Это позволяет выявлять межсистемные закономерности и принимать более обоснованные решения.

На следующем этапе зрелости финансовые организации внедряют продвинутые инструменты анализа, включая методы искусственного интеллекта и машинного обучения. Создание аналитических лабораторий данных (Data Labs) позволяет проводить глубокий анализ, прогнозировать тренды и оптимизировать бизнес-процессы. С каждым уровнем зрелости возможности анализа становятся шире, а организация способна решать все более сложные аналитические и управленческие задачи. Однако после достижения высокого уровня зрелости возникает вопрос: как и в каком направлении развивать архитектуру дальше?

Одним из перспективных направлений дальнейшего развития является переход к мультиагентным системам. Такие системы позволяют агрегировать модели, разработанные на предыдущих этапах зрелости, в виде специализированных ИИ-агентов. Каждый агент выполняет определенную функцию (например, анализ данных, прогнозирование, анализ скрытых зависимостей или анализ рисков), а их взаимодействие обеспечивает решение сложных задач путем декомпозиции на подзадачи. Мультиагентные системы обладают гибкостью и масштабируемостью, что позволяет финансовым организациям создавать комплексные ИИ-системы, способные адаптироваться к уникальным требованиям организации и оперативно реагировать на изменения внешней среды.

Эволюция архитектуры обработки данных

Эволюция архитектуры анализа данных в финансовых организациях проходит через несколько ключевых этапов, каждый из которых характеризуется увеличением сложности, интеграции и аналитических возможностей. Ниже описаны основные этапы развития архитектуры, начиная с анализа «на лету» и заканчивая созданием специализированных аналитических лабораторий.

На начальном этапе, как показано на рисунке 2, организации внедряют анализ данных «на лету» и базовые инструменты бизнес-аналитики (BI). Этот этап фокусируется на контроле сквозных бизнес-процессов, таких как, например, обработка кредитных заявок. Данные обрабатываются в реальном времени в рамках отдельных систем, таких как CRM или ERP. На этом этапе начинают точечно внедряться аналитические модели — например, для оценки кредитных рисков или прогнозирования клиентских предпочтений.

Разработка моделей осуществляется различными командами внутри отдельных систем, что не требует централизованного управления, строгих правил валидации моделей или контроля модельных рисков. Основное преимущество — быстрая реализация аналитики с минимальными инфраструктурными затратами. Однако присутствуют ограничения, связанные с фрагментированностью данных и отсутствием единой стратегии управления моделями.

Следующий этап (рисунок 3) связан с внедрением централизованного хранилища данных (Data Warehouse), которое агрегирует информацию из различных источников, таких как CRM, системы маркетинга и транзакционные базы. Хранилище данных позволяет проводить более глубокий и комплексный анализ, выходя за рамки отдельных систем. Появляются инструменты управления качеством данных (Data Quality) и управления данными (Data Governance), обеспечивающие их консистентность, целостность и доступность.

На этом этапе аналитические модели начинают разрабатываться на уровне хранилища, что позволяет создавать более сложные решения — например, прогнозирование спроса на основе данных о клиентских предпочтениях и маркетинговых кампаний. Преимущества этапа — повышение точности моделей и возможность кросс-функционального анализа. Однако требуется более сложная инфраструктура и координация между командами.

На финальном этапе эволюции (рисунок 4) формируется специализированная аналитическая лаборатория, которая становится центром разработки и управления сложными аналитическими моделями. Лаборатория использует передовые технологии, такие как платформы машинного обучения (ML) и искусственного интеллекта (AI), а также интегрированные данные из хранилища и внешних источников. На этом этапе возможно создание сложных моделей, таких как прогнозирование поведения клиентов с учетом множества факторов (демография, транзакционная активность, внешние рыночные тренды) или оптимизация бизнес-процессов с использованием глубокого обучения. Централизованное управление моделями, их валидацией и рисками становится необходимым для обеспечения надежности и соответствия регуляторным требованиям. Лаборатория позволяет финансовым организациям не только оптимизировать текущие процессы, но и разрабатывать инновационные продукты и услуги.

Модели, разработанные лабораторией и оснащенные инструментами анализа рисков модели, ее верификации и управления жизненным циклом машинного обучения (MLOps), представляют собой сложную систему, обладающую высокой степенью адаптации и интеллектуальности. Такие системы являются необходимым условием успешного внедрения больших языковых моделей (LLMs).

Особенностью данных решений является возможность организации интерактивного взаимодействия человека с моделью, что становится возможным благодаря наличию обширных хранилищ бизнес-аналитики (BI), структурированных баз знаний, нормативных документов и инструкций. Эта особенность приобретает особую значимость в организациях финансового сектора. Реализуемый в рамках данной концепции метод Retrieval Augmented Generation (RAG) позволяет формировать уникальные знания в конкретной предметной области предприятия, создавая основу для разработки специализированных виртуальных агентов, ориентированных на специфические потребности бизнеса.

Следующим возможным этапом эволюции подобного подхода является переход к мультиагентным системам (МАС, multi-agent systems). Эти системы интегрируют взаимодействие нескольких LLMs и позволяют решать комплексные задачи, повышая эффективность обработки разнородных данных и ускоряя процесс цифровой трансформации предприятий различных отраслей экономики (рисунок 5).

Компетенции Федерального казначейства

Если говорить о Федеральном казначействе, то мы можем констатировать высокую технологическую зрелость ведомства в части внедрения AI. Оно является одним из крупнейших владельцев данных в госсекторе: 7,5 петабайта, к которому ежегодно добавляется 1,5 петабайта данных. Общий объем хранимой в Казначействе России информации, включая резервирование данных, служебную и вспомогательную информацию, уже превысил 30 петабайт. Соответственно, процессы Data Governance, Data Quality, управления мастер-данными (Master Data Management, MDM) уже давно выстроены согласно Руководству DAMA по управлению данными (DAMA-DMBOK).

За последние четыре года в казначействе сформировалась довольно серьезная компетенция в части Data Science, организован инструментарий и процесс MLOps, внедрен ряд моделей в операционные бизнес-процессы. Для решения этих задач в структуре Федерального казначейства создано Межрегиональное управление Федерального казначейства по централизованной обработке данных. Этот центр выполняет ключевую роль в управлении данными, обеспечивая высокую эффективность и надежность работы государственных информационных систем. Сотрудники управления занимаются нестандартными задачами, выходящими за рамки типичных функций государственного аппарата. Их деятельность включает работу с базами данных, контроль качества данных, интеграцию систем и реализацию проектов по развитию ключевых государственных платформ, таких как ГАС «Управление» и ГИИС «Электронный бюджет» (ПИАО).

Особое внимание уделяется инновационным направлениям. В сотрудничестве с R&D-центром на базе Российского технологического университета МИРЭА разрабатываются и внедряются проекты с использованием инструментов искусственного интеллекта. Совместная работа позволяет интегрировать передовые технологии и научный потенциал Российской Федерации в государственное управление.

Таким образом, базовый и продвинутый уровень Федеральное казначейство уже прошло. Сегодня ведомство находится на границе того уровня, за которым наступит следующий виток технологической трансформации — ИИ-трансформация.

Продолжение статьи читайте в следующем номере журнала «Бюджет».

---

Поделиться: