---

Сегодня банки понимают необходимость и ценность консолидированного решения для сбора, обработки и анализа данных на основе корпоративного информационного хранилища. Компания РДТЕХ предлагает комплексное решение, в рамках которого необходимые банку функциональные модули (системы обязательной и управленческой отчётности, финансового планирования и бюджетирования, оценки рисков) создаются на основе единого, корпоративного хранилища данных на базе технологий Oracle и Informatica.

На современном этапе развития бизнеса средние и крупные банки вышли на новый уровень, при котором одним из важнейших конкурентных преимуществ является скорость и качество обработки накопленных данных, а также возможность их разностороннего анализа. С одной стороны, финансовой организации необходимо соответствовать требованиям национального законодательства по обязательной отчётности, с другой стороны, международный характер современного банковского бизнеса все более подвигает российские банки к международным стандартам работы и технологического развития. Вместе с тем, для руководства финансовой организации важна возможность в любой момент времени составить единую информационную картину работы всех подразделений банка, которая позволит корректно отслеживать показатели доходности в различных разрезах: клиент, продукт, канал продаж, центр финансовой ответственности и т.д.

Тенденция решать все эти задачи точечно, на уровне отдельных департаментов и подразделений, при помощи различных систем осталась в прошлом: сегодня банки понимают необходимость и ценность консолидированного решения для сбора, обработки и анализа данных на основе корпоративного информационного хранилища (далее КИХ).

При выборе поставщика единого корпоративного хранилища данных необходимо принимать во внимание, что решения, предлагаемые крупными западными вендорами, помимо очевидных плюсов - использования проверенных лучших практик для финансовой отрасли, упрощения процессов интеграции банка в мировую систему финансовой коммуникации - обладают и существенным недостатком, а именно, не учитывают специфику национального законодательства, которое в России и странах СНГ значительно отличается от западного.

Понимая все эти трудности, компания РДТЕХ использует комплексный подход, в рамках которого необходимые банку функциональные модули (системы обязательной и управленческой отчётности, финансового планирования и бюджетирования, оценки рисков) создаются на основе единого, консолидированного корпоративного хранилища данных. При этом хранилище строится при помощи передовых технологий крупнейших вендоров: Oracle и Informatica, на основе типовой логической модели, разработанной специалистами РДТЕХ под специфику национальных банков России и стран СНГ. Особое внимание при построении хранилища уделяется процессу сбора, очистки, верификации данных. Грамотное построение процесса загрузки информации в хранилище гарантирует использование полных, непротиворечивых, актуальных данных при построении любых видов отчётности (как обязательной, так и управленческой), анализе рисков, планировании и бюджетировании.

Системная архитектура корпоративного хранилища данных

Решение "Система корпоративной и обязательной отчетности финансового института на основе единого хранилища данных" РДТЕХ представляет собой не просто хранилище данных, консолидирующее информацию из банковских систем-источников, это комплексное решение, состоящее из набора модулей, каждый из которых обладает определенной функциональностью (см. Рис. 1).

Системные модули:

• модуль "Загрузка данных" (ETL): предназначен для извлечения, трансформации, консолидации, проверки и приведения к единому формату информации, находящейся в автоматизированных системах банка;
• модуль "Безопасность": предназначен для управления правами доступа пользователей к КИХ;
• модуль "Рабочее хранилище данных" (далее РХД): содержит типовую банковскую модель, предназначенную для накопления и постоянного хранения сделочной информации, а также данных бухучета, клиентских данных и нормативно-справочной информации (НСИ).

Функциональные модули - "Обязательная отчётность ЦБ", "Налоговая отчётность", "Отчётность МСФО", "Управленческая отчётность", "Анализ рисков" и др. - являются витринами данных и используют в своей работе очищенные и консолидированные данные из РХД. Функциональные модули, в отличие от системных, предназначены для решения конкретных задач анализа данных и построения отчётности, которые ежедневно возникают у бизнес-подразделений банка.

Модуль "Загрузка данных (ETL)"

Системный модуль "Загрузка данных (ETL)" решает первоочередную задачу - создание единого источника унифицированной, консолидированной информации, объединяющего все разнородные, нередко дублирующиеся или неполные данные, хранящиеся в различных системах-источниках банка. Таким образом, хранилище данных становится единственным источником для заведомо правильной чистой информации, структурированной в единую типовую банковскую модель, позволяющую использовать данные для всестороннего анализа и формирования аналитической, обязательной и специализированной отчётности банка.

Основными функциональными блоками данного модуля являются:

• ETL-средство
  Средство получения и преобразования данных из различных систем-источников, единая платформа интеграции данных, которая позволяет получать доступ и проводить интеграцию данных любого формата, из любых источников и доставлять их в хранилище с высокой скоростью. Обычно в качестве ETL-средств в решении РДТЕХ используются продукты Informatica PowerCenter или Oracle Data Integrator.
• Оперативный склад данных КИХ (Stage-область)
  Промежуточная область хранения загруженных данных. В этой области выполняется очистка, верификация данных и приведение их к единому формату хранения в РХД.
• Блок верификации данных
  Совокупность средств, выполняющих проверку корректности загружаемых данных.
• Рабочее хранилище данных (РХД)
  Область хранения очищенных и консолидированных данных, загруженных из оперативного склада данных КИХ.
• Интерфейсы управления
  Интерфейсы управления - набор автоматизированных рабочих мест (АРМ), позволяющих осуществлять управление модулем "Загрузка данных".

Информация из систем-источников банка с помощью промышленного ETL-средства попадает в Stage-область, где происходит консолидация данных, очистка, верификация, приведение к формату типовой банковской логической модели, на базе которой строится рабочее хранилище данных.

Загрузка данных из систем-источников банка в РХД может происходить в следующих режимах:

• Инициализирующая загрузка данных. Выполняет первичное наполнение хранилища данными, при этом происходит создание начальной сальдовой точки.
• Регламентная загрузка данных. Производится в ночное время, выполняет загрузку изменений данных справочников и данных-фактов за предыдущий операционный день.
• Исправительная загрузка (перезагрузка) данных. Даёт возможность перезагрузки данных за определённый период времени в прошлом. Например, перезагрузка справочных данных приводит к частичной замене истории изменений справочника за период, пересекающийся с периодом перезагрузки по тем данным, которые подвергаются перезагрузке.

Порядок обработки данных в ходе работы модуля "Загрузка данных"

Порядок обработки данных состоит из пяти последовательных фаз, каждая из которых выполняет соответствующие преобразования данных (см. Рис. 2).

1. Загрузка данных из системы-источника (PHASE_01).

На данной фазе происходит копирование определенного набора данных из системы-источника банка в Stage-область и его подготовка для дальнейшего преобразования.


2. Формирование глобальных ключей (PHASE_02).
На данной фазе происходит формирование глобальных идентификаторов записей справочников. Для каждой сущности значение глобального ключа однозначно определяет элемент сущности. Алгоритм формирования глобального ключа зависит от нескольких факторов: типа загружаемой сущности, типа первичного ключа в источнике, системы-источника, из которого производится загрузка и т.д.


3. Поиск изменений относительно текущего состояния РХД (PHASE_03).
• Определение новых и измененных записей в источнике;
• Определение удаленных строк в источнике.
4. Преобразование и подготовка данных для загрузки в РХД (PHASE_04).
На данной фазе происходит формирование строк загружаемой сущности в том виде, в котором они будут храниться в РХД. Для этого на основе исходной постановки задачи по загрузке выполняется привязка атрибутов таблицы системы-источника и атрибутов таблицы РХД (возможно, с использованием необходимых преобразований); определение и простановка условий соединения с зависимыми таблицами РХД; вычисление хеш-значения загружаемых атрибутов.


5. Загрузка данных в РХД (PHASE_05).
• Загрузка в РХД структур, содержащие актуальные данные.Вставка новых записей и обновление уже существующих данных в актуальном срезе загружаемой структуры.
• Загрузка данных в исторические таблицы. Загрузка данных в таблицу с поддержкой истории изменений по всем значимым (т.е. не служебным) полям загружаемой структуры.

Типы загрузки

При загрузке можно выделить следующие типы загрузки данных:

• загрузка таблиц-справочников, при которой используются все фазы, описанные выше;
• загрузка таблиц-фактов, при которой могут быть пропущены следующие фазы из описанных выше:
  • PHASE_02;
  • PHASE_03;
  • PHASE_05H.

Проверка качества данных

Основными задачами ETL-процесса являются изъятие информации из источников банка, их фильтрация, выявление изменений, очистка, верификация, преобразование в единый формат, загрузка в рабочее хранилище с поддержкой истории, агрегация.

Одним из важнейших этапов, влияющих на работу всех функциональных модулей КИХ, является процесс верификации данных, их проверки. Работа с данными, прошедшими процесс проверки, гарантирует достоверность построения любых видов отчётности.

В корпоративном информационном хранилище РДТЕХ механизм отслеживания качества данных, загружаемых в хранилище, автоматизирован, проверки данных проходят на различных этапах их загрузки и использования (см. рис 3). Модуль верификации данных, являющийся универсальным, реализуется процедурами, зарегистрированными в специальном справочнике правил верификации. Проверка данных может осуществляться как на уровне одной строки, так и на уровне таблицы. Набор правил верификации является гибким, расширяемым и может изменяться в процессе эксплуатации модуля.


Проверки данных выполняются автоматически при движении информации по всем потокам, передающим данные от системы-источника до витрины. Потоки данных характеризуются следующими параметрами:

• период, за который происходит загрузка;
• источник данных - совокупность первичных данных в одном формате с единой кодификацией данных (первичных ключей и связей) и НСИ;
• режим загрузки - разновидности загрузки: инициализирующая, регламентная или исправительная.

Проверки выполняются автоматически при движении данных по всем потокам в следующих ключевых местах:

1. Точка выполнения технических проверок над данными (фаза PHASE_01B_DIRTY процесса загрузки данных). Проверки запускаются после того как осуществлён захват данных из источника и данные размещены в оперативном складе (Stage-область) без трансформации. На данном этапе выполняется первичная верификация загружаемых данных: проверка форматов полей, типов данных, обязательности их заполнения и т.д.
2. Точка выполнения технических проверок над данными (фаза PHASE_04B_DIRTY процесса загрузки данных). Проверки запускаются после преобразования (трансформации) данных к единому виду РХД. На этот этап поступает только часть данных (новые и изменённые) за период загрузки. Выполняется верификация данных на предмет уникальности записей, ссылочной целостности и соответствия данных формату РХД.
3. Точка выполнения бизнес-проверок. Проверки выполняются над данными, размещенными в РХД. На данном этапе обрабатываются все данные за период. Основные проверки данного этапа - бухгалтерские и функциональные. Например, проверка остатков и оборотов активных счетов в рублях и валюте, контроль баланса, сверка графика погашения кредитов и остатков на ссудных счетах и т.д.
   Точка выполнения бизнес-проверок. Проверки выполняются над данными, размещёнными в витрине данных. На этом этапе обрабатываются все расчетные данные за период. Выполняется итоговая верификация данных перед их дальнейшим анализом и построением отчётов. Проверяется соответствие загруженных и рассчитанных данных требованиям функциональных модулей.

Функционал модуля верификации данных позволяет на регулярной основе автоматически проводить проверки качества данных и в оперативном режиме предоставлять результаты проверок в виде отчётов для пользователей, ответственных за исправление ошибок.

Модуль "Рабочее хранилище данных (РХД)". Типовая модель данных РДТЕХ для банков.

На основании большого опыта работы в области построения хранилищ данных для отечественных и зарубежных финансовых организаций, специалисты РДТЕХ разработали типовую банковскую модель данных, описывающую все бизнес-процессы банка в их взаимосвязи. Данная модель лежит в основе РХД и обеспечивает единую основу для подготовки всех видов банковской отчётности, бюджетирования, планирования, расчёта рисков и других бизнес-задач.

Типовая модель данных корпоративного хранилища состоит из следующих компонентов:

• Логическая модель. Представляет собой наборы взаимосвязанных сущностей, соответствующих по уровню детализации понятиям первичного учёта банковской предметной области. Сущности логической модели группируются в такие бизнес-области, как Субъекты, Бухгалтерия, Кредитные сделки, Депозитные сделки, Банковские карты и другие;

• Физическая модель. Отображает логическую модель на уровне таблиц (и других объектов) базы данных Oracle;

• Глоссарий модели. Описывает в бизнес-терминах определения всех атрибутов/сущностей логической модели.

Одними из главных преимуществ использования типовой модели данных являются учёт специфических требований национальных законодательств в области отчётности, наличие полного описания всех типовых бизнес-процессов банка на русском языке, увеличение скорости внедрения решения за счёт его унификации, возможность масштабирования и развития решения в соответствии с новыми бизнес-задачами.

Кроме того, детально проработанный глоссарий модели позволяет обеспечить единую терминологическую базу для всех участников проекта: бизнес-пользователей, технологов банка, разработчиков системы. В терминах глоссария формируются требования к системе, составляется техническое задание, описывается каждая сущность бизнес-процесса и осуществляется её привязка к соответствующей сущности источника данных, что обеспечивает однозначность интерпретации всех проектных документов.

Описание взаимосвязей между различными сущностями логической модели реализовано при помощи технологии визуализации - продукта Oracle Designer - что позволяет значительно облегчить процесс описания модели, внесения изменений и поддержку их версионности. При помощи данной технологии всегда возможно отследить, как та или иная сущность логической модели связана с физической моделью или системой-источником, т.е. перейти от конкретной сущности логической модели к соответсвующей ей таблице в рабочем хранилище данных или определённому набору данных источника, содержащего первичную информацию. В репозитории Oracle Designer легко проанализировать источники данных в различных разрезах при помощи отчётов, например, наборы загруженных в КИХ данных и их качество.

Отчёты по логической модели строятся на базе продукта Oracle Business Intelligence Publisher и экспортируются в различные форматы - XML, RTF, PDF, XLS и HTML - что делает типовую модель данных ещё более удобной в использовании.

Типовая банковская модель РДТЕХ успешно используется в реальной практике внедрения хранилищ данных в коммерческих банках России и стран СНГ.

Функциональные модули хранилища данных

На основании собранной в системах-источниках проверенной информации, трансформированной согласно логической модели, производится наполнение функциональных модулей - витрин данных, которые завершают работу комплексного решения по хранению и анализу данных в банке.

Благодаря тому, что все прикладные модули используют единую модель данных хранилища, вобравшую в себя международный опыт в области банковских хранилищ данных и аналитических систем, приложения наследуют гибкость и масштабируемость, заложенные в модель.

В комплексном решении РДТЕХ реализованы основные функциональные модули, необходимые для эффективной деятельности банка:

• Модуль "Обязательная отчётность для ЦБ";
• Модуль "Налоговая отчётность";
• Модуль "Отчётность МСФО";
• Модуль "Управленческая отчётность";
• Модуль "Анализ рисков";
• Модуль "Финансовое планирование и бюджетирование".

Внедрение прикладных модулей позволяет автоматизировать большинство банковских процессов, увеличить скорость и качество подготовки обязательной и управленческой отчётности, расширить возможности по построению систем бюджетирования и планирования, анализа доходности различных направлений бизнеса.

О компании: Компания РДТЕХ успешно работает на рынке информационных технологий с 1992 года. РДТЕХ предлагает комплекс услуг для финансовых институтов - разработку заказных систем на базе программных продуктов ведущих мировых производителей, лидеров рынка корпоративного обеспечения - Oracle, i2, внедрение бизнес-приложений Oracle, в том числе специализированных решений на платформе отраслевого бизнес-приложения Oracle Financial Services Analytical Applications (OFSAA), консалтинг, продажу лицензий и технической документации, авторизованное обучение и техническую поддержку ПО Oracle.

По материалам CNews: http://www.cnews.ru/reviews/free/banks2011/case/case5.shtml