Компания РДТЕХ завершила проект по созданию хранилища данных для формирования аналитической отчетности по кредитным операциям АКБ Росбанк
Компания РДТЕХ имеет практический опыт реализации проектов по разработке и внедрению хранилищ данных в банковской сфере.
В числе последних - проект по разработке хранилища данных для Департамента Кредитных Операций (ДКрО) АКБ Росбанк.
Построенное хранилище данных состоит из двух подсистем: подсистема загрузки и подсистема аналитической отчетности.
Подсистема загрузки. Источниками данных для разработанного хранилища послужили кредитный модуль АБС, которая реализована на базе СУБД Pervasive (платформа Novell), и файлы формата Excel, поступающие из низовых подразделений банка (филиалы) по электронной почте.
Технологически само хранилище реализовано в среде Oracle8i (платформа Solaris).
В качестве инструмента проектирования и генерации схемы данных и процессов загрузки информации в хранилище был использован Oracle Warehouse Builder (OWB). Спроектированная при помощи него схема хранилища данных позволяет накапливать хронологические данные, что обеспечило возможность проведения сопоставительного анализа банковских показателей во времени.
Использование этого продукта позволило существенно сократить время разработки за счет автоматизации многих рутинных процедур, унифицировать все процессы загрузки и обеспечило надежный и быстрый механизм связи между столь разными СУБД (Oracle и Pervasive) и столь разными платформами (Solaris и Novell).
Загрузка данных из АБС в хранилище выполняется автоматически. Загрузка данных из Excel-файлов инициируется вручную оператором загрузки по мере их поступления из филиалов. Благодаря использованию выше упомянутых программных средств корпорации Oracle удалось добиться достаточно высокой скорости загрузки - весь кредитный модуль АБС (а также ряд других общебанковских справочников) перекачиваются менее чем за 30 минут в хранилище данных Oracle.
По результатам каждой загрузки формируется протокол, позволяющий администраторам банка контролировать процесс загрузки, отслеживать динамику использования дискового пространства и пр.
Подсистема аналитической отчетности. В качестве инструментального средства для построения среды разработки аналитических отчетов был использован продукт Oracle Discoverer. Следует подчеркнуть, что в рамках реализованного проекта преследовалась цель - не столько создать готовые отчеты, сколько - предоставить сотрудникам ДКрО (аналитиков, методологов, кураторов кредитных клиентов и др.) инструмент, с помощью которого они могли бы самостоятельно, не прибегая к услугам программистов, формировать нужные им отчеты, выбирать и представлять данные в нужном им виде (табличном, кросс-табличном, графическом, с постраничной разверткой и пр.).
Поскольку структура хранилища достаточно сложна для анализа данных конечными пользователями, работа через Oracle Discoverer выполняется не со схемой хранилища, а со схемой т.н. витрины данных. Технологически, витрина данных располагается в той же реляционной базе Oracle8i, что и хранилище, но в отдельной схеме. После загрузки данных в хранилище витрина данных автоматически полностью переформировывается (по тем соображениям, что любые данные могут быть изменены в АБС "задним числом"). Структура витрины данных оптимизирована под конкретное приложение и конкретные задачи (анализ данных по кредитным договорам).
Благодаря встроенным в Oracle Discoverer аналитическим возможностям (drilling, pivoting, paging, итоги и подитоги, проценты, графика, Top-N анализ и др.) был разработан ряд достаточно сложных аналитических отчетов: "Справка по крупным заемщикам", "Отчет о структуре портфеля по уровню риска вложений", "Отчет по срочности портфеля", "Отчет по отраслевой структуре портфеля", "Оборотно-сальдовая ведомость по портфелю", "Справка по заполнению лимитов" и др.
Так, например, в отчет "Справка по крупным заемщикам" в качестве параметров можно передавать даты начала и конца временного периода и количество самых крупных (по величине задолженности) заемщиков, информация о которых выводится на экран. Данные группируются отдельно по физическим и юридическим лицам. По столбцам выводится не только задолженность по клиенту, но и ее доля от портфеля, а также доля нарастающим итогом, и так по каждому месяцу из заданного временного периода. В крайнем столбце вычисляется подитог - среднее за полугодие. Предусмотрена возможность выполнять переходы по иерархии (drill-down и roll-up). От уровня клиента можно "спуститься" до уровня валюты договора (детализировать информацию), потом от уровня валюты - на уровень договора (еще ниже по иерархии) и т.д. Затем можно вновь "свернуть иерархию" и подняться до уровня клиента. Таким образом, можно как бы путешествовать (скользить) по данным, изучая нужные уровни и срезы.
В связи с тем, что многие из упомянутых отчетов нужно было построить как по головному отделению, так и по филиалам (а также, консолидированный отчет), необходимо было решить задачу очистки, согласования и консолидации данных, вообще говоря, типичную для проектов по хранилищам данных.
Кроме того, была решена (в т.ч. и штатными средствами Oracle Discoverer) весьма распространенная задача разграничения доступа. В результате, каждый куратор, просматривая существующий отчет, хранящийся в базе данных Oracle, или формируя новый, видит только информацию по тем кредитным клиентам, которых он курирует.
Внедрение хранилища данных позволило свести до минимума ручную работу по подготовке отчетов и предоставило такие аналитические возможности, которыми ранее сотрудники банка не обладали.
В числе последних - проект по разработке хранилища данных для Департамента Кредитных Операций (ДКрО) АКБ Росбанк.
Построенное хранилище данных состоит из двух подсистем: подсистема загрузки и подсистема аналитической отчетности.
Подсистема загрузки. Источниками данных для разработанного хранилища послужили кредитный модуль АБС, которая реализована на базе СУБД Pervasive (платформа Novell), и файлы формата Excel, поступающие из низовых подразделений банка (филиалы) по электронной почте.
Технологически само хранилище реализовано в среде Oracle8i (платформа Solaris).
В качестве инструмента проектирования и генерации схемы данных и процессов загрузки информации в хранилище был использован Oracle Warehouse Builder (OWB). Спроектированная при помощи него схема хранилища данных позволяет накапливать хронологические данные, что обеспечило возможность проведения сопоставительного анализа банковских показателей во времени.
Использование этого продукта позволило существенно сократить время разработки за счет автоматизации многих рутинных процедур, унифицировать все процессы загрузки и обеспечило надежный и быстрый механизм связи между столь разными СУБД (Oracle и Pervasive) и столь разными платформами (Solaris и Novell).
Загрузка данных из АБС в хранилище выполняется автоматически. Загрузка данных из Excel-файлов инициируется вручную оператором загрузки по мере их поступления из филиалов. Благодаря использованию выше упомянутых программных средств корпорации Oracle удалось добиться достаточно высокой скорости загрузки - весь кредитный модуль АБС (а также ряд других общебанковских справочников) перекачиваются менее чем за 30 минут в хранилище данных Oracle.
По результатам каждой загрузки формируется протокол, позволяющий администраторам банка контролировать процесс загрузки, отслеживать динамику использования дискового пространства и пр.
Подсистема аналитической отчетности. В качестве инструментального средства для построения среды разработки аналитических отчетов был использован продукт Oracle Discoverer. Следует подчеркнуть, что в рамках реализованного проекта преследовалась цель - не столько создать готовые отчеты, сколько - предоставить сотрудникам ДКрО (аналитиков, методологов, кураторов кредитных клиентов и др.) инструмент, с помощью которого они могли бы самостоятельно, не прибегая к услугам программистов, формировать нужные им отчеты, выбирать и представлять данные в нужном им виде (табличном, кросс-табличном, графическом, с постраничной разверткой и пр.).
Поскольку структура хранилища достаточно сложна для анализа данных конечными пользователями, работа через Oracle Discoverer выполняется не со схемой хранилища, а со схемой т.н. витрины данных. Технологически, витрина данных располагается в той же реляционной базе Oracle8i, что и хранилище, но в отдельной схеме. После загрузки данных в хранилище витрина данных автоматически полностью переформировывается (по тем соображениям, что любые данные могут быть изменены в АБС "задним числом"). Структура витрины данных оптимизирована под конкретное приложение и конкретные задачи (анализ данных по кредитным договорам).
Благодаря встроенным в Oracle Discoverer аналитическим возможностям (drilling, pivoting, paging, итоги и подитоги, проценты, графика, Top-N анализ и др.) был разработан ряд достаточно сложных аналитических отчетов: "Справка по крупным заемщикам", "Отчет о структуре портфеля по уровню риска вложений", "Отчет по срочности портфеля", "Отчет по отраслевой структуре портфеля", "Оборотно-сальдовая ведомость по портфелю", "Справка по заполнению лимитов" и др.
Так, например, в отчет "Справка по крупным заемщикам" в качестве параметров можно передавать даты начала и конца временного периода и количество самых крупных (по величине задолженности) заемщиков, информация о которых выводится на экран. Данные группируются отдельно по физическим и юридическим лицам. По столбцам выводится не только задолженность по клиенту, но и ее доля от портфеля, а также доля нарастающим итогом, и так по каждому месяцу из заданного временного периода. В крайнем столбце вычисляется подитог - среднее за полугодие. Предусмотрена возможность выполнять переходы по иерархии (drill-down и roll-up). От уровня клиента можно "спуститься" до уровня валюты договора (детализировать информацию), потом от уровня валюты - на уровень договора (еще ниже по иерархии) и т.д. Затем можно вновь "свернуть иерархию" и подняться до уровня клиента. Таким образом, можно как бы путешествовать (скользить) по данным, изучая нужные уровни и срезы.
В связи с тем, что многие из упомянутых отчетов нужно было построить как по головному отделению, так и по филиалам (а также, консолидированный отчет), необходимо было решить задачу очистки, согласования и консолидации данных, вообще говоря, типичную для проектов по хранилищам данных.
Кроме того, была решена (в т.ч. и штатными средствами Oracle Discoverer) весьма распространенная задача разграничения доступа. В результате, каждый куратор, просматривая существующий отчет, хранящийся в базе данных Oracle, или формируя новый, видит только информацию по тем кредитным клиентам, которых он курирует.
Внедрение хранилища данных позволило свести до минимума ручную работу по подготовке отчетов и предоставило такие аналитические возможности, которыми ранее сотрудники банка не обладали.