Реализация аналитического хранилища данных в пакете "Нострадамус" фирмы ПрограмБанк на базе системы SAS Institute

В. Сорокоумов, М. Веселов, ПрограмБанк, (095) 918-1105, E-mail

---

В результате развития российской банковской системы и дальнейшей автоматизации многих сторон деятельности банка сложилось положение, когда транзакционными компонентами баз данных рынок банковских систем достаточно насыщен. Практически все российские банки успешно внедрили в свой производственный процесс системы учёта различных сторон деятельности банка (систем операционного рабочего дня банка, учёта кредитных договоров, работы с частными вкладами, ценными бумагами и т.д.). Работа в современном банке уже не мыслится без таких систем автоматизации. Фактически банки научились собирать необходимую информацию для внешних и внутренних бухгалтерских отчётов и других документов. С укрупнением банков, расширением сторон деятельности, усложнением электронного документооборота, а также просто с увеличением объёма информации, накопленных в транзакционных системах встаёт вопрос о максимальном использовании этой информации теми конечными пользователями, которые могли бы ориентироваться на эту информацию для принятия важных управленческих решений.
Системы поддержки аналитических запросов (OLAP) и системы доставки информации конечным пользователям (Information Delivery System) должны обладать иными свойствами, нежели традиционные базы данных. Концепция создания Информационного хранилища (DataWarehouse) наиболее полно представлена в продуктах компании SAS Institute. В литературе термин DataWarehouse употребляется довольно часто, однако мы хотели бы сформулировать и продемонстрировать положения этой концепции на базе системы "Нострадамус", разработанной фирмой ПрограмБанк на базе продуктов компании SAS In- stitute.
Итак, чем отличается информация, собираемая в учётных системах, от информации, которая администрируется Хранилищами Данных.

1. Информация собираемая в учётных системах изобилует лишними техническими деталями, но не всегда напрямую отражает предметную область. Например, для анализа доходов не обязательно знать подробности о каждой конкретной проводке, однако, при формальном бухгалтерском анализе не учитываются, например, неформальные отношения между банками - корреспондентами или банком и конкретными клиентами.
2. Учётная информация имеет отличную от информационного хранилища структуру (как правило это нормализованные таблицы, связь между которыми достаточно сложна и как правило не известна конечному пользователю). Это обстоятельство связано с тем, что транзакционные системы ориентированы на большой поток коротких транзакций по записи в базу. Работа Хранилища информации же, напротив, направлена на чтение из транзакционных баз и организацию представления данных в форме, максимально удобной для конечного пользования (в том числе и OLAP - процессов). Данные для Хранилища более консолидированы, очищены от ненужных деталей и не имеют нормализованного представления. Как правило это либо иерархические представления, либо представления больших плоских таблиц, связанных зачастую не по формальным признакам, а по ассоциативным связям. Причём именно пользователю необходимо давать возможность устанавливать такие отношения, а следовательно точек зрения на одни и те же данные может быть столько, сколько конкретных решаемых задач.
3. Данные для хранилища, как правило, имеют разнородные источники. Например, при анализе доходности различных инструментов нужно иметь информацию о внешних рынках, которую обычно банк получает от бирж либо от информационных агентств. Естественно, форматы поступающих данных неоднородны. Кроме того, банки иногда имеют подсистемы от разных фирм - поставщиков программных продуктов. Часто источником внутренней информации могут являться файлы текстовых форматов, либо файлы в форматах Microsoft Word и Microsoft(c) Excell. Для использования такой слабоструктурированной информации необходимо предоставить пользователю возможность связывать поступающую информацию по ассоциативному признаку, не вводя жёсткие структурные связи а так же механизмы структурирования подобной информации для использования её в предметных задачах.
4. Для задач анализа и прогноза данные обязательно содержат временную компоненту, т.е. представляют из себя временные ряды. На способ хранения и использования временных рядов влияет информация о периодичности поступления таких данных в систему (например, разные отчёты могут иметь годовые, квартальные, месячные, ежедневные и т.д. периоды поступлений). При этом, период вычисления расчётных параметров, основанных на временных рядах с различной периодичном, должны удовлетворять принципу максимальной актуальности данных. Т. е. период расчёта параметра на основе месячных и еженедельных данных должен составлять один день, а период расчёта параметра на основе квартальных и месячных данных должен составлять один месяц и эти временные соответствия должны отслеживаться автоматически. Кроме того необходимо поддерживать физические календари для различных финансовых инструментов. Например если на бирже торги проходят по понедельникам, средам и четвергам, рабочая неделя для этого инструмента рынка состоит из трёх дней. Необходимо также учитывать праздники.

Все принципы упомянутые выше строго выдерживались при реализации проекта "Нострадамус" фирмы ПрограмБанк на базе системы SAS Institute.
Система анализирует макропараметры, определенные пользователем и отражающие для него какой-либо аспект деятельности банка, причем связи между этими параметрами могут устанавливаться самим пользователем, исходя из его представления решаемой задачи. При решении задач системой учитываются только определенные пользователем связи и ассоциации, а технические способы получения анализируемой информации при этом роли не играют.
Для расчета параметров получаемых на основе оперативной банковской информации используется группировка счетов. Эта группировка опирается на единое представление данных Информационного Хранилища Аналитической Системы, т.е. данные хранящиеся в разнородных оперативных системах приводятся к единому виду и заводятся глобальные справочники, отражающие специфику решаемых задач и не учитывающие особенности систем оперативного сбора информации. На этом этапе оперативная информация приводится в непротиворечивый вид и очищается от деталей не необходимых для принятия решений. Затем исходя из условий группировки, заданных пользователем, выбирается консолидированная информация, которая и является предметом анализа. Это суммы, свертки по группам счетов над которыми могут проводится затем более сложные вычисления и которые уже могут быть предметом прогнозирования.
К единому представлению приводятся не только данные получаемые из сопряженных систем, но и слабоструктурированные данные, получаемые из отдельных файлов. Вся содержащиеся в них информация разбивается на макропараметры, которые регистрируются в системе, и в дальнейшем уже не делается различие между параметрами, полученными из систем, и параметрами, полученными из произвольных файлов.
Все данные, как исходные, так и получаемые посредством вычислений и хранимые системой, связаны со временем. Это значит, что значение любого макропараметра для любого периода или момента времени можно получить сразу без дополнительных вычислений. Процедуры получения отчетов характерные для традиционных систем производят вычисления для каждого отчета за указанный отчетный период. При больших объемах накопленной информации традиционный подход не позволяет, как правило, быстро менять взгляд на информацию и получать соответствующий результат в реальном времени. На наш взгляд, только мгновенное предоставление данных со смыслом, вложенным в них конечным пользователем может сделать анализ информации действительно творческим процессом.