Хранилища данных: дешевле и проще

Успех любого дела определяется в первую очередь тем, правильное ли решение о том, как его выполнять, было принято. Невозможно принять решение без необходимой информации, но зачастую отобрать ее из всей массы накопленных разнородных данных бывает очень трудно. В то же время в компьютерном мире уже достаточно давно сложилось мнение, что содержащаяся в любых данных информация имеет ценность и может быть многократно использована для разных целей. Рост объемов информации привел к появлению технологии хранилищ данных (Data Warehouse), и проведенное компанией IDC в 1996 г. исследование 62 крупных компаний Северной Америки и Европы, включая ряд банков, показал, что несмотря на очень высокую стоимость корпоративных хранилищ (сотни тысяч — миллионы долл.), затраты, произведенные ими на создание таких хранилищ, окупались в среднем за 2—3 года.

Все бы хорошо, но как быть в России, где сегодня даже крупные банки и компании не готовы инвестировать столь большие средства в корпоративные хранилища при таких сравнительно небольших сроках окупаемости? Ведь даже если объемы данных, накопленных в организации, и не составляют терабайты, корпоративные хранилища сегодня строятся с использованием машин класса мейнфреймов или очень мощных серверных решений, а потому могут себя оправдать только при очень больших объемах информации. Большинство же российских организаций, в том числе банков, пока большими объемами информации «не страдают».

Понятно, что хранилища данных останутся просто «складами», где «закопанная» информация будет лежать мертвым грузом, если собранные в них данные не будут превращены в материал, пригодный для анализа, и в компаниях, использующих компьютерные данные для принятия стратегических решений, всегда были группы сотрудников (специалистов в области информационного обслуживания), которые и занимались этим превращением. Однако при очень больших объемах информации обойтись без программных систем поддержки принятия решений, обеспечивающих систематизацию и обработку накопленных данных, невозможно, и одним из таких программных средств являются системы «добычи» данных и извлечения знаний (к ним уже давно «приклеилось» укороченное латинское название Data Mining). Уже устоявшимся определением систем извлечения знаний является следующее: это процесс выявления новых, нетривиальных, практически полезных и доступных пониманию закономерностей.

На мировом рынке программных продуктов уже давно имеется ряд систем извлечения знаний, большинство из которых предназначено для крупных корпоративных хранилищ информации и, соответственно, работает на мощных компьютерах. В то же время известны несколько программных продуктов, относящихся к классу систем Data Mining, работающих на персональных компьютерах, и один из них — система PolyAnalyst российской фирмы Megaputer Intelligenсе, позволяющая обрабатывать как небольшие содержательные базы данных, так и очень большие массивы информации, представляя полученные соотношения в виде, легко понимаемом человеком (об использовании этой системы для управления портфелем ГКО-ОФЗ можно прочитать в журнале «Банковские технологии», №10/1996, с. 86—88). Наличие таких продуктов наводило на мысль, что не сегодня-завтра должны появиться решения, позволяющие строить небольшие хранилища данных с использованием персональных компьютеров. И вот 5 ноября 1997 г. фирма IBM совместно с фирмой Megaputer Intelligencе провели пресс-конференцию, которая была посвящена системе Visual Warehouse Solution, предназначенной для создания локальных хранилищ данных.

Visual Warehouse Solution для Windows NT состоит из таких компонентов, как собственно хранилище с сервером DB2/NT, сервер, управляющий процессами его наполнения (Visual Warehouse Server), агент, осуществляющий при помощи драйверов ODBC перенос данных из их источников (это могут быть базы данных Oracle или Sybase и другие базы данных DB2, а также отдельные файлы), и пользовательские программы, выполняющие функции администрирования, работы с информационным каталогом и создания отчетов и экранных форм.

Система Visual Warehouse имеет ограниченные по сравнению с традиционными хранилищами данных возможности по объему хранения информации (не более 50 Гбайт) и числу пользователей (около 20), но легко масштабируется за счет того, что в одной локальной сети могут использоваться несколько серверов Visual Warehouse Server для работы с несколькими хранилищами. При этом количество агентов, по словам представителей фирмы IBM, может быть сколь угодно большим, что позволяет распараллеливать процессы наполнения хранилищ. Все это указывает на то, что создав в большой организации локальное хранилище (datamart) и постепенно масштабируя его, можно при необходимости построить единое корпоративное хранилище данных в форме распределенного хранилища.

Опыт создания подобных хранилищ уже имеется, и упомянутое выше исследование IDC показало, что наиболее быстрый возврат инвестиций связан с внедрением локальных хранилищ данных, ориентированных на какую-либо определенную предметную область, определенную группу пользователей и/или принятие решений в рамках отдельных подразделений, а средний срок окупаемости затрат на их создание составляет всего лишь чуть больше года, при почти в 1,7 раза более высоком, чем в случае традиционных централизованных корпоративных хранилищ данных, отношении прибыли, полученной в результате их эксплуатации, к затратам на их создание.

Характер бизнеса у разных компании разный, и решения, которые они применяли при построении хранилищ, тоже были разными: есть решения, предназначенные для контроля за общей ситуацией на рынке, контроля за расходами компании, за различными финансовыми и технологическими процессами и т. д. Существуют решения, которые используются для оценки развития бизнеса, в том числе и в банковской сфере (западный опыт показывает, что при грамотной постановке задачи и сравнительно небольших организационно-технологических нововведениях можно получить достаточно серьезный экономический результат).

Отечественные организации, являющиеся потенциальными пользователями хранилищ данных, — а это аналитические службы банков и инвестиционных компаний, а также трейдеры фондового рынка и рынка ГКО-ОФЗ, государственные организации, службы маркетинга и продажи торговых фирм и др., —  существенно отличаются от западных и по опыту, и по характеру работы. Тем не менее конкуренция растет, и подобные решения в некоторых случаях могут оказаться полезными, а в некоторых — просто незаменимыми (думается, нынешний мировой финансовый кризис убедительно говорит об этом — хранилища данных с системами Data Mining, конечно, не могут оказать существенного влияния на его развитие, но могут помочь снивелировать его последствия для конкретной организации).

Решение, предложенное IBM, имеет сравнительно невысокую стоимость (по словам представителей компании, — несколько десятков тыс. долл.) и в связи с ориентацией на использование персональных компьютеров может быть быстро внедрено и не требует от персонала очень высокой квалификации. При этом, как показывает зарубежный опыт, первые результаты от его внедрения могут быть получены уже через несколько недель.

Совсем не случайно в пресс-конференции приняли участие специалисты фирмы Megaputer Intelligence — ее PolyAnalyst уже интегрирован с Visual Warehouse, и, тем самым, получено законченное решение, позволяющее полноценно использовать систему в качестве системы поддержки принятия решений.

Сергей Аврин