baza danych a hurtownia.pdf

Czym się różni hurtownia danych od bazy danych

Małgorzata Bartoszewska

mbartoszewska@infovide.pl

Artur Król

akrol@infovide.pl

Infovide Sp. z o.o., Warszawa

Baza danych a Hurtownia Danych

Kiedyś ktoś powiedział, że Hurtownia Danych to "taka duża baza danych, mądrze nazwana". I właściwie miał rację, bo z

technologicznego punktu widzenia właśnie tak jest. Ale większość pojęć ma przecież wiele znaczeń.

Pod pojęciem "baza danych" rozumiany jest często System Zarządzania Przedsiębiorstwem (składający się z jednego lub kilku

różnych systemów) - czyli system informatyczny służący do automatyzacji codziennej pracy. Są to systemy wspomagające np.

obsługę klienta, dystrybucję towaru, zarządzanie zapasami, systemy finansowo - księgowe etc. W chwili obecnej systemy takie

stanowią podporę większości organizacji. Cechą takich systemów jest możliwość bardzo wydajnego przetwarzania dużej liczby

operacji jednocześnie, przy czym każda operacja wymaga małej ilości danych. Systemy te ukierunkowane są na wspieranie

procesów gospodarczych zachodzących w danej firmie.

Jednak samo przechowywanie danych, chociaż niezbędne w codziennej pracy, nie stanowi wartości samej w sobie. Jednym z

czynników pozwalających osiągnąć znaczącą przewagę konkurencyjną są informacje, które można uzyskać dzięki danym

przechowywanym w systemach eksploatowanych w całej organizacji i wykorzystanie tych informacji do podejmowania decyzji

taktycznych i strategicznych. Oczywiście można powiedzieć, że informacje takie są w raportach generowanych z

wykorzystywanych wspomnianych wcześniej systemów.

Niestety, wyniki badań przeprowadzonych przez IBM wskazują, że 40% raportów w systemach informatycznych nie jest nigdy

wykorzystywane, a ponad 30% jest wykorzystywane niezgodnie ze swoim pierwotnym przeznaczeniem. Oznacza to, że jedynie

mniej niż 30% raportów stanowi prawdziwą wartość.

Widać więc, że potrzeba czegoś więcej - możliwości analizowania danych gromadzonych w całym przedsiębiorstwie.

Systemy Zarządzania Przedsiębiorstwem nie nadają się do prowadzenia tego typu analiz, ponieważ są zazwyczaj

zaprojektowane dla wydajnego przetwarzania małych porcji danych (rejestracja zamówienia, wystawienie faktury,

przygotowanie cennika itp.), nie zaś do przekrojowych analiz dużych porcji danych. Co więcej, zazwyczaj w Systemach

Zarządzania Przedsiębiorstwem utrzymywane są tylko aktualne informacje o większości obiektów (np. o kliencie) bez

przechowywania historii zmian w jego danych. Może to prowadzić do wielu nieporozumień (np. w sytuacji kiedy klient zmieni

nazwę, adres lub kanał dystrybucji). Sprawę pogarsza jeszcze fakt, że często mamy do czynienia nie z jednym systemem, tylko

z wieloma systemami wykorzystywanymi przez różne fragmenty organizacji, co może prowadzić do nieco odmiennego

rozumienia pewnych pojęć przez różne grupy ludzi (np. klient może być rozumiany nieco inaczej przez dział sprzedaży i dział

marketingu, zaś produkt może być czymś trochę innym w dziale produkcji, a trochę czymś innym w dziale finansów).

Często również pojawia się konieczność porównywania bieżących wskaźników z wartościami z lat ubiegłych. Systemy

Zarządzania przedsiębiorstwem nie muszą nam na bieżąco udostępniać historycznych danych (zazwyczaj składuje się je na

oddzielnych nośnikach). Poza tym, wcale nie musi być prawdą, że kiedyś organizacja używała tego samego systemu, którego

używa dziś. Może się więc zdarzyć, że dane historyczne nie są możliwe do uzyskania w "obecnym" systemie w żaden sposób.

Krótko mówiąc - dane wykorzystywane w procesie podejmowania decyzji to nie tylko bieżące dane operacyjne, to również dane

historyczne, przy czym jedne i drugie nierzadko pochodzą z różnych źródeł.

Systemem zaprojektowanym do prowadzenia zaawansowanych analiz jest Hurtownia Danych.

Hurtownia danych gromadzi dane ze wszystkich systemów działających w obrębie organizacji, stanowi więc źródło analiz w

kontekście całej działalności. Dane zorganizowane są pod kątem dostarczania w jak najkrótszym czasie rzetelnych informacji o

aktualnym stanie firmy, a dzięki temu, że są uspójnione w ramach całej organizacji Hurtownia danych stanowi "jedno źródło

prawdy".

Hurtownia danych nie jest więc systemem, który można kupić "z półki". Skoro ma wspomagać realizację strategicznych celów

organizacji - musi być zaprojektowana ze szczególnym położeniem nacisku na strategię firmy.

Głównym beneficjentem takiego systemu jest kadra zarządzająca oraz kierownictwo średniego szczebla, analitycy. To przede

wszystkim ich potrzeby powinna zaspokajać hurtownia danych. Tu znajduje się czynnik odróżniający hurtownie danych od

innych przedsięwzięć: zasadniczym motywatorem projektu hurtowni danych jest możliwość śledzenia najistotniejszych z punktu

widzenia organizacji wskaźników (rentowność produktów czy klientów, ryzyko kredytowe, poziom zadowolenia klienta, rotacja

klientów, jakość procesu produkcyjnego itd.), nie zaś objęcie zakresem systemu zadań wynikających z realizacji w

przedsiębiorstwie pewnych konkretnych procesów gospodarczych.

Z drugiej strony, najistotniejszym atrybutem jakości hurtowni danych jest wiarygodność pozyskiwanych dzięki niej informacji.

Zatem jakość danych oraz sposób ich umieszczenia w hurtowni danych jest jednym z najpoważniejszych wyzwań, a zarazem

obszarem najczęściej i najmocniej niedoszacowanym.

Hurtownia danych to również zmiana sposobu myślenia o dostępie do danych w obrębie firmy - to odstąpienie od "guru od

danych", "zamówień na raporty" na rzecz samodzielnego dokonywania analiz, zgodnie z potrzebą chwili.

Ryzyko projektu budowy Hurtowni Danych

Hurtownia danych obejmuje całą działalność firmy - jest więc systemem bardzo złożonym. Praktyka wskazuje, że wraz ze

złożonością systemu rośnie ryzyko niepowodzenia przedsięwzięcia.

Jak można zatem sobie pomóc, aby minimalizować ryzyko niepowodzenia projektu, czyli jakie podjąć działania aby osiągnąć

zakładane korzyści w zakładanym czasie? Pomysł jest oczywiście nie nowy i nie odbiega w zasadzie od najlepszych praktyk i

rozwiązań znanych w dzisiejszej inżynierii oprogramowania. Są to przede wszystkim: ścisła współpraca z użytkownikami,

sensowne planowanie przedsięwzięcia zarówno od strony merytorycznej, jak i technicznej, oraz iteracyjny cykl wdrażania

systemu.

Najważniejszym czynnikiem minimalizującym ryzyko każdego projektu informatycznego jest ścisła współpraca z użytkownikami.

W przypadku hurtowni danych stanowi osobne wyzwanie i to przede wszystkim dla użytkownika. Dlaczego? To proste. Jak

zostało powiedziane wcześniej, główni beneficjanci hurtowni danych to kadra zarządzająca, czyli ludzie, których czas jest

wyjątkowo cenny i stanowiący "towar" równie wyjątkowo deficytowy. Niemniej jednak właściwe zaplanowanie współpracy na

poziomie kierownictwa strategicznego organizacji jest jednym z najistotniejszych czynników stanowiących o powodzeniu całego

przedsięwzięcia. Jest to bowiem grupa ludzi, która jako jedyna jest w stanie zapewnić strategiczny kontekst analiz wymaganych

dla hurtowni danych. Dzięki współpracy z kadrą menedżerską możliwa jest identyfikacja zasadniczych strategii działania

organizacji oraz potrzeb informacyjnych z nich wynikających. Niekiedy część cyklu planowania strategicznego, opierającego się

bardzo często o różne odmiany analizy SWOT - silnych i słabych stron wewnątrz firmy oraz możliwości i zagrożeń w

zewnętrznych uwarunkowaniach, jest elementem samego projektu hurtowni danych. Z punktu widzenia procesu inwestycyjnego

natomiast, to jest właśnie element, który pozwoli właściwie ocenić spodziewane korzyści.

Podjęciu decyzji o budowie hurtowni danych musi więc towarzyszyć przekonanie o konieczności poświęcenia własnego czasu

na rozmowy z twórcami systemu.

Drugim sposobem ograniczenia ryzyka jest precyzyjne zdefiniowanie architektury hurtowni danych na samym początku prac.

Podobnie jak projekt architektoniczny dla budowli, architektura hurtowni danych jest ogólnym planem wielkiej i złożonej struktury

systemu. Chodzi tu o właściwe odniesienie całego zakresu funkcjonalnego do strategii działania, oraz o zaplanowanie

architektury technicznej dla całego systemu.

Projektowanie architektury to duży nakład żmudnej pracy, w wyniku której powstaje jedynie dokumentacja, ale etap ten jest

bardzo ważny z tego względu, że jakość planu realizacji przedsięwzięcia jest wprost proporcjonalna do wiedzy na jego temat.

Właściwe zaplanowanie architektury pozwala też osiągnąć znaczną poprawę wydajności w realizacji kolejnych etapów hurtowni

danych, ponieważ stanowi fundament, na którym budowane są kolejne fragmenty systemu, uwalniając projektantów i

programistów od konieczności zastanawiania się nad poszczególnymi komponentami technologicznymi, które powinny zostać

zastosowane.

Z punktu widzenia procesu inwestycyjnego architektura pozwala utrzymać w ryzach koszty przedsięwzięcia.

Hurtownia danych jest systemem złożonym, obejmuje szeroki zakres potrzeb informacyjnych. Dodatkowym kłopotem jest fakt,

że z zakresem nie da się "walczyć" ani go "unikać. Jest to pewien fakt, z którym mamy do czynienia jak z prawami fizyki: można

powiedzieć, że grawitacja to jedynie dziwaczny wymysł sir Newtona, ale od tego jabłka nie przestaną spadać z drzew...

Podejście przyrostowe pozwala skutecznie zarządzać tym elementem ryzyka. Polega ono na podzieleniu systemu na kilka

mniejszych "kawałków" i budowie ich po kolei.

Dzięki temu już po kilku miesiącach użytkownicy mogą mieć korzyści z budowanego systemu. Nie bez znaczenia jest również

fakt, że ludziom łatwiej jest precyzować swoje wymagania w odniesieniu do czegoś, co już widzieli i używali (jak mawiał

Zdzisław Maklakiewicz w swej niezapomnianej kreacji inż. Mamonia z filmu Rejs: "...ja jestem umysł ścisły, mnie się podobają

melodie, które już raz słyszałem. To poprzez reminiscencje...").

Po wdrożeniu pierwszego przyrostu funkcjonalności hurtowni danych użytkownicy chętniej będą definiować swoje potrzeby,

widząc korzyści, jakie daje wprowadzany system.

Przyrosty funkcjonalności systemu powinny być tak zdefiniowane, aby dało się każdy z nich zaprojektować, zaimplementować i

wdrożyć w czasie nie przekraczającym 3 miesięcy.

Czynniki sukcesu

Kiedy warto myśleć o budowie hurtowni danych? Warunkiem koniecznym jest istnienie systemu (lub systemów) stanowiących

źródło danych dla hurtowni danych, czyli wspomnianych Systemów Zarządzania Przedsiębiorstwem.

Nie jest to jednak wszystko. Earl Hadden, światowy ekspert w dziedzinie hurtowni danych określił kilka czynników

pozwalających ocenić poziom przygotowania organizacji do uruchomienia projektu budowy hurtowni danych. Wśród

najważniejszych należy wymienić cztery:

1. Dostępność źródeł danych.

Ideałem byłoby, gdyby w organizacji istniało jedno, udokumentowane, wewnętrzne, zautomatyzowane źródło danych

odpowiadających potrzebom informacyjnym organizacji. Niestety zazwyczaj mamy do czynienia z wieloma

nieudokumentowanymi, zewnętrznymi, niezautomatyzowanymi źródłami. Nie uniemożliwia to jeszcze budowy hurtowni danych -

jedynie podnosi ryzyko takiego przedsięwzięcia i zapewne jeśli tylko mamy wybór warto w pierwszej kolejności zająć się

budową rozwiązań automatyzujących codzienną pracę, a dopiero później myśleć o hurtowni danych.

2. Świadomość odbiorców systemu co do informacji, które chcą z niego otrzymywać i jasne powiązanie tych informacji z

potencjalnymi korzyściami gospodarczymi dla organizacji. Bez takiego powiązania możemy zbudować "fantastyczny" system,

ale nie wnoszący żadnej wartości dodanej.

3. Zakres.

Jak zostało powiedziane wcześniej jest to coś w rodzaju prawa fizyki, z którym nie da się "walczyć". Można natomiast zakresem

zarządzać i tak go dzielić na kolejne fragmenty systemu aby były one wykonalne w czasie 3-4 miesięcy oraz były ściśle

powiązane z korzyściami dla organizacji.

4. Umocowanie projektu.

Budowa hurtowni danych jest w gruncie rzeczy przedsięwzięciem biznesowym i do tego sterowanym potrzebami informacyjnymi

o strategicznym znaczeniu. W związku z tym bez zaangażowania ze strony kierownictwa organizacji trudno będzie mówić o

powodzeniu projektu.

Oczywiście zazwyczaj sytuacja odbiega nieco od ideału. Analiza organizacji pod kątem powyższych czynników jest sposobem

zwrócenia uwagi na istotne problemy, mogące wystąpić podczas budowy hurtowni danych.

Dodatkowym problemem, jakże często występującym w wielu organizacjach jest niska jakość danych. Trzeba pamiętać, że z

"bylejakich" danych można wygenerować tylko "bylejakie" raporty. Jeśli dane organizacji są w znacznym stopniu zaśmiecone -

zawierają dużo nieaktualnych lub błędnych danych, nie należy oczekiwać, że hurtownia danych "jakimś cudem" dostarczy nam

właściwych informacji. Jakość informacji uzyskiwanych z hurtowni danych zawsze będzie adekwatna do jakości danych

źródłowych. Nie oznacza to oczywiście, że "wyczyszczenie" danych źródłowych nie jest możliwe - oczywiście, w większości

przypadków daje się to zrobić, często jednak wymaga to dodatkowej pracy użytkowników jak również zespołu realizującego

hurtownię danych.

Przedsięwzięcie budowy hurtowni danych wydaje się być bardzo złożone. Ale, czy uzyskanie dużych, wymiernych korzyści nie

wymaga dużego nakładu pracy?

***

Infovide sp z o.o jest polską firmą konsultingową, działającą na rynku od 1991 roku. Firma koncentruje się na strategicznych

zastosowaniach nowoczesnych technologii informatycznych w biznesie prowadząc prace konsultingowe, analityczne,

programistyczne i wdrożeniowe. Infovide pełni dla swoich klientów rolę architekta systemów informacyjnych, świadcząc usługi

związane z projektowaniem i realizacją inwestycji informatycznych. Ważnym obszarem doradztwa Infovide jest wdrażanie

nowoczesnych rozwiązań organizacyjnych i metod pracy w zespołach informatycznych. Infovide realizuje projekty w

bankowości, telekomunikacji, mediach, przemyśle, energetyce i administracji państwowej. Jest też uznanym dostawcą know-

how dla polskiej branży informatycznej. Infovide rozwija swoją ofertę współpracując z najbardziej uznanymi na świecie

specjalistami z zakresu zastosowań informatyki i e-biznesu takimi, jak: Ed Yourdon, Tom De Marco, Tim Lister, Earl Hadden,

John Zachman, James Rumbaugh, Paul Strassmann, Susanne Robertson. Infovide jest wysoko notowana w rankingach, wg

raportu TELEINFO 500 - zajmuje drugie miejsce wśród 25 największych firm teleinformatycznych jako wykonawca usług

konsultingowych.

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: