Roz3.pdf

Rozdział 3: Archiwizacja i kontrola danych

Rozdział 3

Archiwizacja i kontrola danych

W rozdziale tym zajmiemy się sposobami gromadzenia, dokumentowania, archiwizacji i

kontroli danych do obliczeń chemometrycznych. Są to zagadnienia często niesłusznie lekceważone

w trakcie prac obliczeniowych. Postaramy się wykazać, że są one istotne dla poprawności

rezultatów całej analizy.

Często pojawia się w tym miejscu pytanie dlaczego mam poświęcać czas i

Potrzeba

opracowania

danych

uwagę tym nieciekawym sprawom. Czy nie lepiej ”przeskoczyć” od razu do

właściwej analizy chemometrycznej i jej poświęcić czas zaoszczędzony przez opuszczenie tego

etapu? Odpowiedź jest oczywista dla każdego, kto kiedykolwiek pracował z dużymi zestawami

różnorodnych danych.

Właściwe wykonanie prac przygotowawczych skraca czas potrzebny dla uzyskania

poprawnych wyników i ułatwia prezentację uzyskanych rezultatów.

Należy pamiętać, że jakość naszych wyników zależy w istotny sposób od jakości danych

wykorzystywanych w analizie. Każda błędna dana nie wyeliminowana w porę może zniweczyć cały

nasz wysiłek. A błędy zdarzają się nie tylko przyrządom pomiarowym, ale i ludziom.

Podstawowymi celami wstępnej obróbki i kontroli danych są:

Cel kontroli

danych

i) wykrycie ewentualnych "błędów grubych" powstałych na etapie zbierania danych

ii)zmniejszenie ryzyka popełnienia nowych błędów na kolejnych etapach analizy

chemometrycznej

iii) wykrycie pewnych relacji tkwiących w danych

iv) wskazanie na potrzebę wykonania dodatkowych operacji na danych, np. transformacji

Rozdział 3: Archiwizacja i kontrola danych

zmiennych.

Ostatecznym celem jest takie przygotowanie danych, aby ich analiza była jak najwygodniejsza i

dała jak najbardziej wiarygodne rezultaty.

3.1. DOKUMENTACJA DANYCH I WYNIKÓW

Jest to bardzo ważny etap. Jego zaniechanie lub niestaranne wykonanie jest często głównym

źródłem kłopotów i niepowodzeń w trakcie właściwej analizy chemometrycznej.

Najlepszą formą gromadzenia wyników pomiarów do analizy problemów

Tabela jako

miejsce groma-

dzenia danych

wieloparametrycznych (zależnych od dużej liczby zmiennych) są odpowiednio

zaplanowane tabele. Na etapie zbierania danych tabele te powinny być we właściwy sposób

opisane. W praktyce oznacza to że:

i) każda tabela powinna mieć nagłówek zawierający informacje o:

- problemie którego dotyczy

- dacie utworzenia i dacie ostatniej modyfikacji

- nazwisku twórcy

ii) każda kolumna tablicy zawierająca wartości tej samej zmiennej dla kolejnych obiektów

pomiarowych (próbek) powinna mieć swoją własną, jednoznaczną nazwę

iii) każdy wiersz tablicy zawierający wartości różnych zmiennych dla tego samego obiektu

(próbki) powinien mieć swoją własną, niepowtarzalną nazwę. Numery kolejne wierszy nie

mogą zastąpić nazw obiektów.

iv) tabele tego typu często zawierają wyniki pochodzące z różnych źródeł. Dlatego też integralną

część tabeli musi stanowić informacja o pochodzeniu danych:

- przez kogo wykonane

- jaką metodą i na jakim przyrządzie

- kiedy

- gdzie znaleźć protokół pomiarów

v) jeżeli dane pochodzą z literatury to tabela m u s i zawierać pełny odnośnik do źródła

Rozdział 3: Archiwizacja i kontrola danych

vi) w przypadku modyfikacji danych należy te modyfikacje określić i uzasadnić

vii) jeżeli dane zostały obliczone w oparciu o inne dane należy podać sposób obliczeń, źródło

danych i przykład liczbowy

Przykład tak przygotowanej tabeli danych przedstawia rys. 3.1. dla danych z przykł. 2.1.

Dane do przykł. 2.1. .

Utworzono : 18.09.96 Ostatnia modyfikacja : 18.09.96

Wykonał : J.Kowalski

w/g M.SERGENT et al., Chemometr.Intelligent Lab.Syst . 27 ,153-162(1995).

Lp.

Pomiary

Pozycja pokręteł

Odczyt

PPo

PGa

PRo

1 A1

2 A2

3 A3

9 A9

10 A10

11 B1

12 B2

19 B9

20 B10

21 C1

22 C2

29 C9

30 C10

Pomiary A1..A10 wykonane przez laboranta A, B1..B10 przez laboranta B i C1..C10 przez

laboranta C.

Pomiary wykonano na aparacie MultiScan S127 f-my Outdata Ltd. w Katedrze Technologii

Leków i Biochemii PG.

Zmienna PPo – natężenie przepływu powietrza

Zmienna PGa – natężenie przepływu gazu palnego

Zmienna PRo – szybkość podawania roztworu

Odczyt y – natężenie prądu fotopowielacza w zakresie linii D sodu

Rys.3.1. Przykład prawidłowo opisanej tabeli danych.

Ważną sprawą jest również sama lokalizacja zmiennych w kolumnach i

Organizacja

tabeli danych

pomiarów w wierszach. Jeśli istnieje jakiś naturalny porządek danych to należy go zachować w

tabeli. Przykładowo, dane spektroskopowe powinny być zawarte w tabeli zgodnie ze zmianą

długości fali lub częstotliwości; dane chromatograficzne w kolejności wzrastającego czasu retencji,

itp. Nie należy mieszać danych otrzymanych różnymi technikami. To samo dotyczy obiektów.

Rozdział 3: Archiwizacja i kontrola danych

Wszelkie naturalne grupowanie danych powinno znaleźć swoje odbicie w tabeli danych.

Komentarza wymaga również problem nazw zmiennych i obiektów.

Nazwy

zmiennych i

obiektów

Omówimy go tu na przykładzie nazw zmiennych, lecz to samo dotyczy również nazw

obiektów. Przy tworzeniu nazw dobrze jest kierować się poniższymi praktycznymi radami:

i) nazwy muszą zawierać informację. Powinny się kojarzyć ze zmienną, której dotyczą i to

kojarzyć się nie tylko twórcy tabeli, ale również innym użytkownikom

ii) nazwy powinny być możliwie krótkie, aby można nimi było wygodnie opisywać punkty na

rysunkach i wykresach

iii) korzystne jest stosowanie powszechnie przyjętych skrótów. Ułatwi to zrozumienie nazw

innym użytkownikom

iv) nazwa powinna być jednym ciągiem liter i cyfr bez indeksów i znaków specjalnych (liter

greckich, symboli matematycznych itp.). Ułatwi to pracę z komputerem.

v) jeśli nazywane zmienne (obiekty) należą do jakiejś grupy, to identyfikator tej grupy musi się

znaleźć w nazwach zmiennych zawsze w tej samej pozycji. Identyfikatorem grupy jest zwykle

litera lub ciąg liter

vi) nazwy są skrótami, dlatego wraz z tabelą muszą się znajdować pełne nazwy zmiennych i

ewentualne dodatkowe komentarze, np. dotyczące identyfikatora danej grupy i jego pozycji w

nazwie

Bardzo wygodnym narzędziem do sporządzania i obróbki tabel danych są

Arkusze

kalkulacyjne w

opracowaniu

danych

programy komputerowe typu arkusza kalkulacyjnego. Programy tego typu pozwalają

szybko i wygodnie przygotować tabelę danych, opisać ją, zapamiętać na dysku lub dyskietce i

wydrukować. Pierwsze przygotowanie arkusza danych wymaga czasu, ale przy ciągłym stosowaniu

tego samego schematu osiąga się znaczne ułatwienie w pracy.

Stałe używanie programu tego typu ma szereg zalet:

i) jeżeli dane źródłowe, np. protokóły wyników pomiarów są również wykonane przy pomocy

arkusza kalkulacyjnego, to istnieje możliwość kopiowania wybranych danych z jednego pliku

Rozdział 3: Archiwizacja i kontrola danych

na drugi bez konieczności ręcznego przepisywania (częste źródło "błędów grubych")

ii) umożliwia szybki i wygodny sposób modyfikacji lub uzupełniania danych

iii) wydruk z programu stanowi gotowy załącznik do sprawozdania z wyników analizy

chemometrycznej

iv) programy tego typu mają możliwość wykonania prostych wykresów, co umożliwia od razu

wizualną analizę danych

v) nowoczesne programy chemometryczne pozwalają na wykorzystanie plików z arkuszy

kalkulacyjnych jako danych wejściowych. Odpada konieczność sporządzania oddzielnych

plików z danymi i zmniejsza się prawdopodobieństwo powstania błędów.

vi) raz przygotowany schemat arkusza kalkulacyjnego może być wykorzystywany wielokrotnie

do różnych zestawów danych. Przyspiesza to sporządzanie dokumentacji i wprowadza w

danym laboratorium pewien typ standaryzacji.

Osobnego omówienia wymaga sprawa brakujących danych. Bardzo często

Brakujące dane

rozpoczynamy tworzenie tabeli danych dysponując jedynie częścią wyników i uzupełniając ją w

miarę uzyskiwania nowych danych. Życie jest jednak nieprzewidywalne i zdarzają się sytuacje

wyjątkowe: próbka została źle pobrana, uległa zanieczyszczeniu lub zniszczeniu, pomiar danej

zmiennej dla danej próbki nie został wykonany itp. W tabeli pojawiają się wtedy "dziury". Co z

nimi zrobić? Oczywiście, o ile to tylko możliwe brakujące dane należy starać się uzupełnić. Nie

zawsze jest to jednak możliwe, z różnych zresztą powodów. Można przy tym wyróżnić trzy rodzaje

"dziur":

i) pomiaru nie daje się powtórzyć i w tablicy musi pozostać puste miejsce. W tej sytuacji jest

istotne, aby w takie puste miejsce nie wpisywać wartości "0", gdyż może to istotnie zaburzyć dalszy

tok analizy. W przypadku arkusza kalkulacyjnego nie należy również wpisywać żadnego tekstu.

Wykonując obliczenia program sam opuszcza miejsca w których brak jest danych. W przypadku

obecności tekstu zamiast danych liczbowych niektóre programy wykonują niepoprawne operacje

nie sygnalizując przy tym że wystąpił błąd.

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: