Spis treści

Wstęp...............................................................................................................................2

Rozdział 1  WIADOMOŚCI OGÓLNE O SIECIACH NEURONOWYCH

1.1  Pojęcie sieci neuronowej..........................................................................................4

1.2  Budowa neuronu.......................................................................................................4

1.3  Działanie neuronu.....................................................................................................7

1.4  Istnienie wag.............................................................................................................8 

1.5  Warstwy sieci neuronowej.....................................................................................10

1.6  Schemat struktury sieci neuronowej z trzema warstwami perceptronowymi oraz warstwą wejściową i wyjściową..............................................................................11

1.7  Funkcjonowanie sieci.............................................................................................12

1.8  Uczenie sieci...........................................................................................................13

1.9  Zalety i wady sieci neuronowych...........................................................................15

1.10         Zastosowania sztucznych sieci neuronowych....................................................16

1.11         Podział sieci........................................................................................................17

Rozdział 2  SIECI JEDNOKIERUNKOWE

2.1.1  Model perceptronu..............................................................................................19

2.1.2  Funkcjonowanie perceptronu..............................................................................27

2.1.3  Uczenie perceptronu wielowarstwowego...........................................................27

2.2  Sieć Kohonena

2.2.1  Budowa sieci samoorganizujących.....................................................................40

2.2.2  Mapa topologiczna..............................................................................................41

2.2.3  Uczenie sieci Kohonena......................................................................................41

Rozdział 3  SIECI REKURENCYJNE

2.1  Model sieci Hopfielda............................................................................................45

2.2  Sprzężenie zwrotne w strukturze sieci Hopfielda..................................................46

2.3  Pamięć autoasocjacyjna w sieci Hopfielda............................................................52

2.4  Stabilność procesów...............................................................................................56

Zakończenie............................................................................................................................57

Bibliografia...............................................................................................................................59

Wstęp

              Celem tej pracy jest przybliżenie podstawowych zagadnień związanych z sieciami neuronowymi.

              W ostatnich latach gwałtownie wzrosła ilość przetwarzanych informacji, co spowodowało bardzo szybki rozwój nauk technicznych związanych z przetwarzaniem oraz analizą danych. Człowiek nie może sobie poradzić ze zrozumieniem podstaw działania mózgu, dużą mocą obliczeniową oraz z klasycznymi metodami numerycznymi. Wszystkie te zagadnienia obecnie tworzą naukę zwana „sztuczną inteligencją”.

              Początki sztucznej inteligencji sięgają do lat czterdziestych ubiegłego stulecia, kiedy to opracowano model neuronu w mózgu ludzkim i zwierzęcym (1943) oraz wyjaśniono mechanizm zapamiętywania informacji przez sieć biologiczną co zaowocowało zaprojektowaniem i zbudowaniem przez Rosenblatta (1958) sztucznej sieci neuronowej zwanej perceptronem. Był to elementarny system wizualny, Który mógł być nauczony rozpoznawania ograniczonej klasy wzorców. Pierwszy model neuronu powstał po badaniach układów nerwowych istot żywych. Jego działanie jest do dziś podstawą w zakresie sztucznych sieci neuronowych.

              W pracy zostały omówione podstawy działania oraz najpowszechniejsze zastosowania sieci neuronowych.

              W rozdziale pierwszym znajdują się informacje dotyczące funkcjonowania i budowy sztucznego neuronu oraz sztucznej sieci neuronowej będące odpowiednikiem biologicznego neuronu i sieci neuronów tworzących system nerwowy żywego organizmu. Mówiąc dalej o neuronach i sieciach (neuronowych) będziemy mieć zawsze na myśli sztuczne neurony i sztuczne sieci neuronowe, odpowiednio, chyba że zaznaczono inaczej. W dalszej części tego rozdziału przedstawiony został ogólny podział sieci neuronowych według ich własności.

              W rozdziale drugim zajmujemy się konkretnym rodzajem sieci którymi są sieci jednokierunkowe. Zostały one przedstawione na podstawie perceptronu wielowarstwowego czy też sieci Kohonena. Są to grupy sieci najbardziej charakterystyczne dla sieci jednokierunkowych.

              W rozdziale trzecim zawarte są dane na temat sieci rekurencyjnych, które są przeciwne do rekurencyjnych. Rodzaj tych sieci został przedstawiony na podstawie sieci Hopfielda jako jednego z typów sieci należącego właśnie do tego gatunku. Zaprezentowany został model tejże sieci oraz informacje dotyczące sprzężenia zwrotnego występującego w tych sieciach czy też pamięci autoasocjacyjnej.

Rozdział 1

WIADOMOŚCI OGÓLNE O SIECIACH NEURONOWYCH

1.1  POJĘCIE SIECI NEURONOWEJ

Sztuczne sieci neuronowe są jedną z technik obliczeniowych wchodzących w problematykę „sztucznej inteligencji”. Sieć neuronowa, to nowoczesny system obliczeniowy, który wykorzystuje zjawiska jakie zachodzą w mózgu (jest to bardzo uproszczony model mózgu). Działa jak system, przetwarzający wprowadzone do niej informacje (w postaci numerycznej) i dający w rezultacie informacje wyjściowe. Podstawowymi składnikami tego systemu są w sensie wirtualnym, tj. określone programowo, połączone ze sobą elementy przetwarzające, zwane neuronami (będące uproszczonymi modelami rzeczywistych biologicznych komórek nerwowych – dlatego zwykle mówimy, iż mamy do czynienia z siecią neuronów). Na sposób działania sieci wpływa liczba neuronów, zasada ich funkcjonowania (model neuronu) oraz sposób ich uporządkowania (struktura sieci).

1.2  BUDOWA NEURONU

Neuron biologiczny

Aby móc zrozumieć jak działa struktura sztucznych sieci neuronowych, należy poznać istotę działania pojedynczej komórki nerwowej żywego organizmu. Komórka nerwowa - neuron, jest elementarną częścią całej sieci nerwowej. Elementami komórki nerwowej bezpośrednio odpowiedzialnymi za przepływ informacji są aksony oraz dendryty. Jedna komórka nerwowa posiada bardzo wiele dendrytów, które przez tak zwane ciało komórki, łączą się z aksonem. Sąsiednie komórki nerwowe połączone są za pomocą synaps, czyli złączeń: akson jednej komórki z dendrytem innej.

Sygnały dochodzące do synaps są impulsami elektrycznymi. Pobudzony neuron przesyła impuls do swojego aksonu, który połączony jest z innymi dendrytami. Neuron w krótkim czasie analizuje ilość pobudzeń dendrytów. Impulsy pobudzające mają dwojaki charakter, jedne starają się pobudzić cały neuron, drugie mają na celu zahamowanie aktywacji. Jeżeli zostanie przekroczony określony poziom potencjału błony komórkowej komórka się aktywuje. Neuron może być pobudzony przez sąsiedni neuron lub przez samego siebie. W bardzo prostym uproszczeniu można więc powiedzieć, że pojedynczy neuron sumuje impulsy hamujące i pobudzające oraz w przypadku przekroczenia bariery potencjału aktywuje się.

Sztuczny neuron

Na podstawie bardzo uogólnionego przedstawienia zasady działania neuronu biologicznego można skonstruować jego odpowiednik, którym jest sztuczny neuron, często zwany dalej krótko neuronem. Tak jak w sieci nerwowej neuron biologiczny jest podstawowym składnikiem takiej sieci, tak i w przypadku sztucznych sieci neuronowych, sztuczny neuron jest podstawowym składnikiem tego drugiego rodzaju sieci. Czasami jeden neuron może już wykonywać proste zadania i tworzy całą sieć. Najczęściej jednak dopiero kilka neuronów tworzy sztuczną sieć neuronową.

W skład neuronu wchodzą następujące elementy:

(1)  Wejścia – (co najmniej jedno) służące do wprowadzania informacji do neuronu; 

(2)  Wyjścia – służące do wyprowadzenia na zewnątrz neuronu wartości wyjściowej. Każdy neuron musi posiadać co najmniej jedno wyjście.

Praca neuronu dotyczy przetwarzania informacji od jej postaci na wejściach neuronu do jej postaci na wyjściach neuronu. Informacja w neuronie jest reprezentowana numerycznie. Przyjmując, że neuron ma wejść We1,We2,...,Wen oraz wyjść Wy1,Wy2,...,Wym informacja na wejściach neuronu jest wektorem, gdzie jest wartością na wejściu We1, jest wartością na wejściu We2,..., jest wartością na wejściu Wen. Z kolei informacja na wyjściach neuronu jest wektorem , gdzie jest wartością na wyjściu Wy1, jest wartością na wyjściu Wy2,..., jest wartością na wyjściu Wym.

Przetwarzanie informacji w neuronie przy takim przedstawieniu jest wyznaczone za pomocą pewnej funkcji , która może się zmieniać w czasie pracy neuronu i wyraża zależność wektora na wyjściach neuronu od wektora na jego wejściach, symbolicznie .

W najprostszym przypadku funkcja może być funkcją liniową określoną przez macierz

i jej działanie na wektor może być zapisane krótko w postaci

,

gdzie oraz ten wzór wyraża algebraicznie działanie macierzy na wektorach . Dokładniej oznacza to, że zachodzą równości

                 ...

Współczynniki macierzy ()  ,  nazywamy wagami.

Jeśli spełnione są następujące zależności:

> ;

> ;

...

>;

gdzie są wartościami progowymi na wyjściach Wy1,Wy2,...,Wym odpowiednio, to na tych wyjściach pojawią się odpowiednie wartości funkcji z lewych stron nierówności. W przypadku przeciwnym, gdy na pewnym wyjściu wartość takiej funkcji nie przewyższy wartości progowej, wtedy dane wyjście pozostaje nieaktywne.

1.3  DZIAŁANIE NEURONU

Schemat działania sztucznego neuronu (rys. 1.1) składa się z wielu wejść z których sygnały są sumowane z odpowiednimi wagami, a następnie poddawane działaniu funkcji aktywacyjnej:

Rys. 1.1  SCHEMAT DZIAŁANIA STRUKTURY NEURONU

Na rysunku przedstawiony jest schemat neuronu z trzema wejściami. Ilość wejść zależy tylko od specyfikacji zadania. Na wejścia trafiają sygnały wejściowe. Są to po prostu liczby opisujące zadanie, które neuron ma rozwiązać. Każda z wag posiada pewną wartość. Sygnały są mnożone przez wartości wag (czyli są ważone), wyniki tego mnożenia dodawane są do siebie w bloku sumującym. W ten sposób powstaje konkretna liczba, którą określa się jako potencjał membranowy. Jest ona wysyłana do bloku aktywacji, gdzie może zostać dodatkowo przetworzona. Po ewentualnej operacji wykonanej w bloku aktywacji otrzymujemy gotową odpowiedź neuronu na sygnały wejściowe.

              Oto przykład schematu neuronu którego odpowiedzią będzie potencjał membranowy:

Rys. 1.2.  NEURON Z PASYWNYM BLOKIEM AKTYWACJI

Jeśli chodzi natomiast o blok aktywacji, to jest on pewną funkcją, której argumentem jest potencjał membranowy. Przyjmując, że potencjał membranowy to j , odpowiedź, czyli wyjście neuronu to y, zaś funkcja aktywacji będzie jako f, to operację wykonywaną w bloku aktywacji można zapisać jako:

y = f(j)

W powyższym przykładzie rysunku pominięty był blok aktywacji, jako że przyjęte było, iż funkcja aktywacji będzie funkcją liniową postaci:

f(x) = x, inaczej mówiąc  f(j) = j

Zatem wartość tej funkcji, czyli odpowiedź neuronu (f(j) =j), będzie miała zawsze tą samą wartość, co potencjał membranowy j. Neuron z taką funkcją aktywacji nazywany jest neuronem liniowym.

1.4  ISTNIENIE WAG

Waga jest elementem bardzo znaczącym dla neuronu. Każde z wejść neuronu ma swoją wagę, czyli informację o tym, jak duże znaczenie ma sygnał podany na to wejście. Wartość wagi mała co do wartości bezwzględnej znaczy, że dane wejście jest niezbyt ważne dla neuronu. Duża wartość dodatnia oznacza, że dane wejście ma duże znaczenie „pozytywne”, zaś duża co do wartości bezwzględnej wartość ujemna to znak, iż wejście ma duże znaczenie „negatywne”.

Przykład 1:

Weźmy neuron, który ocenia samochody. Rozpatruje on jego dwie cechy: czy jest on nowy? oraz czy jest on ładny? Taki neuron będzie posiadał dwa wejścia: jednym z nich wpłynie informacja o wieku, zaś drugi będzie posiadał informacje na temat wyglądu samochodu. Upodobania neuronu muszą być odzwierciedlone przez wagi tych wejść. Oto kilka przykładowych wartości wag i opis neuronu, którego one dotyczą:

Tabela 1 Opinie neuronu