2012_1VisionIntro_Mch_drk.pdf
(
3355 KB
)
Pobierz
Literatura
•
Castleman K. R.: Digital Image processing, Prentice Hall, Upper Saddle River,
New Jersey, 1996.
•
Gonzales R.C, Woods R.E.: Digital Image Processing using Matlab, Prentice Hall,
2004.
•
Hartley R., Zisserman A.: Multiple view geometry in computer vision, Cambridge
Univ. Press, 2003.
•
Jain R., Kasturi R., Schunck B.: Machine vision, McGraw-Hill Inc. New York,
1996.
•
Uvais Qidwai, C.H. Chen .: Digital Image Processing: An Algorithmic Approach
with MATLAB , Chapman and Hall/CR , 2009
•
Tadeusiewicz R.: Systemy wizyjne robotów przemysłowych, WNT, Warszawa,
1992.
•
Wróbel Z., Koprowski R.: Praktyka przetwarzania obrazów w programie Matlab,
EXIT, 2005.
Systemy wizyjne
Dr inż. Piotr Kohut
Budynek D-1, piętro IV. p.407
Konsultacje: czwartek 10:00-11:00
piotr.koh@gmail.com
http://home.agh.edu.pl/~pko/
Plan wykładów na 2011
Program
Inne
l.p
Temat wykładu
1 Wstęp , Budowa i zadania systemów wizyjnych
2 Programowanie robot
ó
w oraz ich systemy wizyjne
3 Techniki wstępnego przetwarzania obrazów
4
1) Wstęp:
Budowa i zadania systemów wizyjnych / Zastosowanie systemów
wizyjnych w technice
Formułowanie obrazu, model kamery
2) Wprowadzenie do języków programowania robotów przemysłowych
(V+, Melfa Basic)
3) Metody segmentacji i analizy obrazów
Metody segmentacji i analizy obrazu
5
Pomiar cech obiekt
ó
w oraz sposoby ich opisu.
6
Szybkie kamery –gość z przemysłu
4) Pomiar cech obiektów oraz sposoby ich opisu
Metody kalibracji systemu wizyjnego. Lokalizacja obiektów, techniki
rekonstrukcji trójwymiarowego ruchu i struktury obiektów
7
5) Metody kalibracji systemu wizyjnego. Lokalizacja obiektów, techniki
rekonstrukcji trójwymiarowego ruchu i struktury obiektów
6) Klasyfikacja układów sterowania wizyjnego
Elementy składowe systemu wizyjnego
1.
Oświetlenie
2.
Obiektyw
3.
Kamera (czujnik obrazu)
4.
Przetwornik analogowo-cyfrowy obrazu (frame-grabber)
5.
System do przetwarzania obrazu
6.
Interfejs użytkownika
PCI
1.
Kamera + optyka
2.
Oświetlenie
3.
Czujnik obecności części do wyzwalania akwizycji (formie przegrody świetlnej lub czujnika
laserowego)
4.
Przetwornik analogowo-cyfrowy obrazu (frame-grabber)
5.
Platforma PC
6.
Oprogramowanie sterujące procesem
7.
Cyfrowe karty WE/WY oraz połączenia sieciowe (komunikacja z systemami zewnętrznymi i bazami
danych)
1
fluoroscencyjne halogenowe, metalohalogenkowe,
ksenonowe, diodowe, laserowe, żarnikowe, lampa
stroboskopowa, światłowody,itp. W
przeciwieństwie do systemów wizyjnych
oferowane czujniki wizyjne posiadają tzw.
oświetlenie „inteligentne” zintegrowane z
korpusem i obiektywem czujnika.
Klasyfikacja techniki wizyjnej dostępnej obecnie na rynku
Obecnie z pośród oferowanych na rynku systemów wyróżnić można
następujące cztery kategorie:
Oświetlenie
1. Czujniki wizyjne
(
ang.visionsensors
)
2. Kamery inteligentne
(
ang.smartcamera
)
3. Dedykowane systemy wizyjne
(
ang.embeddedvisionsystems
)
4. Systemy wizyjne oparte na komputerze klasy PC
, (
ang.PC-
basedvisionsystems
)
Karta przetwornika
Frame-Grabber
Komputer/Procesor oraz
Oprogramowanie
Obiektywy
Kamera/y
+
+
+
RS -170 (30kl/sek), Japonia, USA, lub CCIR (25
kl/sek), Europa, Australia, lub dla kamer
kolorowych PAL/SECAM (25 kl/sek) , NTSC
(30kl/sek). –sygn composite w formacie YUV -
Stosowane interfejsy dla kamer cyfrowych:
USB, FireWire, CameraLink, LVDS RS422,
RS644, LVDS, GiGE i Wi-Fi
Karty akwizycji sygnału wideo są
programowalnymi urządzeniami
stanowiącymi interfejs z kamerą
PCI-32,PCI-64,PCI-X, AGP
Kamery inteligentne
Czujniki wizyjne
Grupy systemów łączących funkcje jednostki centralnej oraz czujnika obrazu, co w integracji
z oprogramowaniem umożliwia przetwarzanie obrazu bezpośrednio w kamerze. Głównie
stosowane są w aplikacjach do lokalizacji elementów, nadzoru nad pakowaniem, kontroli
montażu oraz odczytu 1D, 2D kodów kreskowych,znaków.
To niezależne (samoistne) niedrogie urządzenia kontroli jakości, zintegrowane z
układem optycznym oraz „inteligentnym” oświetleniem, umożliwiające szybką
analizę nieskomplikowanych obrazów. Charakteryzuje je: łatwość użycia oraz
elastyczność. Posiadają interfejsy do komunikacji z urządzeniami zewnętrznymi.
KI dodatkowo charakteryzują się większą elastycznością, narzędziami programowymi
oferującymi liczne algorytmy przetwarzania i analizy obrazu. Doskonale nadają się do typu
aplikacji bazującychna wykrywaniuobecności lub braku obiektu.
Ich jednostki obliczeniowe mogą być wyposażone w mikroprocesory Intel’a, Motoroli,
procesory sygnałowe DSP, układy FPGA lub ich kombinacje. Wyposażone są również w
interfejsy szeregowe oraz cyfrowe karty wejść/wyjść.
KI do użytku w środowisku przemysłowym,
NI 1722 oparta o procesor PowerPC 400 MHz, (NI 1742 PowerPC 533 MHz.)
Czujnik obrazu CCD firmy Sony –rozdzielczość 640 x 480
Wyposażenie:
Porty WE/WY, 2 optoizolowane cyfrowe wejścia oraz wyjścia, 1 port szeregowy RS232,
2 gigabitowe porty Ethernet do obsługi protokołów przemysłowych m. in. Modbus TCP.
Dedykowane systemy wizyjne
Systemy wizyjne oparte na komputerze klasy PC
Wyróżniają się największą elastycznością - posiadają zdolność do zastosowań w
szerszym zakresie aplikacji.
Główna różnica w stosunku czujników wizyjnych/kamer inteligentnych to
możliwość użycia wielu kamer. Z uwagi na większe zasoby mocy obliczeniowych
systemy te pozwalają na implementację wyrafinowanych algorytmów wizyjnych w
stosunku np. do kamer inteligentnych (nadających się do prostych zadań
wykorzystującychogólnenarzędzia do detekcji krawędzi czy binaryzacji)
Dedykowane systemy wizyjne to głównie samodzielne urządzenia
wyposażone w bank pamięci oraz „inteligencję”. Z uwagi na wymogi dużej
wydajności i szybkości czasu obliczeń, niskiego poboru mocy oraz
rekonfiguralności 2D/3D algorytmy przetwarzania obrazów projektowane
oraz implementowane często są na układach reprogramowalnych (FPGA),
oraz procesorach sygnałowych.
SD charakteryzuje:
duża prędkość obliczeń,
łatwość użycia oraz niski koszt
Wyposażone są głównie w
Oświetlenie
biblioteki
podstawowych algorytmów
dedykowanych
dla
przetwarzania obrazów w
czasie
rzeczywistym
oraz
manipulacją danych video w układach FPGA.
Wyspecjalizowane firmy zapewniają wybór oraz projektowanie rozwiązań
algorytmów analizy obrazu, ad-hoc, w oparciu o układy FPGA oraz DSP jak
również układy hybrydowe (sprzęt/oprogramowanie) odpowiednie dla
przetwarzania sygnałów oraz sygnałów video. Generalnie tego typu systemy
charakteryzują się ograniczoną elastycznością z
Karta przetwornika
Frame-Grabber
Komputer/Procesor oraz
Oprogramowanie
uwagi
na
ustalony
Obiektywy
+
Kamera/y
+
+
specyficzny charakter aplikacji.
2
Porównanie dwóch najbardziej zróżnicowanych grup
Główni producenci i dystrybutorzy
systemów wizyjnych
Systemy oparte na PC
Kamery inteligentne
Elastyczność
B.dobra
Mała
Odporność na trudne
warunki eksploatacyjne
Mała
Duża
Możliwość rozbudowy do systemu
wieloelementowego
Możliwość użycia b. małej kamery
Integracja w jednym urządzeniu
Brak możliwości użycia b. małej
kamery
Rozmiar
Możliwość zastosowania większej
ilości kamer
Ilość kamer
Jedna kamera
Funkcjonalność
Rozszerzona
Ograniczona
Osiągi
Rozszerzone
Ograniczone
Wymagana umiejętność
programowania
Brak wymagań umiejętności
programowania
Łatwość użycia
Możliwość współpracy z
innym oprogramowaniem
Duża
Mała
Koszt
Duży ($15 000 – $25 000 )
Mały ($1 000 – $3 000)
Dostawcy techniki wizyjnej:
Adept, Baumer, Cognex, Coreco, EPIX Inc., IOIndustries, Keyence, Matrox, National Instruments, Omron,
PPTVision, Parameter, Stemmer-imaging, Sick
I WIELE INNYCH…
Przepływ danych w systemie wizyjnym
Systemy wizyjne niskiego i wysokiego poziomu
Techniki
przetwarzania
obrazu
SW niskiego
poziomu
Obraz
Analiza obrazu
Opis
Rozpoznawanie
SW wysokiego
poziomu
Decyzja
Techniki Przetwarzania obrazów
Widzenie maszynowe
Celem systemu widzenia maszynowego jest dostarczanie symbolicznego opisu
obiektów sceny. Informacja jest bezpośrednio wykorzystywana do interakcji robota ze
środowiskiem.
System widzenia maszynowego może być uważany za część większej całości
,
wchodzącej w interakcje ze środowiskiem. Zaś
system wizyjny
może być rozpatrywany
jako
Akwizycja (OA - OC)
obraz
analogowy
Techniki
przetwarzani
a obrazu
obraz
cyfrowy
element
w pętli sprzężenia zwrotnego związany z
pomiarem (może być
Preprocessing (OC - OC)
potraktowany
jako
sensor do
odczytu
danych); w
czasie
gdy
inne
dedykowane
elementypodejmują(generują)decyzje i dokonują ich implementacji.
Obraz
Analiza
obrazu
Symboliczny
opis obrazu
Oświetlenie
Analiza obrazu (OC - S)
Opis
SCENA
Obraz
Opis
Urządzenie
obrazujące
Widzenie
maszynowe
1) Akwizycja obrazu (
obraz analogowy -> obraz cyfrowy
)
2) Wstępne przetwarzanie obrazów (
obraz cyfrowy -> obraz cyfrowy
)
Przekształcenia punktowe
Przekształcenia lokalne
Przekształcenia globalne
3) Analiza obrazu (
obraz cyfrowy -> symboliczny i ilościowy opis treści obrazu
)
Techniki segmentacji obrazu
Wydobycie cech obrazu (pole pow, geom. środki cięż., współ. kształtu, momenty n-rzędu, ..).
Lokalizacja obiektów
Sprzężenie
aplikacyjne
Wejściem do układu widzenia maszynowego jest obraz lub kilka obrazów.
Wyjście stanowi ich symboliczny opis.
3
Zadania systemów wizyjnych
Zadania systemów wizyjnych
Biorąc pod uwagę różne czynności realizowane przez urządzenia sterowane
informacją wizyjną, oraz podział systemów wizyjnych na:
I). Systemy wizji niskiego poziomu (N )
II). Systemy wizji wysokiego poziomu (W)
3. Ocena jakości (
N,W
).
Zagadnienie to dotyczy np. podstawowych operacji w procesie zautomatyzowanej
kontroli jakości, takich
jak określenie kompletności części, rozpoznanie
uszkodzenia.
4. Wizyjna nawigacja maszyn, pojazdów i urządzeń (
W
)
Realizacja tego zadania, oparta na analizie obrazu otoczenia uzyskanego z systemu
wizyjnego, pozwala na sterowanie ruchem autonomicznych pojazdów i urządzeń.
Systemy wizyjne wysokiego poziomu posiadają dodatkową wiedzę o
obserwowanych obiektach. Wiedza ta rozszerza możliwości eksploracji otoczenia
sterowanego urządzenia, zwiększa możliwości identyfikacji
wyróżnić można następujące ich zadania :
1.Określenia położenia obiektu poprzez podanie jego środka geometrycznego oraz
orientacji przestrzennej za pomocą metod momentowych (N,W).
i
nawigacji.
Z
2.Rozpoznawanie obiektów (W).
Rozpoznawanie polega na przyporządkowaniu obiektów składających się na oglądaną np.
przez robota scenę, do jednej ze zdefiniowanych uprzednio klas przynależności. Ma to
szczególnie ważne znaczenie w przemysłowych procesach montażu lub sortowania,
ponieważ od wyników identyfikacji zależą czynności wykonywane w dalszym etapie przez
robota.
wykorzystaniem tych systemów wiążą się następujące problemy
• Reprezentacja wiedzy o obiekcie (reprezentacja jego kształtów)
• Reprezentacja i metodologia określania relacji przestrzennych
• Właściwa współpraca między dostarczającą informacji wizją niskiego poziomu, a
wizją wysokiego poziomu zawierającą wiedzę
Medycyna
· Generowanie obrazów trójwymiarowych tomografii
· Analiza obrazów ultrasonograficznych, rentgenograficznych, MRI,
Automatyczna analiza i rozpoznawanie obrazów preparatów tkankowych,
· Analiza komórek krwi
· Badanie ruchu ciała człowieka i związane z tym zagadnienia: antropomotoryki i
biomechaniki sportu; rehabilitacji ruchowej
Środki bezpieczeństwa / Inwigilacja
· Wykrywanie broni/ładunków wybuchowych na lotniskach
· Odczyt tablic rejestracyjnych
· Zabezpieczenie pomieszczeń, np. detekcja ruchu
Ekologia, geologia, kartografia
· Prognoza pogody
· Poszukiwanie złóż mineralnych
· Monitorowanie zanieczyszczeń
· Wykonywanie oraz analiza map terenu
Eksploracja Ziemi i kosmosu
· Interpretacja obrazów astronomicznych i satelitarnych
Przetwarzanie dokumentów
· Sortowanie listów
· Odczyt formularzy; kwestionariuszy, biletów loteryjnych, czeków
Zastosowania
Technologia wizyjna obejmuje szeroki interdyscyplinarny
obszar wiedzy teoretycznej i doświadczalnej,
konstrukcyjnej, systemowej, informatycznej i
hardware’owej. Sprzyja temu rosnąca liczba różnorodnych
zastosowań, w dziedzinach takich jak:
Automatyczna Identyfikacja
· Odczyt kodów paskowych 1-D i 2-D
· Sortowanie partii towarów na podstawie kodów paskowych lub na podstawie
kodów identyfikacyjnych
Podstawowe zastosowania SW w technice
Kryminalistyka, zastosowania militarne
Wyszukiwanie w obrazie cech i szczegółów nie rozróżnialnych ludzkim
wzrokiem
· Identyfikacja linii papilarnych, identyfikacja osób
· Systemy automatycznego naprowadzania pocisków, rozpoznawanie celów,
Pomiary wizyjne
– dla różnych potrzeb w celu uzyskania fotometrycznego
lub geometrycznego pomiaru wyrobów (określenie wymiarów, położenia i
orientacji, uporządkowania części, dozór, itp.)
Inspekcja wizyjna
– w celu zapewnienia najwyższej kontroli jakości za
pomocą pomiaru fotometrycznego lub geometrycznego danego wyrobu
Identyfikacja wizyjna
–ze względu na wzajemne zależności obiektów
pozostających w polu widzenia kamery uzyskiwane są metryki cech na
podstawie ich obrazów
Komunikacja
wykrywanie obecności, kierunku i natężenia ruchu pojazdów, automatyczne
wykrywanie kolizji i wypadków
Laboratoria badawcze
kontrola materiałów, kontrola jakości wyrobów
Wizyjne naprowadzanie maszyn
– uzyskanie geometrycznego (pełnego
lub częściowego) opisu sceny w celu bezpiecznego planowania i
sterowania ruchem maszyny (np. robota)
Zabezpieczenie obiektów pod szczególnym nadzorem
kontrola bagaży, nadzór nad ruchem w pewnym obszarze, wykrywanie intruzów
4
Stereowizja
Wizyjne naprowadzanie robotów/pojazdów
Detekcja:
- znacznika
Kamera
Przeszkody
Robot
mobilny
Detekcja:
-
- znacznika
-
-przeszkód
-
- przestrzeni
Znacznik
Wizyjne naprowadzanie manipulatorów
Wizyjne naprowadzanie manipulatorów
Żądania:
-
- zachowanie
referencyjnego obrazu
obiektu
-
- detekcja aktualnego
obrazu obiektu
-
-określenie ruchu robota
na podstawie różnicy
obrazów
Obraz
referencyjny
Oświetlenie
Żądania:
-
- pozycja obiektu
-
-pozycja narzędzia robota
-
-określenie ruchu narzędzia
-
(położenie/orientacja)
Kamera
narzędzie
Stereowizja
Trajektoria
Końcowy
obraz
Aktualny
obraz
Obrazy stereo
Kontrola jakości nadruku
Inspekcja wizyjna
LabelInspect firmy
Cognex
Kontrola obecności i
pochylenia etykiet
(napisu)
Żądania:
-
-porównanie wzorca z
nadrukiem
-
-detekcja wad
Obraz wejściowy
Wskaźnik
pomiaru jakości
Obraz wzorcowy
Różnica obrazów
5
Plik z chomika:
cisin
Inne pliki z tego folderu:
2012_1VisionIntro_Mch_drk.pdf
(3355 KB)
detekcja twarzy.exe
(104 KB)
detekcja twarzy.cpp
(2 KB)
histbin2-2.exe
(105 KB)
histbin2-2.cpp
(3 KB)
Inne foldery tego chomika:
analiza i iden sygnalow
Elektronika
Elementy Wykonawcze Robotów
Elementy wykonawcze robotów przemysłowych
Identyfikacja i Analiza Sygnałów
Zgłoś jeśli
naruszono regulamin