Co to jest ewaluacja?
Ewaluacja jest badaniem – cechuje ją obiektywizm. Ewaluację prowadzi się na podstawie metodologii odpowiednio dobranej do obszaru badania, a wnioski są formułowane na podstawie obiektywnych danych.
Zadaniem ewaluacji jest dostarczenie decydentom informacji mogących przyczynić się do usprawnienia podejmowanych działań społecznych.
Usprawnienie – wymiary „usprawnienia”:
· Adekwatność – odpowiadamy na pytanie: „czy przyjęte cele projektu odpowiadają rzeczywistym potrzebom grupy docelowej?”
· Skuteczność – „czy i w jakim stopniu projekt osiągnął swoje cele?”
· Efektywność – „czy stosunek poniesionych nakładów do uzyskanych produktów projektu był właściwy?”
· Użyteczność – „czy uczestnictwo w projekcie okazało się przydatne dla jego beneficjentów?”
· Trwałość – „czy rezultaty projektu mają szansę przetrwać po jego zakończeniu?”
Jeżeli badanie nie spełnia ww. kryteriów, to nie jest ewaluacją, lecz publicystyką i na pewno nie możemy go wykorzystać do usprawnienia prowadzonych działań!
Do czego służy ewaluacja?
Do czego zatem może się przydać ewaluacja? Umożliwia nam:
· wspomaganie procesu podejmowania decyzji,
· podniesienie skuteczności i efektywności działań,
· wskazanie kierunków rozwoju (szczególnie istotne w przypadku projektów pilotażowych),
· sygnalizowanie pojawiających się problemów,
· pokazanie słabych i mocnych stron,
· określanie stopnia zgodności z przyjętymi założeniami,
· badanie potrzeb,
· zwiększanie profesjonalizmu świadczonych usług,
· demokratyzację procesu zarządzania,
· element uczenia się i samodoskonalenia organizacji,
· usprawnianie komunikacji.
Co to jest ewaluacja – historia
Troszkę historii, czyli kto to wymyślił i skąd to się wszystko wzięło?
Ewaluacji nie wymyślono w Unii Europejskiej.
Narodziny ewaluacji były wynikiem wzrostu popularności nauk społecznych oraz nowoczesnych teorii zarządzania w handlu i przemyśle.
Ojczyzną ewaluacji są Stany Zjednoczone. Pierwsze badania ewaluacyjne przeprowadzono w USA w latach 20-tych XX wieku. Powody i kontekst:
· zbadanie i porównanie poziomu realizacji programów nauczania w amerykańskich szkołach. Motywem była reforma archaicznych programów nauczania. Edukacja była wówczas „hamulcowym” rozwoju USA;
· wyjaśnienie przyczyn różnic w poziomie nauki w amerykańskich szkołach. Mnogość i zróżnicowanie standardów edukacyjnych w USA utrudniały porównywalność standardów, dyplomów, egzaminów, tytułów;
· dostarczenie informacji pozwalających podniesienie skuteczności nauczania;
· wszechobecna korupcja.
Wkład w rozwój ewaluacji miał również polski socjolog, Florian Znaniecki, który w latach 30-tych był dyrektorem programu badawczego w dziedzinie edukacji na Uniwersytecie Columbia.
Co to jest ewaluacja - historia
Bodźce do rozwoju badań ewaluacyjnych po II wojnie światowej:
· podwojenie się wartości PKB w USA po wojnie;
· gwałtowny wzrost inwestycji państwa w infrastrukturę oraz programy społeczne;
· wyścig technologiczny pomiędzy USA i ZSRR (programy kosmiczne).
Wzrost wydatków państwa zrodził zapotrzebowanie na oszacowanie jakości i wartości programów rządowych oraz znalezienie przyczyn porażek i sukcesów.
Potrzeba racjonalizacji wydatków ośrodka centralnego stała się przyczyną olbrzymiej kariery, jaką zrobiła ewaluacja w ramach Unii Europejskiej. Badania ewaluacyjne prowadzone są dla całych funduszy, jak również dla pojedynczych projektów.
W Polsce historia ewaluacji datuje się na początek lat 90-tych, w związku z reformami polskiego systemu edukacji.
Motywem dla prowadzenia badań ewaluacyjnych była z jednej strony konieczność racjonalnego wykorzystania środków oraz potrzeba demokratyzacji procesu podejmowania decyzji, a z drugiej - wymogi międzynarodowych instytucji przyznających środki na różnego rodzaju programy pomocy.
Przedmiotem pierwszych badań ewaluacyjnych były wówczas programy profilaktyczne, programy ochrony środowiska, programy szkoleniowe, promocyjne, programy zatrudnienia.
Funkcje ewaluacji
Głównymi funkcjami ewaluacji są:
1. Ewaluacja formatywna – funkcją ewaluacji jest tu zapewnienie postępu, stymulowanie usprawnień i rozwoju organizacyjnego.
Dzięki ewaluacji możemy planować rozwój naszej organizacji, pozyskując informacje od właściwych podmiotów, tj.: beneficjentów naszych projektów, pracowników organizacji, organizacji partnerskich, instytucji dystrybuujących środki na sfinansowanie naszej działalności (np. instytucje wdrażające, instytucje rynku pracy, administracja rządowa, samorządowa, biznes prywatny). Uwzględnienie opinii tych osób i podmiotów pozwoli nam podejmować decyzje nt. dalszego funkcjonowania organizacji.
2. Ewaluacja konkluzywna – jej celem jest selekcja lub sprawozdawczość, rozliczenie i egzekwowanie odpowiedzialności. W tym przypadku funkcją badania ewaluacyjnego jest analiza i ocena osiąganych wskaźników. Ewaluacja jest w tym wypadku zbliżona do „kontroli”, „controllingu”. Na jej podstawie podejmuje się decyzję o dalszej realizacji bądź odstąpieniu od realizacji danego projektu, programu. Można tu mówić o ewaluacji technokratycznej rozumianej jako czysty pomiar (ewaluacja jest dla zarządzającego, menedżera).
3. Ewaluacja społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia politycznego. Jej funkcją jest kształtowanie świadomości i motywowanie do pewnych zachowań. Jest to podejście populistyczne, zgodnie z którym ewaluacja jest przeznaczona dla ewaluowanych, społeczeństwa.
4. Ewaluacja administracyjna – jej celem jest zbieranie danych na rzecz sprawujących władzę. Funkcją zebranych danych ma być uzasadnienie polityki prowadzonej przez ośrodek rządzący. Jest to podejście biurokratyczne, zgodnie z którym wyniki ewaluacji są do wyłącznego użytku zamawiającego, w tym przypadku decydenta politycznego.
Rozumienie roli ewaluacji rozwijało się wraz z rozwojem teorii zarządzania, stosunków władza-społeczeństwo, nauk społecznych.
Możemy tu mówić o 4 generacjach ewaluacji:
· I generacja – „techniczna” rola ewaluatora. Jest on "technikiem" biegłym w sztuce pomiaru osiągnięć uczniów, wydajności pracy pracowników. Początki: przełom wieku XIX i XX – ilościowe techniki badawcze, testy psychometryczne.
· II generacja – model opisowy. Początki: po I wojnie światowej (wpływ nowego wychowania - koncentracja edukacji na dziecku i jego potrzebach). Rozkwit w latach 40-tych w USA.
Dowiedz się więcej...
Zadaniem ewaluacji było dostarczenie danych umożliwiających konstrukcję programu na miarę możliwości i potrzeb dziecka.
· III generacja – koncentracja na osądzie ewaluatora. Jest on sędzią, arbitrem, „tym, który wie”, czy jest dobrze i co robić w dalszej kolejności. Osąd jest integralną częścią ewaluacji. Ewaluacja była rozumiana stricte jako narzędzie zarządcze dla menedżerów w celu poprawy procesów w firmie.
· IV generacja – ewaluacja dialogiczna. Kładzie nacisk na jawność, komunikację i negocjacje w procesie projektowania ewaluacji (interakcja pomiędzy decydentami i społeczeństwem). Pomiar i techniki ilościowe nie są już jedynym narzędziem badawczym, stosowanie jakościowych strategii badawczych (np. studium przypadku, wywiad), rezygnacja z ambicji przedstawiania racji „obiektywnych” (ewaluator traci rangę arbitra i sędziego).
Przedstawiciele nurtu: R. Stake, Guba, H. Simons, L. Korporowicz.
Ewaluacja IV generacji to synteza ewaluacji technokratycznej, populistycznej i biurokratycznej.
Ewaluacja IV generacji
Ewaluacja IV generacji – model uspołeczniony, integrujący wszystkich aktorów ewaluacji, tj. zamawiających ewaluację, ewaluowanych, ewaluatora oraz wszystkich innych zainteresowanych. Jest ona wkomponowana w realia społeczne.
Ewaluacja IV generacji może być określona jako:
· Negocjacje
· Dialog
· Dyskurs
· Spotkanie
· Proces
· Demokratyzacja
· Profesja
Położenie nacisku na komunikację wszystkich aktorów ewaluacji.
Uspołecznienie procesu ewaluacyjnego
Po co uspołecznienie procesu ewaluacyjnego?
Powodów jest kilka. Oto najważniejsze z nich:
· Redukcja obaw i ryzyka związanego z procedurami ewaluacyjnymi i udostępnieniem danych
· Unikanie marginalizacji konkretnych grup czy punktów widzenia w procesie pozyskiwania i zarządzania danymi
· Zwiększenie możliwości użycia rezultatów ewaluacji przez wszystkich aktorów procesu ewaluacyjnego
· Wzajemna edukacja podmiotów ewaluacji
· Uwzględnienie oczekiwań zainteresowanych ewaluacją
· Wzrost zainteresowania efektami procesu ewaluacyjnego
· Rozwój autorefleksji działania
Audyt
· Audyt - sprawdzenie zgodności wykorzystania zasobów z obowiązującymi przepisami prawnymi, procedurami, terminami oraz określonymi standardami, np. dotyczącymi zarządzania wykorzystaniem pomocy.
· Cel audytu - zapobieganie niegospodarności i nieprawidłowościom w działaniu organizacji.
· Zakres audytu - wąski, poprawność procedur, rozliczeń, zgodność z przepisami prawa i zapisami umowy.
Monitoring
· Monitoring – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programuw aspekcie finansowym i rzeczowym. Ma za zadanie zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.
· Cel monitoringu - pomoc w bieżącym sterowaniu projektem/programem.
· Zakres monitoringu - wąski, rejestrowanie postępów z prowadzonych operacji, bieżące weryfikowanie tempa jak i kierunku, w którym zmierza program, element oceny jedynie w zakresie zestawienia postępów projektu z założonym harmonogramem.
Kontrola
· Kontrola – porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji.
· Cel kontroli - wykrycie nieprawidłowości (kontrola ex-post).
· Zakres kontroli - wąski, nakierowanie na wykrycie uchybień i naruszeń oraz wyciągnięcie konsekwencji wobec organizacji/beneficjenta.
Ewaluacja
· Ewaluacja - poprawa jakości działań poprzez zwiększenie ich adekwatności, skuteczności, użyteczności, efektywności i trwałości.
· Cel ewaluacji - pomoc w procesie uczenia się instytucji, planowania interwencji i ich uzasadniania.
· Zakres ewaluacji - szeroki lub wąski, w zależności od charakteru. Szersze spojrzenie na program oraz sposób jego prowadzenia pod względem kryteriów adekwatności, skuteczności, użyteczności, efektywności i trwałości prowadzonych działań.
· Przykład...
· Ewaluacja zajmuje się projektem/programem w szerszym kontekście czasowym. Badanie ewaluacyjne odnosi się do stanu sprzed podjęcia działań w ramach projektu, w jego trakcie, jak również stara się prognozować długookresowe skutki zamierzonych i niezamierzonych efektów, wybiegających poza czas i miejsce wdrażania programu.
· Rady i porady...
· Planując ewaluację, pamiętajmy o tym, iż analizując dostępne dane, powinniśmy wziąć pod uwagę informacje i dane, jakie generuje system monitoringu w ramach projektu. Należy zapoznać się również z wynikami kontroli oraz raportami z audytów prowadzonych na projekcie przez podmioty zewnętrzne (o ile takie były prowadzone).
Wdrażanie programu (projektu)
Planowanie ewaluacji
Działania ewaluacyjne trzeba planować już na etapie tworzenia projektu:
· Unia Europejska wyróżniła w latach 2000-2006 ewaluację ex-ante, mid-term oraz ex-post.
· W latach 2007-2013 dodatkowo dopisano ewaluację on-going, czyli w trakcie realizacji programów, podejmowaną w zależności od pojawiających się potrzeb.
Przykład...
Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. 1083/2006/WE ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999 (Art. 47 ust.1).
Ewaluacja na poziomie Programu (np. Program Operacyjny Kapitał Ludzki):
· Ewaluacja wstępna (ex-ante) – przeprowadzana przed rozpoczęciem realizacji interwencji.
Oceny ex-ante mają na celu optymalizację alokacji zasobów budżetowych i poprawę jakości procesu programowania....
flek