TRAFNOŚĆ: PODSTAWOWE POJĘCIA
Trafność treściowa
Trafność treściowa (wewnętrzna) - reprezentatywność danej puli pozycji dla uniwersum pozycji mierzących daną cechę. Trafność treściowa jest wstępnym aspektem trafności teoretycznej.
Analiza trafności treściowej jest niezbędnym etapem prac konstrukcyjnych testu (zanim jeszcze test został całkowicie opracowany, za wyjątkiem kwestii krytyki testu, gdy chcemy wykazać, że test jest nietrafny treściowo, np. treść pozycji testowych nie obejmuje ważnych aspektów cechy).
Ocenę trafności treściowej powinna poprzedzać systematyczna ocena dziedziny, którą ma badać test; Sporządzenie specyfikacji zawartości testu dla osób, które mają opracować pozycje; powinna ona informować, jakie treści i tematy ma objąć test, jakie cele kształcenia i procesy należy uwzględnić, a także, jaka jest względna ważność poszczególnych tematów i celów; powinna też informować, ile pozycji należy sporządzić dla danego wymiaru
Etapy oceny trafności treściowej:
ü Ocena liczby pozycji w każdym podwymiarze oraz teście jako całości (każdy podwymiar powinien być reprezentowany w całym teście i obejmować zbliżoną liczbę pozycji).
ü Ocena pozycji w każdym podwymiarze oraz w całym teście przez grupę ekspertów na skalach ocen (trafność treściowa) lub osób badanych (typowość).
Trafność treściowa jest sposobem walidacji testów osiągnięć i testów zawodowych.
Trafność fasadowa
Dotyczy nie tego, co test rzeczywiście mierzy, ale tego, co „wydaje się mierzyć” w oczach niefachowców. Chociaż zastosowanie słowa „trafność” w tym przypadku może być kontrowersyjne, trafność treściowa sama w sobie jest pożądaną własnością testu. Zwłaszcza w badaniach osób dorosłych treść powinien być trafny nie tylko obiektywnie, ale i fasadowo. Metoda ilościowego szacowania trafności fasadowej – nieznający się na psychometrii respondenci orzekają czy test nadaje się do takiego zastosowania, do jakiego jest przeznaczony.
Trafność kryterialna
stopień, w jakim test pozwala na przewidywanie określonego kryterium zewnętrznego, np. powodzenia zawodowego, szkolnego, wypadkowości, diagnozy klinicznej, itp.; ze względu na relację czasową zachodzącą między badaniem testowym a kryterium wprowadzono rozróżnienie na trafność diagnostyczną i prognostyczną; trafność diagnostyczna to stopień, w jakim test pozwala na ocenę aktualnego kryterium, a trafność prognostyczna – stopień, w jakim test pozwala na ocenę przyszłego kryterium. Trafność diagnostyczna służy do diagnozy istniejącego statusu,. A nie prognozowania przyszłych wyników.
Kontaminacja kryterium
Skażenie ocen kryterialnych na skutek tego, że osoba oceniająca zna wyniki w teście; w sposób sztuczny podwyższa korelację między wynikami testu a kryterium (trafność kryterialną); aby jej uniknąć, konieczne jest, by żadna spośród osób oceniających kryterium nie wiedziała nic o wynikach testowych osób badanych.
Szkoła: uczeń – test; nauczyciel – oceny zależnie od wyniku w teście – zniekształcanie testu;
Miary kryterialne
1. Osiągnięcia szkolne
· oceny, wyniki w testach osiągnięć, opinie na świadectwach, wyróżnienia, oceny „inteligencji” dokonywane przez nauczycieli, wykształcenie;
· służą do oceny trafności testów inteligencji, ale też pewnych testów osobowości i wielowymiarowych baterii uzdolnień
2. wyniki specjalistycznego kształcenia
· stosuje się je przy opracowywaniu testów uzdolnień specjalnych, testów wykonywanych na zamówienie, przeznaczonych do stosowania w ramach określonych programów;
3. późniejsze oceny rzeczywistych osiągnięć w pracy
· stosowane w badaniach trafności testów inteligencji ogólnej i osobowości (zakres ograniczony) i testów uzdolnień specjalnych (zakres szerszy)
4. diagnoza psychiatryczna
5. oceny innych
· miara wykorzystywana przy konstruowaniu testów osobowości
6. wcześniej dostępne testy
· ale tylko gdy test jest uproszczonym bądź skróconym substytutem testu wcześniejszego; (test papier-ołówek à kryterium: test wykonaniowy; test grupowy à kryterium: test indywidualny)
7. grupy kontrastowe
· pod uwagę bierze się zazwyczaj złożone kryteria, które odzwierciedlają skumulowane i niekontrolowane wpływy selekcyjne występujące w codziennym życiu; podstawą tego rodzaju kryteriów jest fakt, że jedne osoby pozostają w danej grupie, a inne wypadają z niej; do grup brane są osoby z krańców rozkładu cechy kryterialnej; np. badając grupę uczniów szkół muzycznych i niewyselekcjonowaną grupę uczniów, można zbadać trafność testu uzdolnień muzycznych
Trafność teoretyczna - zgodność treści mierzonej przez test z konstruktem teoretycznym (trafność zorientowana na konstrukt), określenie, jaką treść psychologiczną mierzy test.
Sposoby badania trafności teoretycznej:
1. Zmiany rozwojowe
· Badania trafności rozwojowych skal inteligencji (np. Stanfordzka Skala Inteligencji Bineta), opierających się na założeniu, ze przynajmniej do dojrzałości inteligencja wzrasta wraz z wiekiem; jeśli przyrostowi wieku odpowiada przyrost ilorazu inteligencji à test jest trafny
· Zróżnicowanie wraz z wiekiem jest koniecznym, ale nie wystarczającym warunkiem trafności (wzrost i waga też rosną z wiekiem a nie są narzędziami do pomiaru inteligencji)
· Narzędzie do pomiaru Piagetowskich skal porządkowych opartych na sekwencyjności rozwoju;
2. Korelacje z innymi testami
· Korelacje te powinny być umiarkowanie wysokie à jeśli test nie jest krótszy bądź łatwiejszy w stosowaniu stanowi niepotrzebne powtórzenie innego testu;
· Niskie korelacje z niektórymi testami mogą stanowić negatywny dowód trafności (np. niskie korelacje testów osobowości z testami mierzącymi inteligencję ogólną)
3. Analiza czynnikowa
· Wyrafinowana technika statystyczna (by Ch. Spearman) służąca do ograniczenia liczby zmiennych czy kategorii, przy pomocy których można opisać wyniki każdej jednostki; zamiast początkowo wielu zmiennych odpowiadającym zastosowanym testom, otrzymujemy małą liczbę czynników
· Trafność czynnikowa – korelacja między testem a czynnikiem (czyli ze wszystkim, co wspólne dla grupy testów, ocen i innych miar kryterialnych)
4. Zgodność wewnętrzna
· Stopień jednorodności testu ma pewne znaczenie dla jego trafności teoretycznej, ponieważ pozwala scharakteryzować dziedzinę zachowania czy cechę mierzoną przez test; niemniej jednak, bez zewnętrznego kryterium, wkład zgodności wewnętrznej w walidację testu jest ograniczony;
5. Trafność zbieżna i różnicowa
· trafność zbieżna – test koreluje wysoko z innymi zmiennymi, z którymi teoretycznie powinien korelować (np. test rozumowania ilościowego z ocenami z matematyki)
· trafność różnicowa – test nie koreluje istotnie ze zmiennymi, z którymi nie powinien korelować (np. test rozumowania ilościowego z testem czytania ze zrozumieniem); szczególnie ważna dla testów osobowości, bowiem w ich przypadku niezwiązane z przedmiotem pomiaru zmienne mogą w różny sposób wpływać na wyniki;
· macierz Wielu Cech – Wielu Metod – systematyczny plan eksperymentalny zaproponowany przez Campbella i Fiskego do jednoczesnego badania trafności zbieżnej i różnicowej; wymaga oceny dwóch lub więcej cech przy użyciu dwóch lub więcej metod;
6. Manipulacje eksperymentalne
· Pretest – posttest
7. Modelowanie za pomocą równań strukturalnych
· Badanie w jaki sposób zidentyfikowany konstrukt czy cecha wpływa na poziom wykonania
· Opracowanie modelu hipotetycznych zależności przyczynowych, który ma być testowany à rozwiązywanie zbioru równoważnych równań regresji liniowej à każdy model porównuje się z empiryczną macierzą korelacji, oceniając dobroć dopasowania/
TRAFNOŚĆ: POMIAR I INTERPRETACJA
Na współczynniki trafności wpływają
Heterogeniczność próby – im większa, tym większa trafność;
Kształt zależności między testem a kryterium – zakłada się liniowy
Homo- albo heteroscedastyczność wariancji (zakłada się homoscedastyczność)
psychUW