Titelaufnahme

Titel
Eine Pilotstudie über die psychometrischen Eigenschaften und Itemschwierigkeiten von automatisch generierten Aufgaben zur Messung der visuellen Wahrnehmung / vorgelegt von Stefanie Jauk, BSc
Weitere Titel
A pilot study on the psychometric features and item difficulties of automatically generated items measuring visual processing
Verfasser/ VerfasserinJauk, Stefanie
Begutachter / BegutachterinArendasy, Martin
ErschienenGraz, März 2017
UmfangVII, 97 Blätter : Illustrationen
HochschulschriftKarl-Franzens-Universität Graz, Masterarbeit, 2017
Anmerkung
Zusammenfassungen in Deutsch und Englisch
Abweichender Titel laut Übersetzung des Verfassers/der Verfasserin
SpracheDeutsch
DokumenttypMasterarbeit
URNurn:nbn:at:at-ubg:1-112393 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist frei verfügbar
Dateien
Eine Pilotstudie über die psychometrischen Eigenschaften und Itemschwierigkeiten von automatisch generierten Aufgaben zur Messung der visuellen Wahrnehmung [7.5 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

Flexibility of Closure gilt als Faktor der visuellen Wahrnehmung und ist damit eine Subdimension kognitiver Fähigkeiten. Obwohl der Faktor Teil aktueller Intelligenzmodelle ist, wird nur wenig psychometrische Forschung dazu betrieben. Das Ziel dieser Arbeit ist es, eine Pilotversion eines Flexibility of Closure Tests mittels automatischer Itemgenerierung zu konstruieren und die psychometrischen Eigenschaften der Testaufgaben zu evaluieren. Die Testaufgaben dieser Studie wurden nach dem Zwei-Komponenten-Ansatz generiert. In der ersten Komponente wurden Itemeigenschaften definiert, welche die Schwierigkeit der Aufgaben beeinflussen könnten. Die zweite Komponente beinhaltete Voraussetzungen, um Testbias zu vermeiden. Die Auswertung der Ergebnisse fand zunächst nach Klassischer Testtheorie statt, anschließend wurde der Test nach Probabilistischer Testtheorie auf eine Passung des dichotomen Rasch-Modells überprüft. Von insgesamt 3240 Testaufgaben wurden 18 Aufgaben nach einer systematischen Auswahl der Itemeigenschaften und einer subjektiven Beurteilung der Voraussetzungen ausgewählt. Die Online-Testung wurde von 322 Personen durchgeführt, von denen die Hälfte mehr als 13 Aufgaben richtig löste. Die durchschnittliche Bearbeitungszeit betrug 12 Minuten. Der Cronbach--Koeffizient von .77 zeigte eine mittlere Reliabilität für die 18 Aufgaben. Für die erhobenen Daten konnte keine Passung des Rasch-Modells gezeigt werden, auch nicht nach einer Extraktion von fünf psychometrisch-auffallenden Aufgaben. Obwohl die Hypothese der Raschhomogenität für den Test verworfen werden musste, konnten Informationen für weiterführende Arbeiten gewonnen werden. Teil der Forschung kann es zukünftig sein, den Einfluss der Itemeigenschaften auf die Schwierigkeit zu analysieren und einen raschhomogenen Flexibility of Closure Test zu konstruieren.

Zusammenfassung (Englisch)

Flexibility of Closure is known as a subordinated ability of visual processing, which is one dimension of human cognitive abilities. Despite its importance as an ability within intelligence, there is a lack of psychometric research on it. Hence, the aim of this study was to generate a pilot version of a Flexibility of Closure test using automatic item generation and to examine item features concerning their psychometric properties and impact on item difficulties.Based on previous research, items for Flexibility of Closure were automatically generated using the dual-component method. In the first component, item features which may contribute to item difficulty were defined. The second component included constraints to avoid test bias. Test results were analyzed with classical test theory as well as item response theory, using a dichotomous Rasch model function for analysis.Out of a pool of 3240 items, 18 items were selected based on (1) a systematic selection according to item features and (2) a subjective assessment of required constraints. The online version of the test was completed by 322 people of whom 50% solved more than 13 items; the average test time was 12 minutes. The Cronbachs value for reliability was .77 for the 18 selected items, indicating an adequate measurement precision. The test did not show a fit on the dichotomous Rasch model function of the item response analysis, not even after excluding five of the original 18 items due to unsatisfying item properties. Rasch homogeneity could not be assumed for the test items. Even though the data of this pilot study showed no fit on the Rasch model, a first step in constructing a Flexibility of Closure test with automatic item generation was taken. Further research is needed to determine how item features contribute to item difficulty and how to adapt the items for a fit on the Rasch model.