Dokument 1

Prüfsumme (MD5)

Kurzfassung in Deutsch:
Einstellungsinterviews erfreuen sich großer Akzeptanz und weiter Verbreitung, obwohl ihre prognostische Validität lange Zeit als schlecht galt. Inzwischen liegen jedoch eine Reihe von Metaanalysen vor, welche die prognostische Validität und Reliabilität von sogenannten strukturierten Interviews belegen. Hierbei haben sich in der wissenschaftlichen Literatur insbesondere das Biographische und das Situative Interview (BI, SI) durchgesetzt, welche auch Bestandteile des Multimodalen Interviews (MMI) von Schuler (1989, 1992) sind. Forschungsbedarf gibt es jedoch bei der Untersuchung der Konstruktvalidität. So wurden bisher fast ausschließlich Validierungsstudien im Sinne eines nomologischen Netzwerkes durchgeführt und folglich die Zusammenhänge zwischen dem Gesamtwert im Interview und verschiedenen externen Konstrukten (z.B. verbale Intelligenz, Self-Monitoring) analysiert. Bei dieser Methode bleibt jedoch unklar, inwieweit es gelingt mit strukturierten Interviews die in der Arbeitsanalyse festgelegten Anforderungsdimensionen wie z.B. Teamfähigkeit und Durchsetzungsfähigkeit zu erfassen. Eine Möglichkeit diese Fragestellung zu bearbeiten ist die Analyse von konvergenter und diskriminanter Validität der innerhalb des Auswahlverfahrens verwendeten Dimensionen. Dieses Vorgehen wird von Kolk (2002) als interne Konstruktvalidierung bezeichnet und meist mit Hilfe der Multitrait-Multimethod-Matrix (MTMM) und konfirmatorischer Faktorenanalysen (CFA) untersucht. Obwohl ein entsprechendes Vorgehen in der Assessment Center-Forschung seit Jahren üblich ist, wurde erst eine vergleichbare Interview-Studie (Schuler, 1989 bzw. Schuler & Funke, 1989) durchgeführt. Ohne die empirische Daten zu berichten kamen die Autoren dabei zu dem Ergebnis, dass die Konstruktvalidität strukturierter Interviews gering ist. Die saubere Erfassung der Anforderungsdimensionen ist jedoch grundlegende Voraussetzung für die Konstruktion prognostisch valider Auswahlverfahren. Daher ist das Ziel der vorliegenden Arbeit die Untersuchung der (internen) Konstruktvalidität strukturierter Interviews und möglicher Einflussfaktoren. In der ersten Studie (N = 110) wurde die Konstruktvalidität eines Multimodalen Interviews (MMI) untersucht. Während die Analysen der Multitrait-Multimethod-Matrix (MTMM) auf eine geringe (interne) Konstruktvalidität hinweisen (mittlere konvergente Validität von .24 und mittlere diskriminante Validität von .41), ergeben sich bei Betrachtung des nomologischen Netzwerkes Anzeichen auf vorhandene Konstruktvalidität. In einer weiteren Auswertung werden die Effekte auf die Multitrait-Multimethod-Matrix untersucht, welche sich dadurch ergeben, dass identische Dimensionen teilweise durch identische Beobachter und teilweise durch verschiedene Beobachter beurteilt werden (gemeinsame Beobachtervarianz). Diese stellen sich anders als beim Assessment Center als vernachlässigbar heraus. Welche Folgen ergeben sich aus dem Erkennen von Anforderungsdimensionen auf Leistung und konvergente Validität? Kleinmann (1993) konnte zeigen, dass Personen im Assessment Center (AC) besser abschneiden, wenn sie die zugrunde liegenden Anforderungsdimensionen erkennen. Außerdem wies er nach, dass das Ausmaß des Erkennens die konvergente Validität beeinflusst. In unserer zweiten Studie (N = 95) wurden die wesentlichen Überlegungen und Ergebnisse dieser Untersuchung auf das strukturierte Interview übertragen und repliziert. Weiterhin wurden die Zusammenhänge zwischen Beurteilung im AC bzw. Interview und Erkennensleistung im AC bzw. Interview berechnet. Die Ergebnisse weisen darauf hin, dass es sich beim Erkennen der Anforderungsdimensionen um eine Fähigkeit oder Fertigkeit handelt, die relativ unabhängig vom zugrunde liegenden Instrument erfasst werden kann. Welche Auswirkungen hat die Bekanntgabe der Anforderungsdimensionen (Transparenz) auf die Konstruktvalidität im strukturierten Interview ? Dieser Frage wurde in zwei unabhängigen Experimentalstudien (Studie A mit N = 123, B mit N = 176) nachgegangen. Dabei ergaben sich für beide Studien übereinstimmende Ergebnisse. So kam es unter Transparenz zu einem Leistungsanstieg der Bewerber. Dies konnte aufgrund von Assessment Center (AC) Studien nicht erwartet werden. Erwartet und bestätigt werden konnte jedoch die höhere Beurteilerübereinstimmung in der Transparenz-Bedingung. Hypothesenkonform kam es außerdem zu einem Anstieg der internen Konstruktvalidität des MMI unter Transparenz. Weiterhin waren in Studie B die korrelativen Beziehungen zwischen MMI und einem Kriterium (AC) wie erwartet unter Transparenz tendenziell niedriger als unter Intransparenz. Implikationen der Studien für die Praxis und Vorschläge für weitere Forschung werden diskutiert.

Kurzfassung in Englisch:
Employment interviews enjoy a large acceptance throughout the world although their prognostic validity was considered bad for a long time. In the meantime, however, there are some meta-analyses, which document the prognostic validity and reliability by the so-called structured interview. In particular the behaviour description interview (BDI) and the situational interview (SI) became generally accepted in the scientific literature. Both are also components of the multimodal interview (MMI) of Schuler (1989, 1992). Research, however, is needed with the investigation of the construct validity. So far validity-studies were almost exclusively accomplished in the sense of a nomological net, and therefore research analysed the relationships between the interview total score and different external constructs (e.g. verbal intelligence, self monitoring). With this procedure it still remains unclear to what extent structured interviews succeed in measuring the dimensions (e.g. team ability and assertiveness) specified in the work analysis. One possibility to work on this question is to analyse convergent validity and discriminant validity of the dimensions assessed within the selection instrument. Following Kolk (2002) this procedure is termed internal construct validitation, and it is usually done with the help of the multitrait-multimethod matrix (MTMM) and confirmatory factor analyses (CFA). Even though a corresponding procedure has been common for years in the assessment center research, only one comparable interview study (Schuler, 1989 resp. Schuler & Funke, 1989) has been conducted. Without reporting the empirical data, the authors came to the conclusion that the construct validity of structured interviews is small. The accurate measurement of the dimensions is, however, a fundamental condition for the construction of prognostically valid selection instruments. Therefore the goal of the present dissertation is to investigate the (internal) construct validity of the structured interview and possible factors of influence. In the first study (N = 110), the construct validity of the multimodal interview (MMI) was examined. While the analyses of the multitrait-multimethod matrix (MTMM) indicate a low (internal) construct validity (mean convergent validity .24 and mean discriminant validity .41), the inspection of the nomological net allows the conclusion of positive construct validity. In a further evaluation the effects on the multitrait-multimethod matrix are examined which result from the fact that identical dimensions are partly judged by identical observers and partly by different observers (common observer variance). In contrast to assessment center research these turn out as negligible. Which consequences result from recognizing dimensions on performance and convergent validity? Kleinmann (1993) could show that participants in an assessment center (AC) perform better if they accurately identify the dimensions. He also could demonstrate that the extent of recognizing the dimensions affects convergent validity. In our second study (N = 95), the substantial considerations and results of this investigation were transferred to the structured interview and replicated. Furthermore the correlations between evaluation in the AC respective interview and the extent of recognizing the dimensions in the AC respective interview were computed. The results indicate that recognizing the dimensions is an ability or a talent, which can be measured relatively independently from the underlying selection instrument. Which effects does the announcement of the dimensions (transparency) have on the construct validity in the structured interview? We followed up this question in two independent experimental studies (study A with N = 123, B with N = 176). Compatible conclusions resulted for both studies. Thus we observed in both studies an increase in performance with transparency. This could not be expected due to assessment center (AC) research. However, as predicted, we could confirm a higher observer agreement in the transparency condition. In addition we could show that conforming with our hypothesis, internal construct validity of the MMI increases with transparency. Furthermore, as expected in study B, the correlation between MMI and a criterion (AC) tended to be lower under conditions of transparency than under non-transparency. The implications of these results for practice and suggestions for further research are discussed.

Das Dokument ist im Internet frei zugänglich - Hinweise zu den Nutzungsrechten