Social desirability in survey research: Can the list experiment provide the truth?

Das Phänomen der sozial erwünschten Antwortverzerrung in Umfrageerhebungen wird in Sozialpsychologie und Sozialwissenschaften seit vielen Jahren diskutiert. Die Verzerrungen treten häufig dann auf, wenn eine Frage ‚sensitiv‘ ist (Lee, 1993) und dementsprechend einen potentiell beschämenden, belastenden oder stigmatisierenden Charakter haben (Dalton, Wimbush, & Daily, 1994). Um sozial erwünschtes Antworten bei Selbstauskünften zu vermeiden, werden häufig indirekte Befragungsmethoden eingesetzt. Das Listenexperiment, eine indirekte Befragungsmethode, garantiert dem Befragten ein gewisses Maß an Anonymität und kann auf aggregierter Ebene eine Schätzung des Anteils der Befragten, welche dem sensitiven Item zugestimmt haben, vornehmen. Durch die gegebene Anonymität sollte das Listenexperiment eine höhere Schätzung des Anteils der Befragten erhalten als die direkte Befragung. Die Literatur liefert im Allgemeinen kein einheitliches Bild zur Funktionalität des Listenexperimentes. Außerdem zeigen sich in wenigen veröffentlichten Studien Probleme bei der Erhebung (Biemer et al., 2005). Häufig sind die Ursachen des Scheiterns nicht ersichtlich. Aus diesem Grund bestand das Ziel dieser Arbeit darin, geeignete Aussagen über Validität und Konsistenz des Listenexperimentes zu treffen und Faktoren zu finden, welche die inkonsistente Ergebnislage erklären. Die Dissertation besteht aus zwei Manuskripten, die jeweils die zentrale Forschungsfrage der Validität beinhalten. In Manuskript #1 konnte auf der Basis von drei verschiedenen Studien, inklusive zwei unterschiedlicher Erhebungsmodi und einer Panelanalyse die Inkonsistenz des Listenexperimentes demonstriert werden. In Studie 1 (N=229, repräsentativ) lieferte das Listenexperiment zunächst theoriekonforme Ergebnisse und wies eine höhere Schätzung als die direkte Befragung auf. Studie 2 (modifizierte Wiederholung von Studie 1, N=445, repräsentativ) konnte keine signifikante Mittelwertdifferenz innerhalb des Listenexperimentes feststellen und die direkte Befragung erzielte eine wesentlich höhere Zustimmungsrate als das Listenexperiment. Um die Validität zu prüfen, wie auch Faktoren zu finden, welche das Scheitern des Listenexperimentes bedingen, wurden in Studie 3 (N=1.569, nicht repräsentativ) drei unterschiedliche Listenexperimente miteinander verglichen. Die drei Listenexperimente lieferten ein weiteres Mal inkonsistente Ergebnisse. Mittels des dritten Listenexperimentes konnte ein Faktor gefunden werden, welcher die inkonsistenten Ergebnisse erklärt. Die wesentliche Frage war, ob der Anstieg im Mittelwert auf der höheren Itemanzahl in der Experimentalgruppe beruht. Hierfür wurden im Listenexperiment vier nicht sensitive Items gegen fünf nicht sensitive Items getestet. Die Analyse zeigte eine signifikante Differenz zwischen den beiden Bedingung mit ausschließlich nicht sensitiven Items. Dieses Ergebnis impliziert schwerwiegende Konsequenzen für die Validität des Listenexperimentes, da die höhere Anzahl an Items einen höheren Mittelwert provoziert und nicht allein der Inhalt des sensitiven Items für den Mittelwertanstieg verantwortlich ist. Weiterhin ergab eine Test-Retest Panelanalyse, dass die Befragten über die Zeit konstanter antworten, wenn sich in der Kontrollbedingung lediglich vier nicht sensitive Items befinden. Manuskript #2 war in der Lage weitere Faktoren aufzuzeigen, auf denen zum Teil die inkonsistenten Ergebnisse des Listenexperimentes beruhen. In Studie 1 wurde mittels kognitiver Interviews (N=7) demonstriert, dass das Listenexperiment überwiegend verstanden und das sensitive Item nur zum Teil von den Befragten wahrgenommen wurde. In Studie 2 (experimentelle Onlinestudie, N=1.878) wurde getestet, ob das sensitive Item das Zustimmungsverhalten zu den nicht sensitiven Items beeinflusst (Itemschwierigkeit). Es zeigte sich, dass die Zustimmungsrate der nicht sensitiven Items steigt, wenn das sensitive Item hinzugefügt wurde. Für das Listenexperiment bedeutet dies, dass der erhöhte Mittelwert in der Experimentalgruppe, durch die Verschiebung der Itemschwierigkeit und nicht durch die vermehrte Zustimmung zum sensitiven Item entsteht. In Studie 3 (Replikation Studie 2; N=948) wurden die Hypothesen in einem leicht variierten Design erneut getestet. Dabei konnte die erste Hypothese in einer Bedingung mit ausschließlich nicht sensitiven bestätigt werden. Desweiteren konnte bestätigt werden, dass die Angabe der Anzahl der Items, denen zugestimmt wird, im Allgemeinen verzerrt ist. Innerhalb des Listenexperimentes bedeutet eine solche Abweichung, dass die Werte in Experimental- und Kontrollbedingung mitunter durch die Angabe der Anzahl der Items verzerrt sind. Zusammenfassend deuten die Ergebnisse der zwei Manuskripte darauf hin, dass das Listenexperiment nicht in der Lage ist valide und konsistente Ergebnisse zu erzielen. Insgesamt wurden drei moderierende Faktoren gefunden, welche unabhängig voneinander oder gemeinsam auftreten.