Publikationsserver der Universitätsbibliothek Marburg

Titel: The electrophysiological reality of parafoveal processing: On the validity of language-related ERPs in natural reading
Autor: Kretzschmar, Franziska
Weitere Beteiligte: Schlesewsky, Matthias (Prof. Dr.)
Erscheinungsjahr: 2011
URI: https://archiv.ub.uni-marburg.de/diss/z2011/0602
DOI: https://doi.org/10.17192/z2011.0602
URN: urn:nbn:de:hebis:04-z2011-06023
DDC: Sprache, Linguistik
Titel(trans.): Die elektrophysiologische Realität parafovealer Verarbeitung: Zur Validität von sprachrelatierten EKPs während des natürlichen Lesens

Dokument

Schlagwörter:
EKPs, Neurolinguistik, P300, Leseverstehen, N400, language processing, P300, Ereigniskorreliertes Potenzial, eye movements, Antonyme, Satzverstehen, Psycholinguistik, ERPs, Sprachverarbeitung <Psycholinguistik>, N400, Blickbewegung
Referenziert von:
Referenziert von:
Referenziert von:

Summary:
A central question in psycholinguistics is how the human brain processes language in real time. To answer this question, the differences between auditory and visual processing have to be considered. The present dissertation examines the extent to which event-related potentials (ERPs) in the human electroencephalogram (EEG) interact with different modes of presentation during sentence comprehension. Besides the two classical modalities, auditory and rapid serial visual presentation (RSVP), the monitoring of readers’ eye movements was chosen as a new mode of presentation. Here, the temporal paradox between neuronal ERP effects and behavioral effects in the eye movement record were of particular interest. Specifically, by concurrently measuring ERPs and eye movements in natural reading, the dissertation aimed to shed light on the counterintuitive fact that difficulties in sentence comprehension arise earlier in eye movement measures than in the corresponding neuronal ERP effects. In contrast to RSVP and the auditory modality, reading offers a parafoveal preview of upcoming words (Rayner 1998), which enables the brain to process information of words before these are fixated for the first time (in foveal vision). When the word Gegenteil in example (1) below is fixated and processed, the brain concurrently processes some information of the upcoming parafoveal words von and weiß. (1) Schwarz ist das Gegenteil von weiß. (2) Schwarz […] blau. (3) Schwarz […] nett. The parafoveal preview mostly provides orthographic (word form) information, while semantic information is not conveyed (Inhoff & Starr 2004; White 2008). Whereas word form and lexical meaning are processed simultaneously with RSVP and auditory presentation, the parafoveal preview in natural reading allows for a temporal decoupling such that word forms are processed before meaning. This is one reason for the faster information uptake in reading. The present dissertation is the first to systematically investigate the influence of the parafoveal preview in sentence processing. Participants read sentences such as in (1)-(3), in which two adjectives were either antonyms (1), semantically related non-antonyms (2), or semantically unrelated non-antonyms (3). ERPs were computed for the last fixation before the target word (the sentence-final word in 1-3), which was assumed to capture parafoveal processing, and for the first fixation on the target, that should reflect foveal processing. The results were compared to two experiments using identical stimuli with auditory and RSVP presentation, and the parafoveal preview clearly led to different ERP results. While the RSVP and auditory presentations replicated the finding of a P300 to the second antonym in (1) (Kutas & Iragui 1998; Roehm et al. 2007), there was no P300 in response to antonyms at any fixation position in natural reading. However, the dissociation of parafoveal and foveal processing in reading also made it possible to disentangle different processes underlying the N400. There was a reduced parafoveal N400 for (1,2) compared with (3), which could be attributed to the preactivation of the word forms of the expected antonyms and of semantically related non-antonyms. In foveal vision, all non-antonyms (2,3) showed an enhanced N400 compared with (1) because they were unexpected and implausible in the sentence context. This dissociation between the preactivation of a word-form and the contextual fit of a word’s meaning is impossible with the other two modes of presentation, because orthographic and semantic information become available almost at the same time and are thus processed simultaneously. Furthermore, the parafoveal N400 effect was not accompanied by changes in the duration of the corresponding fixation, whereas the foveal N400 was. Similarly, with the concurrent measurement of ERPs and eye movements, the temporal paradox described above remained, as effects in the eye movement record preceded the neuronal ERP effects. Further support for these central findings came from two additional experiments that investigated different stimuli with concurrent ERP-eye tracking measures. Altogether, the experiments revealed that the previous findings on the language-related N400 can be replicated with natural reading, but they can also be differentiated qualitatively by virtue of the characteristics of natural reading. Although the behavioral and neuronal effects mirrored one another, not every neuronal effect necessarily translates into a behavioral output. Finally, even concurrent ERP-eye tracking measures cannot resolve the temporal paradox.

Zusammenfassung:
Die Frage, wie das Gehirn Sprache in Echtzeit verarbeitet, ist zentral in der Psycholinguistik. Zur Beantwortung dieser Frage müssen die Unterschiede zwischen der auditiven und visuellen Sprachverarbeitung berücksichtigt werden. Die vorliegende Dissertation untersucht, inwieweit Ereignis-korrelierte Potentiale (EKPs) im menschlichen Elektroenzephalogram (EEG) während des Satzverstehens mit unterschiedlichen Präsentationsmethoden interagieren. Hierfür wurden die auditive Präsentationsart und die rapid serial visual presentation (RSVP; schnelle serielle Einzelwortpräsentation in der visuellen Modalität) um die Aufzeichnung von Blickbewegungen (eye tracking) beim Lesen ergänzt. Insbesondere ging es dabei um das bekannte zeitliche Paradox, dass Blickbewegungseffekte der Sprachverarbeitung deutlich früher auftreten als entsprechende EKP-Effekte. Die Dissertation untersuchte dieses zeitliche Paradox, indem EKPs während des natürlichen Lesens ganzer Sätze gemessen wurden. Im Gegensatz zur RSVP- und auditiven Präsentation erlaubt das natürliche Lesen eine parafoveale Vorschau (Rayner 1998). Dadurch verarbeitet das Gehirn bereits Informationen über Wörter, bevor die Augen diese zum ersten Mal direkt fixieren (foveale Fixation). Wenn in Beispielsatz (1) das Wort Gegenteil fixiert wird, verarbeitet das Gehirn auch gleichzeitig Informationen über die noch nicht fixierten Wörter von und weiß. (1) Schwarz ist das Gegenteil von weiß. (2) Schwarz [...] blau. (3) Schwarz [...] nett. Solche Vorschau-Informationen scheinen vor allem orthographische Wortforminformationen, weniger aber Informationen zur Wortbedeutung zu enthalten (Starr & Inhoff 2004; White 2008). Während bei auditiver und durch RSVP induzierter visueller Wahrnehmung Wortform und -bedeutung nahezu zeitgleich verarbeitet werden, erlaubt die parafoveale Vorschau beim natürlichen Lesen, dass Wortformen zeitlich vor der Wortbedeutung erkannt werden können. Damit geht auch die schnellere Informationsverarbeitung beim Lesen einher. Durch die Verknüpfung der Blickbewegungs- mit der EEG-Methode konnte in der vorliegenden Arbeit erstmals der Einfluss der parafovealen Vorschau auf EKP-Korrelate des Satzverstehens systematisch untersucht werden. Die ProbandInnen lasen Sätze wie (1)-(3), in denen zwei Adjektive entweder ein Antonympaar bildeten (1), keine Antonyme, aber semantisch relatiert waren (2) oder in denen die Adjektive kein Antonympaar und auch nicht semantisch relatiert waren (3). Die EKPs wurden ermittelt für die letzte Fixation vor dem Zielwort, die die parafoveale Verarbeitung desselben anzeigt, und die erste direkte Fixation auf dem Zielwort (satzfinal in 1-3). Anschließend wurden zwei Vergleichsexperimente mit auditiver und RSVP-Präsentation durchgeführt. Die parafoveale Vorschau führte beim natürlichen Lesen zu anderen EKP-Ergebnissen im Vergleich zur auditiven und RSVP-Methode. In letzteren entstand die für das zweite Antonymwort typische P300-Komponente (Kutas & Iragui 1998; Roehm et al. 2007), die jedoch beim natürlichen Lesen an keiner Fixationsposition repliziert werden konnte. Andererseits ermöglichte es hier die zeitliche Trennung von parafovealer und fovealer Verarbeitung, einzelne Teilprozesse der Worterkennung genauer als mit den anderen Präsentationsarten zu bestimmen. Z.B. zeigte die letzte Fixation vor dem kritischen Wort eine reduzierte N400-Komponente für Antonyme (1) und relatierte Nicht-Antonyme (2) (im Vergleich zu 3), was auf einen parafovealen Vorteil aufgrund einer automatischen Voraktivierung von erwarteten und zu ihnen relatierten Wortformen zurückgeht. Mit der ersten Fixation (d.h. foveal) erzeugten alle Nicht-Antonyme (2,3) eine größere N400 (im Vergleich zu 1), da sie im Satzkontext unerwartet und implausibel sind. Diese Unterscheidung zwischen Voraktivierung von Wortformen und der kontextuellen Passung von Wortbedeutungen ist in den anderen beiden Präsentationsarten durch die zeitgleiche Verarbeitung von Wortform und -bedeutung nicht möglich. Schließlich fiel auf, dass der parafoveale N400-Effekt im Gegensatz zum fovealen N400-Effekt nicht durch Änderungen der Fixationsdauer begleitet wurde und dass auch in der kombinierten EEG-Blickbewegungsmessung die Blickbewegungseffekte zeitlich vor den EKP-Effekten auftraten. Diese zentralen Befunde konnten in zwei weiteren kombinierten EEG-Blickbewegungsexperimenten weiter gestützt werden. Zusammenfassend zeigen die Ergebnisse aller Experimente Folgendes: Bisherige Befunde zur sprachlich bedingten N400-Komponente aus auditiven und RSVP-Studien lassen sich replizieren, aber durch Eigenheiten der Lesemodalität auch qualitativ differenzieren. Trotzdem sich die gemessenen behavioralen und neuronalen Effekte qualitativ ähneln, muss sich nicht jeder neuronale Effekt in den Blickbewegungen niederschlagen. Schließlich konnte auch die kombinierte EEG-Blickbewegungsmethode das beschriebene zeitliche Paradox nicht auflösen.


* Das Dokument ist im Internet frei zugänglich - Hinweise zu den Nutzungsrechten