SciDok

Eingang zum Volltext in SciDok

Hinweis zum Urheberrecht

Dissertation zugänglich unter
URN: urn:nbn:de:bsz:291-scidok-4385
URL: http://scidok.sulb.uni-saarland.de/volltexte/2005/438/


The role of visual scenes in spoken language comprehension : evidence from eye-tracking

Die Rolle visueller Szenen für das Hörverstehen

Knoeferle, Pia Stefanie

pdf-Format:
Dokument 1.pdf (26.300 KB)

Bookmark bei Connotea Bookmark bei del.icio.us
SWD-Schlagwörter: Hörverstehen , Kontextsensitive Sprache , Situativer Kontext , Ereignis , Ambiguität , Disambiguierung
Freie Schlagwörter (Deutsch): Abgebildete Ereignisse , Agens-Aktion-Patiens Ereignisse
Freie Schlagwörter (Englisch): spoken sentence comprehension , depicted events , incremental thematic role assignment , incremental integration of scene and sentence
CCS - Klassifikation: Thesaurus , APA - Psyc
Institut: Fachrichtung 4.7 - Allgemeine Linguistik
Fakultät: Fakultät 4 - Philosophische Fakultät II
DDC-Sachgruppe: Sprachwissenschaft, Linguistik
Dokumentart: Dissertation
Hauptberichter: Crocker, Matthew W. (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 18.02.2005
Erstellungsjahr: 2005
Publikationsdatum: 05.04.2005
Kurzfassung auf Englisch: The present thesis has investigated comprehension in situations in which language was related to the immediate scene. While current psycholinguistic theories have mainly been developed on the basis of insights from comprehension during reading of isolated sentences, we provide a description of how utterances are processed that relate to the immediate environment. The present research thus adds to existing theories of comprehension, making the first step towards a theory that can account for comprehension both when language is and when it is not about the immediate scene. We have suggested that, under the influence of Fodorian modularity, theoretical as well as experimental psycholinguistic research on on-line sentence comprehension has predominantly been concerned with comprehension during reading and with the effects of stored linguistic and world knowledge on comprehension. This was due to the assumption that core comprehension processes such as the structuring of an utterance could not be influenced on-line by ongoing non-linguistic processes such as visual perception. As a result, relatively little is known about the influence of scene perception on comprehension. One important study, however, by Tanenhaus et al. (1995) has demonstrated the rapid incremental influence of a visual referential context on the on-line structuring of an utterance. To extend our knowledge on how comprehension proceeds when language is related to the scene, we investigated two key issues. First, we explored which types of information in scenes have the potential to affect on-line comprehension processes such as structural disambiguation and incremental thematic role assignment. Second, we examined the nature of the interplay between visual perception and on-line utterance comprehension. Our findings show that perceived event relations between entities in the immediate visual context allow the rapid recovery of mental representations such as thematic roles in the on-line comprehension of spoken sentences, and actively influence incremental resolution of initial structural and role ambiguity in the linguistic input. The influence of scene information on comprehension was determined by a closely temporally coordinated interplay between visual perception and comprehension, in which both scene-driven and utterance-driven processes can take the lead. Furthermore, when the verb in the utterance did not uniquely identify either a depicted or another, stereotypical agent in the scene people had a clear preference for relying on role relations available from the depicted action performed by an agent in the scene rather than on their stereotypical thematic role knowledge. Our findings can be motivated by insights from language acquisition. During acquisition, children explore their environment and acquire new information from entities and events in the immediate scene. When they hear an adult describe that a girl is kicking a ball, and they do not know the verb "kick", perception of the event may allow them to acquire the conceptual meaning of the kicking-action, and to further infer that the entity doing the kicking is called "girl". Crucially, such perceptual exploration of the immediate scene for the acquisition of new concepts is utterance-mediated. The sentence directs attention to entities or events that then in turn can inform language acquisition. Taken together, these findings suggest that the important role of the coordinated interplay between visual perception and comprehension in language acquisition has fundamentally shaped the mechanisms of language comprehension.
Kurzfassung auf Deutsch: Die vorliegende Doktorarbeit hat Sprachverstehen in Situationen erforscht, in denen sich Sprache auf die unmittelbare Umgebung bezieht. Während die meisten psycholinguistischen Theorien anhand von Befunden aus Studien entwickelt wurden, die das Leseverständnis untersuchten, ermöglichen unsere Forschungsergebnisse es, Sprachverstehen zu beschreiben, wenn sich die zu verstehenden Sätze auf die unmittelbare Umgebung beziehen. Unsere Forschung bereichert somit bestehende Theorien, die aus der Untersuchung des Leseverständnisses hervorgingen, und macht einen ersten Schritt in Richtung einer psycholinguistischen Theorie, die sowohl für das Sprachverstehen während des Lesens, als auch für das Verstehen gesprochener Sprache die sich auf die unmittelbare Umgebung bezieht, Gültigkeit besitzt. Wir haben dargelegt, dass theoretische als auch experimentelle psycholinguistische Forschung über on-line Sprachverstehen sich in erster Linie mit Sprachverstehen während des Lesens befasste, und die Effekte von linguistischem und Weltwissen auf das Sprachverstehen untersuchte. Diese einseitige Ausrichtung der Forschung kam durch die Annahme zustande, dass zentrale Verstehensprozesse wie zum Beispiel die Strukturierung einer Äußerung nicht on-line durch gleichzeitig ablaufende Prozesse wie zum Beispiel visuelle Perzeption beeinflusst werden können. Infolgedessen ist nur verhältnismäßig wenig über den Einfluss visueller Wahrnehmung auf Sprachverstehen bekannt. Eine wichtige Studie, durchgeführt von Tanenhaus et al. (1995), hat allerdings gezeigt, dass ein visueller referentieller Kontext einen äußerst raschen Einfluss auf die inkrementelle Strukturierung einer Äußerung haben kann. Zur Erweiterung unseres Wissens bezüglich der Sprachverstehensprozesse, die ablaufen wenn wir Sprache verstehen, die sich auf die unmittelbare Umgebung bezieht, haben wir zwei grundlegende Forschungsfragen untersucht. Erstens haben wir erforscht, welche Arten von Information in visuellen Szenen das Potential haben, on-line Sprachverarbeitungsprozesse wie zum Beispiel die Strukturierung einer Äußerung oder die inkrementelle Zuweisung thematischer Rollen zu beeinflussen. Zweitens haben wir genauer ermittelt, welcher Art das Zusammenspiel zwischen visueller Perzeption und dem inkrementellen Verstehen einer Äußerung ist. Unsere Befunde zeigen, dass wahrgenommene Handlungsbezüge und Ereignisse zwischen Personen im unmittelbaren visuellen Umfeld es ermöglichen, rasch mentale Repräsentationen thematischer Rollen zu bilden. Solche mentalen Strukturen thematischer Relationen ermöglichten sodann aktiv die inkrementelle Zuweisung von thematischen Rollen und die Strukturierung einer anfänglich strukturell ambigen Äußerung. Der Einfluss von Bildinformation auf die Sprachverarbeitung wurde durch ein zeitlich genau koordiniertes Zusammenspiel zwischen visueller Perzeption und Sprachverstehen bestimmt, wobei sowohl die sich entfaltende Äußerung als auch die wahrgenommene Szene die Führungsrolle in diesem Zusammenspiel übernehmen kann. Ferner zeigten unsere Befunde, dass - wenn die Äußerung nicht eindeutig entweder stereotypes thematisches Rollenwissen oder eine abgebildeten Handlung identifizierte, sich das Sprachsystem vorzugsweise auf dargestellte Ereignisse in der thematischen Rollenvergabe verließ. Unsere Befunde können unter Zuhilfenahme von Erkenntnissen der Spracherwerbsforschung erklärt werden. Während des Spracherwerbs erforschen Kinder ihre Umgebung und eignen sich höchstwahrscheinlich Wissen über die Dinge und Ereignisse in ihrer unmittelbaren Umgebung an. Wenn Kinder zum Beispiel einen Erwachsenen sprechen hören, der gerade ein Ereignis beschreibt, in dem ein Mädchen einen Ball schießt, und sie das Verb "schießen" nicht kennen, so kann die Wahrnehmung des Ereignisses es ihnen ermöglichen, die konzeptuelle Bedeutung der Schieß-Handlung zu begreifen. Ferner ermöglicht die Wahrnehmung der Schieß-Handlung zu schlussfolgern, dass das Objekt, welches den Schuss ausführt, "Mädchen" genannt wird. Diese Ausführungen machen deutlich, dass das Sprachsystem darauf ausgerichtet ist neue Information aus der Umgebung zu erwerben, statt sich nur auf erworbenes Wissen zu verlassen. Die Wahrnehmung der unmittelbaren Umgebung ist dabei entscheidend durch sprachliche Äußerungen, die sich auf die Umgebung beziehen, beeinflusst. Ein Satz vermag Aufmerksamkeit auf Dinge und Ereignisse in der Umgebung zu lenken. Information über Dinge und Ereignisse im visuellen Kontext steht dann zur Verfügung um das Sprachverstehen inkrementell zu beeinflussen. Basierend auf unseren Ergebnissen sind wir davon überzeugt, dass die wichtige Rolle, die das koordinierte Zusammenspiel von visueller Perzeption und Sprachverstehen im Spracherwerb einnimmt, die Architektur des Sprachsystems und die Mechanismen des Sprachverstehens längerfristig entscheidend beeinflusst hat.

Home | Impressum | Über SciDok | Policy | Kontakt | Datenschutzerklärung | English