The comprehension benefit of noun-contingent eye movements in the visual world

Abstract

When we listen to someone talking, we try, at any given point in time, to make the connection between what is being said and the real world. Language processing incorporates information from various different sources and modalities in order to create an immediate and adequate representation of the conveyed meaning. Language processing also affects the information processing in other modalities, specifically visual perception: looks to entities in one’s visual environment while listening to spoken utterances closely mirror one’s comprehension of referring expressions in the speech stream. This behavior - noun-contingent eye movements - has been observed consistently in psycholinguistic research and has been used as a window into the conceptual layer of the language comprehension process, shedding light onto an extremely wide range of language processing phenomena. The phenomenon of noun-contingent eye movements itself is not yet fully understood though. Drawing back on concepts from spatial indexing, lexical access and priming we motivate the search for and investigation of a beneficial effect of noun-contingent referent looks on the noun’s speed of comprehension. This thesis utilizes a novel experimental methodology which makes it possible to simultaneously observe and manipulate participants’ inclination to make noun-contingent eye movements as well as record the speed of comprehension for the spoken noun that would trigger these eye movements. This is necessary if one wants to investigate a potential effect of eye movements on noun comprehension. The methodology is a combination of a classical visual-world setting, where participants listen to single spoken nouns and inspect an array of objects that may be related to the noun, and of a lexical decision task which is performed on that spoken noun and assesses the speed of its recognition. With the experiments presented in this thesis we manage to provide reliable empirical evidence for a beneficial effect of noun-contingent referent looks on the speed of noun comprehension. It is also shown that this benefit arises from the perception of the referent’s visual image (as opposed to the activation of internal referent representations or avoidance of interference from unrelated visual images) during the comprehension of the spoken noun (as opposed to a benefit from the initial recognition and encoding of the referent object). Finally, it is proposed that a spatial-indexing mechanism plays a role in mediating the strength of the effect that the visual image provided by a noun-contingent eye movement can have on the comprehension of the spoken noun.

Die Verarbeitung von sprachlichen und bildlichen Reizen ist beim Menschen eng miteinander verwoben. Wer gleichzeitig gesprochener Sprache zuhört und dazu passende Dinge in seiner Umgebung sieht, wird häufig seinen Blick davon steuern lassen, welche Worte er gerade versteht. Das heißt beispielsweise, dass man, während man eine Objektbezeichnung hört, seinen Blick auf das benannte Objekt richtet. In einer Situation, in der auf ein Objekt gezeigt wird ("Schau mal, der Apfel!"), ist die Motivation für solch ein Verhalten intuitiv verständlich. Aber auch in Situationen, in denen sich gesprochene Äußerungen nicht unmittelbar auf die Umgebung beziehen, blicken Zuhörer verlässlich auf Objekte, die zu den gerade geäußerten Worten passen. Solche Blicke sind nicht unmittelbar pragmatisch motiviert, möglicherweise aber dadurch, dass das Sprachverstehen von diesem Blickverhalten profitiert. Dieser Möglichkeit gehen wir in der vorliegenden Arbeit auf den Grund. Hierzu nutzen wir eine neuartige Kombination von Forschungsmethoden, mit der man gleichzeitig Einblicke sowohl in das Sprachverstehen als auch in die visuelle Verarbeitung gewinnt. Mit dem ’Visual World’-Paradigma werden in der psycholinguistischen Forschung Erkenntnisse über zahlreiche Aspekte der Sprachverarbeitung gewonnen: In Studien zum Sprachverstehen wird der Blick eines Zuhörers zu einem Objekt, das in einer Beziehung zu einem zeitnah geäußerten Wort steht, als Zeichen dafür verstanden, dass der Zuhörer dem Wort (wenigstens zeitweise) die Bedeutung dieses Objekts zuordnet. Indem man nun mittels Eyetracking beobachtet, welche Objekte in Ihrer Umgebung Menschen anschauen, während sie gesprochene Sprache verstehen, erfährt man in einer hohen zeitlichen Auflösung, wie gesprochene Äußerungen interpretiert werden. Mit Studien dieser Art werden Blickbewegungen als Konsequenz der Sprachverarbeitung genutzt; man kann also erfahren, wie das Verstehen gesprochener Sprache die Blickbewegungen steuert. Die zweite Seite unserer zentralen Forschungsfrage ist die nach dem Einfluss der visuellen auf die sprachliche Verarbeitung. Wie wird das Verstehen eines Wortes davon beeinflusst, was man gerade sieht? Solchen Fragestellungen widmen sich Priming- und Lexical-Decision-Studien. Im Priming-Paradigma wird mit verschiedenartigen Aufgaben erforscht, wie sich die Verarbeitung eines Konzept (des Targets) durch den Kontext eines weiteren Konzepts (des Primes) verändert: Indem man Probanden beispielsweise zusätzlich zu einem zu benennenden Objekt ein weiteres Bild zeigt, das in einer engen Beziehung zu dem zu benennenden Objekt steht, gewinnt man Aufschluss darüber, wie ähnliche bildliche Informationen den Benennensprozess beeinflussen. Die lexikalische Entscheidungsaufgabe (Lexical Decision) besteht darin, zu einer kurzen Laut-oder Buchstabenfolge zu entscheiden, ob es sich dabei um ein echtes Wort handelt. Auf unsere Fragestellung angewandt ermöglichen es diese Methoden, herauszufinden, wie Blicke zu verschiedenen Arten von Objekten (Primes) das Verstehen eines gesprochenen Wortes (Targets), erfasst durch die lexikalische Entscheidungsaufgabe, beeinflussen. Wir finden mit dieser Arbeit in mehreren Experimenten Belege dafür, dass Blickbewegungen zu verwandten Objekten beim Verstehen einer Objektbezeichnung eine Auswirkung auf die Geschwindigkeit des Sprachverstehens haben. Schaut man während des Verstehens eines Wortes auf seinen Referenten, kann das den Verstehensprozess beschleunigen. Dabei profitiert man direkt davon, zeitgleich mit dem Verstehensprozess passende visuelle Informationen aufzunehmen. Vermutlich kommt in diesem Verhältnis den 'Spatial Indices' eine regulierende Rolle zu. Im Rahmen von Theorien über Spatial Indexing und External Memory (Spivey, Richardson, & Fitneva, 2004) wird angenommen, dass man auf Objekte in seiner visuellen Umgebung jederzeit aufgabenbasiert und effektiv zugreift, indem man sie über Indizes in der Umwelt verortet und dem jeweiligen Aufgabenkontext entsprechend intern benennt. Auch Blickbewegungen während des Sprachverstehens können so erklärt werden. Wenn das beginnende Verstehen eines gesprochenen Wortes zu der Benennung vorhandener Indizes passt, werden diese aktiviert, mit ihnen die assoziierten Positionen im Raum, und dadurch werden Blicke zu diesen Positionen ausgelöst. Als Erweiterung dieser bekannten Theorie findet die vorliegende Arbeit Hinweise darauf, dass ein visuelles Objekt nur dann mit dem Verstehen eines gesprochenen Wortes interagieren kann, wenn die Fixation des Objekts durch die Aktivierung eines zum gesprochenen Wort passenden Indizes ausgelöst wurde.