One learns by experience : a life-span view on learning and error processing

Abstract

The present thesis investigated age differences in reinforcement learning and error processing across the lifespan using an electrophysiological approach. The theoretical framework of this research is based on the so-called dopamine hypothesis of aging, which assumes that age-related impairments in learning and error processing are the result of deficits in the function of the midbrain dopamine system in older adults (Nieuwenhuis et al., 2002). This account is an extension of a recent theory, which proposes that the ERP correlate of error processing, the error-related negativity (ERN), reflects negative reinforcement learning signals from the dopamine system (Holroyd & Coles 2002). The empirical part of the thesis consists of three experiments. In the first experiment age-related impairments in learning and error processing were examined. The focus of this experiment was to investigate how performance differences between younger and older adults affect age differences in the amplitude of the ERN. The second experiment examined developmental differences in learning and error processing. The purpose of this experiment was to investigate whether children differ from younger adults in using internal and external error information for learning. The third experiment was based on findings from the first experiment and focused on the question whether older adults differ from younger adults in learning from positive or negative feedback. In the first two experiments a probabilistic learning task was applied, in which the validity of performance feedback was manipulated in thee validity conditions (100%, 80%, and 50% validity), in order make more or less learning possible. To equate performance levels between age groups a response deadline procedure was applied. The idea of this procedure was to control for general age differences in response latencies, in order to give children and older adults more opportunity to learn. The learning task in the third experiment involved two learning conditions, in which participants could either learn to choose responses that lead to positive feedback, or learn to avoid responses that lead to negative feedback. The behavioral results of the first experiment revealed significant age differences in overall performance for the 80% validity condition, whereas no age differences in the 100% condition and the learning rates were obtained. This points to the view that age-related performance impairments are restricted to situations in which invalid feedback interferes with learning. In contrast to recent results (Nieuwenhuis et al., 2002), the present findings do not provide evidence for age differences in the amplitude of the ERN, suggesting that the ERN is performance- rather than age-sensitive. However, the feedback-locked data showed a pronounced reduction of the negativity to external error feedback (feedback-related negativity, FRN) for older adults, indicating that they are less sensitive to negative feedback during learning. Furthermore, the present results showed that learning-related changes were much more pronounced in a positivity to correct responses (correct-related positivity, CRP), compared to the ERN. This result shows that positive, as well as negative learning signals contribute to learning and are reflected in the ERPs to correct and incorrect responses. The second experiment revealed similar behavioral findings as the first experiment, indicating that children are impaired in performance when invalid feedback occurs during learning. Also similar to the first experiment, no age differences in the ERN were obtained, further supporting the view that the ERN is performance- rather than age-sensitive. Moreover, the response-locked data revealed a significant correlation between the amplitude of the CRP and overall performance, which is consistent with the idea that learning-related changes are most pronounced in the CRP. The feedback-locked data showed a larger FRN to external error feedback for children compared to adults, suggesting that children are more sensitive to external error information during learning. The third experiment revealed that for younger adults the amplitude of the ERN varied as a function of individual differences in learning tendencies. That is, individuals who learned more from negative than positive feedback showed a larger sensitivity to their errors, compared to individuals that learned more positive feedback (see Frank, Woroch, & Curran, 2005). However, although older adults showed an even larger tendency to avoid negative feedback, this learning bias was not associated with a larger ERN. Moreover, older adults showed pronounced learning impairments. The analysis of the response-locked ERP data revealed that these impairments were due to the fact that older adults had problems in building up relational representations of feedback value. Taken together, the results of the present research do not suggest that children and older adults are generally impaired in reinforcement learning. However, both age groups showed performance impairments when feedback was invalid and interfered with learning, or when feedback was ambiguous and participants had to build up relational representations of feedback value. Furthermore, the present results point to an age-related asymmetry in the processing of external error information across the lifespan. Children seem to be more sensitive to negative feedback, whereas older adults show a lower sensitivity to external error feedback during learning.

Ziel der vorliegenden Arbeit war die Untersuchung von Altersunterschieden im Verstärkungslernen und in der Fehlerverarbeitung über die Lebensspanne anhand eines elektrophysiologischen Ansatzes. Der theoretische Hintergrund der Arbeit basiert auf der so genannten Dopaminhypothese des Alterns, die davon ausgeht, dass altersbedingte Veränderungen beim Lernen und in der Fehlerverarbeitung aus Beeinträchtigungen im mesencephalen Dopaminsystem resultieren (Nieuwenhuis et al., 2002). Dieser Ansatz ist eine Erweiterung der Theorie von Holroyd und Coles (2002), die auf der Idee basiert, dass das EKP Korrelat der Fehlerverarbeitung, die "error-related negativity" (ERN), negative Verstärkungslernsignale aus dem Dopaminsystem widerspiegelt. Der empirische Teil der Arbeit besteht aus drei Experimenten. Ziel des ersten Experiments war die Untersuchung von Altersunterschieden im Lernen und in der Fehlerverarbeitung. Hier ging es insbesondere darum zu untersuchen, wie Performanzunterschiede zwischen jüngeren und älteren Erwachsenen Altersunterschiede in der Amplitude der ERN beeinflussen. Im zweiten Experiment lag der Fokus auf Entwicklungsunterschieden beim Lernen und in der Fehlerverarbeitung. Ziel dieses Experiments war es zu untersuchen, ob sich Kinder und Erwachsenen darin unterscheiden wie sie interne und externe Fehlerinformation zum Lernen nutzen. Das dritte Experiment baut auf Befunden des ersten Experiments auf und untersuchte die Frage ob ältere Erwachsene sich von jüngeren Erwachsene im Lernen aus positiver oder negativer Rückmeldung unterscheiden. In den ersten zwei Experimenten wurde eine Lernaufgabe verwendet in der die Validität der Rückmeldung in drei Validitätsbedingungen (100%, 80% und 50% valide) variiert wurde, um mehr oder weniger Lernen zu ermöglichen. Um Performanzunterschiede zwischen Altersgruppen zu kontrollieren wurden die Reaktionszeitgrenzen individuell angepasst. Ziel dieses Vorgehens war es generelle Altersunterschiede in den Reaktionszeiten zu kontrollieren, um den Kindern und älteren Erwachsenen mehr Möglichkeit zum Lernen zu geben. Die Lernaufgabe im dritten Experiment bestand aus zwei Lernbedingungen, in denen entweder aus positiver oder aus negativer Rückmeldung gelernt werden konnte. In den Verhaltensdaten des ersten Experimentes zeigten sich signifikante Altersunterschiede in der Performanz in der 80% valide Bedingung, also dann wenn die Rückmeldung partiell invalide ist und mit dem Lernen interferiert. Demgegenüber fanden sich keine Altersunterschiede in der 100% Bedingung, sowie in den Lernfunktionen. Im Gegensatz zu früheren Befunden (Nieuwenhuis et al., 2002) ergaben sich keine Altersunterschiede in der Amplitude der ERN, was darauf hindeutet, dass die ERN performanz- und nicht altersabhängig ist. Allerdings zeigte sich eine starke altersbedingte Reduktion der ERN auf negative Rückmeldungen (feedback-related negativity, FRN). Dieser Befund spricht für eine geringere Sensitivität älterer Erwachsener für externer Fehlerinformation während des Lernens. Darüber hinaus waren die lernbezogene Veränderungen in einer Positivierung für richtige Reaktionen (correct-related positivity, CRP) deutlich ausgeprägter als in der ERN. Dieses Ergebnis zeigt das positive und negative Lernsignale zum Lernen beitragen und sich in den reaktionsbezogenen EKPs widerspiegeln. Im zweiten Experiment ergaben sich in den Verhaltensdaten ähnliche Befunde wie im ersten Experiment, dass heißt, die Kinder zeigten dann Beeinträchtigungen in der Performanz wenn invalide Information mit dem Lernen interferierte. Auch hinsichtlich der ERN fanden sich ähnliche Befunde wie im ersten Experiment, das heißt die Daten unterstützen die Sicht, dass die ERN performanz- und nicht alterssensitiv ist. Darüber hinaus fanden sich signifikante Korrelationen zwischen der Amplitude der CRP und der Performanz, was für die Idee spricht, dass sich lernbedingte Veränderungen insbesondere in den EKPs für richtige Antworten widerspiegeln. In der Feedback ERN (FRN) zeigten sich für die Kinder größere Amplituden als für die Erwachsenen, was darauf hindeutet das Kinder sensitiver für externe Fehlerinformation beim Lernen sind. Die Ergebnisse des dritten Experiments zeigten, dass die Amplitude der ERN bei den jüngeren Erwachsenen als Funktion individueller Unterschiede in Lerntendenzen variiert. Das heißt, dass Individuen die mehr aus negativer Rückmeldung lernen sensitiver für ihre Fehler zu sein scheinen, als Individuen die mehr aus positiver Rückmeldung lernen (siehe auch Frank, Woroch, & Curran, 2005). Obwohl ältere Erwachsene im Vergleich zu jüngeren Erwachsenen eine noch stärkere Tendenz zeigten aus negativer Rückmeldung zu lernen, war diese Lerntendenz nicht mit einer größeren ERN assoziiert. Darüber hinaus fanden sich für die älteren Erwachsenen Beeinträchtigungen beim Lernen. Die Analyse der reaktionsbezogenen EKPs ergab, dass diese Beeinträchtigungen darauf zurück zu führen sind, dass die älteren Erwachsenen Probleme hatten relationale Repräsentationen der Rückmeldungen aufzubauen. Zusammengenommen sprechen diese Befunde gegen generelle Beeinträchtigungen von Kindern und älteren Erwachsenen beim Verstärkungslernen. Allerdings finden sich Altersunterschiede in der Performanz wenn invalide Information mit dem Lernen interferiert, oder wenn eine relationale Repräsentation der Rückmeldungsinformation aufgebaut werden muss. Darüber hinaus zeigt die vorliegende Arbeit eine Asymmetrie in der Verarbeitung externer Fehlerinformation über die Lebensspanne. Während Kinder sensitiver für externe Fehlerinformation sind, zeigen ältere Erwachsene eine geringere Sensitivität für negative Rückmeldungen während des Lernens.