On fairness, invariance and memorization in machine decision and deep learning algorithms

Abstract

As learning algorithms become more capable, they are used to tackle an increasingly large spectrum of tasks. Their applications range from understanding images, speech and natural language to making socially impactful decisions, such as about people’s eligibility for loans and jobs. Therefore, it is important to better understand both the consequences of algorithmic decisions and the mechanisms by which algorithms arrive at their outputs. Of particular interest in this regard are fairness when algorithmic decisions impact people’s lives and the behavior of deep learning algorithms, the most powerful but also opaque type of learning algorithm. To this end, this thesis makes two contributions: First, we study fairness in algorithmic decision-making. At a conceptual level, we introduce a metric for measuring unfairness in algorithmic decisions based on inequality indices from the economics literature. We show that this metric can be used to decompose the overall unfairness for a given set of users into between- and within-subgroup components and highlight potential tradeoffs between them, as well as between fairness and accuracy. At an empirical level, we demonstrate the necessity for studying fairness in algorithmically controlled systems by exposing the potential for discrimination that is enabled by Facebook’s advertising platform. In this context, we demonstrate how advertisers can target ads to exclude users belonging to protected sensitive groups, a practice that is illegal in domains such as housing, employment and finance, and highlight the necessity for better mitigation methods. The second contribution of this thesis is aimed at better understanding the mechanisms governing the behavior of deep learning algorithms. First, we study the role that invariance plays in learning useful representations. We show that the set of invariances possessed by representations is of critical importance in determining whether they are useful for downstream tasks, more important than many other factors commonly considered to determine transfer performance. Second, we investigate memorization in large language models, which have recently become very popular. By training models to memorize random strings, we uncover a rich and surprising set of dynamics during the memorization process. We find that models undergo two phases during memorization, that strings with lower entropy are harder to memorize, that the memorization dynamics evolve during repeated memorization and that models can recall tokens in random strings with only a very restricted amount of information.

Lernalgorithmen werden immer leistungsfähiger und damit zunehmend zur Bewältigung eines immer breiteren Aufgabenspektrums eingesetzt. Ihre Anwendungen reichen vom Verstehen von Bildern und Sprache bis hin zum Treffen von Entscheidungen, die das Leben von Menschen direkt beeinflussen, wie z.B. über die Vergabe von Krediten und Arbeitsplätzen. Daher ist es wichtig, sowohl die Konsequenzen algorithmischer Entscheidungen als auch die Mechanismen, durch die Algorithmen zu ihren Ergebnissen gelangen, besser zu verstehen. Besonders relevant in diesem Zusammenhang sind ein besseres Verständnis der Fairness algorithmischer Entscheidungen, sowie des Verhaltens von Deep-Learning-Algorithmen, der leistungsfähigsten, aber auch undurchsichtigsten Art von Lernalgorithmen. Zu diesem Zweck leistet diese Arbeit zwei Beiträge: Zum Ersten untersuchen wir Fairness in algorithmischen Entscheidungen. Auf einer konzeptionellen Ebene führen wir eine Metrik zur Erfassung von Unfairness in algorithmischen Entscheidungen ein, die auf Ungleichverteilungskoeffizienten aus dem Bereich der Ökonomie basiert. Wir zeigen, wie diese Metrik verwendet werden kann, um die Gesamtheit der Unfairness in einer Gruppe von Nutzern in zwei Komponenten zu zerlegen: Unfairness zwischen verschiedenen Subgruppen und Unfairness innerhalb der Subgruppen. Diese beiden Unfairness-Komponenten können miteinander im Konflikt stehen, und auch im Konflikt zur Genauigkeit des Algorithmus. Auf einer praktischen Ebene untersuchen wir das Potenzial zur Diskriminierung, das die Werbeplattform von Facebook bietet. Wir zeigen, wie Werbetreibende Anzeigen schalten können, die Nutzer ausschließen, die zu geschützten, sensiblen Gruppen gehören, eine Praxis, die beim Bewerben von Wohnungen, Arbeitsplätzen und Finanzprodukten illegal ist. Unsere Ergebnisse zeigen, dass bessere Methoden, um Diskriminierung entgegenzuwirken, notwendig sind. Der zweite Teil dieser Arbeit entwickelt ein besseres Verständnis der Mechanismen, die das Verhalten von Deep-Learning-Algorithmen steuern. Zunächst untersuchen wir die Rolle, die Invarianz beim Lernen nützlicher Repräsentationen von Daten spielt. Wir zeigen, dass welchen Datentransformationen gegenüber Repräsentationen invariant sind, von entscheidender Bedeutung dafür ist, ob sie für bestimmte Aufgaben geeignet sind, wichtiger als viele andere Faktoren, von denen üblicherweise angenommen wird, dass sie den Nutzen von Repräsentationen beeinflussen. Des Weiteren untersuchen wir, wie sich Sprachmodelle (Large Language Models) Daten merken. Wir trainieren Modelle darauf, zufällige Zeichenketten auswendig zu lernen, und beobachten dabei eine Reihe interessanter und überraschender Prozesse während des Lernvorgangs. Modelle durchlaufen zwei Phasen während des Auswendiglernens, es ist für sie schwieriger, sich Zeichenketten mit niedrigerer Entropie zu merken, das wiederholte Auswendiglernen unterschiedlicher Zeichenketten verändert die Lerndynamiken, und nach dem Auswendiglernen können Modelle Zeichen mit nur sehr eingeschränktem Kontext abrufen.