Reproducible and Responsible Web Security and Privacy Measurement Research

Abstract

Reproducibility and responsibility are the foundation of rigorous scientific research, yet both present challenges for web security and privacy researchers. In this dissertation, we view these challenges through the lens of large-scale web measurements. We first focus on reproducibility, exploring how web archives can serve as valuable data sources for web security and privacy measurements. We analyze which archives provide the most comprehensive data for researchers, while also highlighting obstacles these archives present, such as limited accuracy and problems with dynamic content. To address these shortcomings, we present a new tool and format that captures page activities, enabling more reproducible measurements. We then turn to responsibility, examining the legal and ethical considerations involved in measuring web security and privacy at scale. Drawing on insights from an interview study with legal experts, ethics committee members, and site operators, we outline strategies one can use when facing these challenges. We demonstrate the application of these strategies in a case study on access control issues. Lastly, we take a look at the side of top-tier conferences, to see what their goals and practices are in terms of fostering responsible research ethics. Together, these contributions provide strategies for researchers to conduct web security and privacy measurements that are both reproducible and responsible.

Reproduzierbarkeit und Verantwortung von Forschung sind Grundlage guter Wissenschaft, stellen jedoch im Bereich der Websicherheit oft Hürden dar. In dieser Dissertation beleuchten wir beide Aspekte im Kontext von Web Measurements. Im ersten Teil konzentrieren wir uns auf Reproduzierbarkeit von Forschung und untersuchen, inwiefern Webarchive als Datenquellen für Web Security & Privacy Measurements geeignet sind. Wir vergleichen Datenqualität und zeigen grundlegende Probleme auf, etwa mangelnde Genauigkeit und Defizite mit dynamischen Inhalten. Zur Überwindung dieser Probleme stellen wir ein neues Vorgehen vor, das Seitenaktivitäten erfasst und reproduzierbarere Web Measurements ermöglicht. Im zweiten Teil widmen wir uns der Forschungsverantwortung. Wir betrachten rechtliche und ethische Überlegungen bei Web Measurements und diskutieren Perspektiven von verschiedenen Expert:innen. Darauf aufbauend skizzieren wir Handlungsstrategien für Forschende und demonstrieren diese in einer Fallstudie über Access Control Issues. Abschließend werfen wir einen Blick auf führende Konferenzen und ihre Ziele und Praktiken hinsichtlich der Förderung verantwortungsvoller Forschung. Zusammenfassend bietet diese Dissertation Strategien für Forschende, um Web Measurements durchzuführen, die sowohl reproduzierbar als auch verantwortungsvoll sind.