Incorporating knowledge about entities in conversational search

Abstract

Although trained on a vast amount of data, language models (LMs) struggle to fully capture information about entities. This issue is especially noticeable for tail entities, which are sparsely covered or entirely absent from knowledge bases. Modern information retrieval (IR) methods rely on language models. Therefore, they struggle to interpret tail entities and questions about them. To bridge this gap, we propose incorporating knowledge about entities into LM-based models in information retrieval. Our first IR method, EVA, addresses the challenge of leveraging knowledge about entities to understand questions. Our second method, CONSENT, tackles the challenges of contextualization and handling informal questions in conversational IR setting. This approach particularly focuses on the challenge of understanding questions about tail entities. We propose our third method, EECATS, to fight three challenges simultaneously: contextualizing questions, handling long-tail entities in conversational IR, and maintaining efficiency for interactive responses. In EECATS, we fine-tune a Sentence-BERT model to infer relatedness between entities in the conversation history and the current question. The current question is then expanded with the most related entities. This expanded question is fed through a retrieval and reranking pipeline. EECATS achieves efficiency through fast score aggregation and effectiveness through fine-tuning the Sentence-BERT model for entity selection.

Obwohl Sprachmodelle (Language Models: LMs) mit großen Datenmengen trainiert wurden, haben sie Schwierigkeiten, Informationen über Entitäten zu erfassen. Dieses Problem ist besonders bei Tail-Entitäten spürbar, die in Wissensdatenbanken spärlich oder gar nicht vorhanden sind. Tatsächlich ist das Wissen von Sprachmodellen über Tail-Entitäten begrenzt, da diese im vortrainierten Datensatz nicht häufig vorkommen. Moderne Methoden des Information Retrieval (IR) basieren auf Sprachmodellen. Daher haben sie Schwierigkeiten, Tail-Entitäten und Fragen dazu zu interpretieren. Um diese Lücke zu schließen, schlagen wir vor, Entitätswissen in LM-basierte Modelle für das Information Retrieval zu integrieren. Diese Dissertation präsentiert drei neuartige Methoden zur Verbesserung des aktuellen Stands der Technik: Unsere erste Methode, EVA, befasst sich mit der Herausforderung, Wissen über Entitäten zum Verständnis von Fragen zu nutzen. Dieser Ansatz kombiniert und integriert Wissen aus vortrainierten Wikipedia-Entitäteinbettungen in die dichte Repräsentation des Sprachmodells BERT. Wir verwenden einen neuartigen Ansatz, um mehrere Darstellungsansichten für jedes Dokument vorzuberechnen und so die Wahrscheinlichkeit zu maximieren, Benutzerabsichten zu erfassen. Jede Ansicht kodiert einen bestimmten Aspekt basierend auf einer Reihe verwandter Entitäten innerhalb eines Dokuments. Unsere zweite Methode, CONSENT, befasst sich mit den Herausforderungen der Kontextualisierung und Verarbeitung informeller Fragen in Konversationen. Dieser Ansatz konzentriert sich auf das Verständnis von Fragen zu Long-Tail-Entitäten. Wir entwickeln CONSENT, um die aktuelle Frage mit einer ausgewählten Teilmenge vorheriger Dialogschritte und Entitäten zu kontextualisieren. In dem CONSENT verwenden wir Sentence-BERT in einem Zero-Shot-Setting, um Ähnlichkeiten zwischen Entitäten, Dialogschritten, der aktuellen Frage und Antwortoptionen zu ermitteln. Basierend auf diesen Ähnlichkeiten werden Entitätsauswahl und Antwortrangfolge gemeinsam modelliert und mithilfe der ganzzahligen linearen Programmierung gelöst. Mit unserer dritten Methode, EECATS, bewältigen wir drei Herausforderungen: die Kontextualisierung von Fragen, den Umgang mit den Long-Tail-Entitäten in Konversationen und die Aufrechterhaltung der Effizienz interaktiver Antworten. Wir verwenden Fine-Tuning für ein Sentence-BERT-Modell, um die Verwandtschaft zwischen Entitäten im Gespräch und der aktuellen Frage zu bestimmen in EECATS. Die aktuelle Frage wird dann um die am engsten verwandten Entitäten erweitert. Diese erweiterte Frage wird durch eine Retrieval- und Ranking-Pipeline gespeist. EECATS erreicht Effizienz durch schnelle Score-Aggregation und Effektivität durch die Feinabstimmung des Sentence-BERT-Modells für die Entitätsauswahl.