(ursprünglicher Titel: Wie kann ich wissen, wenn ich keine Fragen beantworte und Mund halte?)
Ich versuche, einen Weg zu finden, Intelligent Agents mit Leseverständnis und Fragebeantwortung zu verhindern, wenn sie nicht sicher genug sind, dass sie eine Antwort aus den Dokumenten finden, die sie haben
Meiner Meinung nach können wir sagen, dass wir zum einen P = {p_1, ..., p_i }≠Ø eine Reihe von Absätzen haben, Q ={q_ {1i}, ..., q_ {ij}}≠Ø Menge von Fragen zu diesen Absätzen und R = {r_ {111}, ..., r_ {ijk}} die zugehörigen möglichen Antworten.
Wir versuchen, diese Antworten dieser Absätze zu finden. Welches sind die Spanne der Sätze dieser Absätze, wenn es eine Antwort gibt oder um zu zeigen, dass es keine Antworten gibt, wo es nicht zu beantworten ist.
Ich habe diese Problemdefinition selbst gemacht, ich kann sie gerne kritisieren.
Ich habe bis jetzt nur an einen unbeaufsichtigten Versuch gedacht:
Für jedes Satz-Frage-Paar berechnen wir zwei Entfernungsmetriken:
Kosinusähnlichkeit zwischen q_ {ij} und s_l. Die Antwort lautet daher:
$$\hat{r}_{ij}^{cos}=\arg\max_i \{1 - \frac{s_{l}.q_{ij}}{||s_{l}||.||q_{ij}||}\}$$
oder wir können auch den euklidischen Abstand zwischen den Sätzen und der Frage berechnen.
$$\hat{r}_{ij}^{euc}=\arg\max_i \{\sqrt{\sum_{v\in \mathcal V} s_l.q_{ij}}\}$$
Ich habe das eine oder das andere noch nicht ausgewählt, das erste scheint genauer zu sein als das zweite nach einem Lauf, der Antworten gibt, mögen sie existieren oder nicht im $ R $ Set.
Erstelle eine "Beantworte die Frage nicht!" Lernfunktion
Also hier kommt das große Problem, wie man eine Funktion für meinen Algorithmus verwaltet, um nicht zu antworten? Ich habe darüber nachgedacht, eine Idee von Minimum zu setzen, um die Entfernung für \hat r_ {ij} zu überschreiten, um eine vorhergesagte Antwort statt einer Nullmenge zu akzeptieren. Aber erstens wäre das, was ich mir für die Kosinusähnlichkeit vorgestellt habe, deren Ergebnisse zu Domäne [- 1,1] gehören, sehr willkürlich. Und zweitens weiß ich nicht einmal, welchen Weg ich für die euklidische Distanz wählen soll, deren Ergebnisse zu R gehören
Furthermore Ich habe vielleicht dann zu lernen, wenn ich falsch lag, dieses Limit zu aktualisieren? Ich spüre den kleinen Gradientenabstieg;)
---
Dieses Machine-Learning-Problem hat Beispiele hier mit Stanford-Frage-Antwort-Datensatz (SQuAD [1] und einen Versuch in diesem Artikel von Facebook