Beste Antwort
Menschen lesen Texte. Die Texte bestehen aus Sätzen und auch Sätze bestehen aus Wörtern. Menschen können sprachliche Strukturen und ihre Bedeutungen leicht verstehen, aber Maschinen sind beim Verständnis natürlicher Sprache noch nicht erfolgreich genug. Also versuchen wir, Maschinen einige Sprachen beizubringen, wie wir es für ein Grundschulkind tun. Dies ist das Hauptkonzept; Wörter sind grundlegende, bedeutungsvolle Elemente mit der Fähigkeit, eine andere Bedeutung darzustellen, wenn sie sich in einem Satz befinden. An dieser Stelle denken wir daran, dass Wortgruppen manchmal mehr Vorteile bieten als nur ein Wort, wenn sie die Bedeutung erklären. Hier ist unser Satz „ Ich habe ein Buch über die Geschichte Amerikas gelesen. “ Die Maschine möchte die Bedeutung des Satzes ermitteln, indem sie ihn in kleine Teile zerlegt. Wie soll es das machen? 1. Es kann Wörter einzeln betrachten. Dies ist Unigramm ; Jedes Wort ist ein Gramm. „Ich“, „lese“, „ein“, „Buch“, „über“, „die“, „Geschichte“, „von“, „Amerika“ 2. Es kann zwei Wörter gleichzeitig betrachten. Dies ist bigram ( digram ); Jeweils zwei benachbarte Wörter erzeugen ein Bigram. „Ich lese“, „lese ein“, „ein Buch“, „Buch über“, „über“, „die Geschichte“, „Geschichte von“, „von Amerika“ 3. Es kann jeweils drei Wörter betrachten. Dies ist Trigramm ; Jeweils drei benachbarte Wörter erstellen ein Trigramm. „Ich lese ein“, „lese ein Buch“, „ein Buch über“, „Buch über das“, „über die Geschichte“, „die Geschichte von“, „Geschichte Amerikas“
Antwort
Vielleicht ist Ihre Frage eher so etwas wie „Was ist ein Bigram / Trigramm“ und warum sollte ich es brauchen?
Wenn ja, hier ist meine Antwort: Die Idee ist, (statistisch) zu machen ) Vorhersagen darüber, was in einem Satz passiert. Dinge, die passieren, könnten sein, dass ein bestimmtes Wort als nächstes auftaucht oder dass ein Element, das zu einer bestimmten Wortklasse gehört, als nächstes auftaucht (wie: Ich erwarte wirklich ein Verb nach „Der Typ hat gesagt, dass er… hat“. Also im Idealfall Es wird erwartet, dass Ihre Vorhersage besser ist, wenn Sie alles von Anfang an * bis * hatten * berücksichtigen, was ein 7-Gramm (sechs Prädiktoren und das siebte zu prognostizierende) bilden würde. Das Problem ist, dass die Daten zu spärlich werden für Vorhersagen auf der Basis von n + 1 Gramm, wenn n eine Zahl größer als… 2 (oder vielleicht 4) ist! Das obige Beispiel war ein 6 + 1 Gramm. Die Leute arbeiten also mit Näherungen wie Bigrams (1 + 1 Gramm) ) und Trigramme (2 + 1 Gramm). Ein Bigram macht eine Vorhersage für ein Wort basierend auf dem vorherigen und ein Trigramm macht eine Vorhersage für das Wort basierend auf den zwei Wörtern davor.
Nun Tatsächlich gibt es keine wirklichen Anwendungen für Bigrams (wenn ich mich recht erinnere), aber Trigramme funktionieren einwandfrei. Ein Unigramm besteht nur aus dem Wort und dem einzigen Gewinn, den Sie aus einem Unigramm w ziehen würden Es könnte sein, dass Sie die Häufigkeit des Wortes als Prädiktor haben, anstatt zuzulassen, dass absolut alles mit gleicher Verteilung auftritt. (Für Englisch geben Unigramme etwas wie „das wahrscheinlichste Wort ist immer“ das „; das Bigram gibt Ihnen etwas wie“ haben „ist nicht wirklich so wahrscheinlich nach“ das „, und ein Trigramm gibt Ihnen“ Apfel „ist durchaus möglich nach „dem faulen“.