Nejlepší odpověď
Lidé čtou texty. Texty se skládají z vět a také věty se skládají ze slov. Lidské bytosti mohou snadno porozumět jazykovým strukturám a jejich významům, ale stroje nejsou dosud dostatečně úspěšné v porozumění přirozenému jazyku. Takže se snažíme učit některé jazyky na strojích, jako to děláme pro dítě na základní škole. Toto je hlavní koncept; slova jsou základní smysluplné prvky se schopností představovat jiný význam, jsou-li ve větě. V tomto bodě si uvědomíme, že při vysvětlování významu někdy skupiny slov poskytují více výhod než jen jedno slovo. Tady je naše věta „ Četl jsem knihu o historii Ameriky. „ Stroj chce získat význam věty rozdělením na malé kousky. Jak by to mělo udělat? 1. Může považovat slova po jednom. Toto je unigram ; každé slovo je gram. „Já“, „číst“, „a“, „kniha“, „o“, „ta“, „historie“, „z“, „Amerika“ 2. Může se zabývat slovy dvě najednou. Toto je bigram ( digram ); každé dvě sousední slova vytvářejí bigram. „Četl jsem“, „četl“, „knihu“, „knihu o“, „o“, „historii“, „historii“, „Americe“ 3. Může považovat slova tři najednou. Toto je trigram ; každé tři sousední slova vytvářejí trigram. „Přečetl jsem“, „přečetl jsem knihu“, „knihu o“, „knihu o“, „o historii“, „historii“, „historii Ameriky“
Odpovědět
Možná je vaše otázka spíše něco jako „co je bigram / trigram“ a proč bych to potřeboval?
Pokud ano, tady je moje odpověď: Myšlenkou je vytvořit (statistický ) předpovědi o tom, co se děje ve větě. Může se stát, že se objeví konkrétní slovo jako další, nebo že se objeví prvek patřící do konkrétní třídy slov (jako: Opravdu očekávám sloveso po „Ten chlap řekl, že…“. Takže v ideálním případě očekává se, že vaše předpověď bude lepší, pokud vezmete v úvahu vše od počátečního * the * do * had *, což by tvořilo 7 gramů (šest prediktorů a sedmý předpovědět). Problém je v tom, že data jsou příliš řídká pro vytváření předpovědí na základě n + 1 gramů, když n je číslo větší než… 2 (nebo možná 4)! Výše uvedený příklad byl 6 + 1 gram. Lidé tedy pracují s aproximacemi jako bigramy (1 + 1-gramy ) a trigramy (2 + 1-gramy). Bigram předpovídá slovo na základě předcházejícího slova a trigram předpovídá slovo na základě dvou předcházejících slov.
No ve skutečnosti neexistují žádné skutečné aplikace pro bigramy (pokud si pamatuji), ale trigramy fungují dobře. Unigram se skládá pouze ze slova a jediný zisk, který byste měli z unigramu Mohlo by se stát, že budete mít frekvenci slova jako prediktor, místo toho, abyste dovolili absolutně všechno nastat se stejným rozdělením. (Pro Englisch vám unigramy dají něco jako „nejpravděpodobnější slovo je vždy„ the “; bigram vám dá něco jako„ have “není po„ the “ve skutečnosti tak pravděpodobné a trigram vám dá„ apple “je docela možné po „shnilém“.