Cel mai bun răspuns
Oamenii citesc texte. Textele constau din propoziții și, de asemenea, propozițiile constau din cuvinte. Ființele umane pot înțelege structurile lingvistice și semnificațiile lor cu ușurință, dar mașinile nu au încă suficient succes pentru înțelegerea limbajului natural. Deci, încercăm să predăm câteva limbi mașinilor, așa cum facem noi pentru un copil de școală elementară. Acesta este conceptul principal; cuvintele sunt elemente de bază, semnificative, cu capacitatea de a reprezenta un sens diferit atunci când se află într-o propoziție. În acest moment, reținem că uneori grupurile de cuvinte oferă mai multe beneficii decât un singur cuvânt atunci când explicăm semnificația. Iată propoziția noastră „ Am citit o carte despre istoria Americii. „ Mașina vrea să obțină semnificația propoziției prin separarea ei în bucăți mici. Cum ar trebui să facă asta? 1. Poate privi cuvintele unul câte unul. Aceasta este unigram ; fiecare cuvânt este un gram. „Eu”, „citit”, „a”, „carte”, „despre”, „„, „istorie”, „a”, „America” 2. Poate privi cuvintele câte două. Acesta este bigram ( digram ); fiecare două cuvinte adiacente creează un bigram. „Am citit”, „am citit o”, „o carte”, „o carte despre”, „despre”, „istoria”, „istoria”, „Americii” 3. Poate privi cuvintele trei câteodată. Acesta este trigram ; fiecare trei cuvinte adiacente creează o trigramă. „Am citit o”, „am citit o carte”, „o carte despre”, „o carte despre”, „despre istorie”, „istoria”, „istoria Americii”
Răspuns
Poate că întrebarea dvs. este mai degrabă ceva de genul „ce este un bigram / trigram” și de ce aș avea nevoie de ea?
Dacă da, iată răspunsul meu: Ideea este de a face (statistice ) predicții despre ceea ce se întâmplă într-o propoziție. Lucrurile care se întâmplă ar putea fi faptul că un anumit cuvânt apare în continuare sau că un element aparținând unei anumite clase de cuvinte apare în continuare (cum ar fi: chiar mă aștept la un verb după „Tipul a spus că a avut …”. Deci, în mod ideal, predicția dvs. este de așteptat să fie mai bună dacă luați în considerare totul de la începutul * * până la * a avut *, care ar forma un 7-grame (șase predictori și al șaptelea pentru a prezice). Problema este că datele devin prea rare pentru a face predicții bazate pe n + 1-grame, când n este un număr mai mare de … 2 (sau poate 4)! Exemplul de mai sus a fost un 6 + 1-gram. Deci oamenii lucrează cu aproximări precum bigramele (1 + 1-grame ) și trigrame (2 + 1-grame). Un bigram face o predicție pentru un cuvânt bazat pe cel dinainte, iar un trigram face o predicție pentru cuvânt pe baza celor două cuvinte anterioare.
Ei bine , de fapt, nu există aplicații reale pentru bigramele (dacă îmi amintesc), dar trigramele funcționează bine. O unigramă constă doar din cuvânt și singurul câștig pe care l-ai avea dintr-un unigramă w Ar trebui să aveți frecvența cuvântului ca predictor, în loc să permiteți ca totul absolut să aibă loc cu distribuție egală. (Pentru engleză, unigramele îți dau ceva de genul „cel mai probabil cuvânt este întotdeauna„ the ”; bigramul îți dă ceva de genul„ have ”nu este chiar atât de probabil după„ the ”, iar o trigramă îți dă„ măr ”este foarte posibil după „putrezitul”.