Bästa svaret
Människor läser texter. Texterna består av meningar och även meningar består av ord. Människor kan lätt förstå språkstrukturer och deras betydelser, men maskinerna lyckas inte tillräckligt med naturligt språkförståelse ännu. Så vi försöker lära några språk på maskiner som vi gör för en grundskolebarn. Detta är huvudkonceptet; ord är grundläggande, meningsfulla element med förmågan att representera en annan mening när de är i en mening. Vid denna tidpunkt har vi i åtanke att ordgrupper ibland ger fler fördelar än bara ett ord när de förklarar innebörden. Här är vår mening ” Jag läste en bok om Amerikas historia. ” Maskinen vill få meningen med meningen genom att separera den i små bitar. Hur ska den göra det? 1. Den kan betrakta ord en efter en. Detta är unigram ; varje ord är ett gram. ”Jag”, ”läs”, ”en”, ”bok”, ”om”, ”den”, ”historia”, ”av”, ”Amerika” 2. Det kan betrakta ord två i taget. Det här är bigram ( digram ); två intilliggande ord skapar en bigram. ”Jag läste”, ”läste en”, ”en bok”, ”bok om”, ”om”, ”historien”, ”historia”, ”av Amerika” 3. Den kan betrakta ord tre i taget. Detta är trigram ; varje tre intilliggande ord skapar ett trigram. ”Jag läste en”, ”läste en bok”, ”en bok om”, ”bok om”, ”om historien”, ”historien om”, ”Amerikas historia”
Svar
Kanske är din fråga mer ungefär som ”vad är en bigram / trigram” och varför skulle jag behöva det?
Om ja, här är mitt svar: Tanken är att göra (statistisk ) förutsägelser om vad som händer i en mening. Saker som händer kan vara att ett visst ord dyker upp nästa, eller att ett element som tillhör en viss ordklass dyker upp nästa (som: Jag förväntar mig verkligen ett verb efter ”Killen sa att han hade …”. Så, helst, din förutsägelse förväntas bli bättre om du tar hänsyn till allt från början * till * till * hade *, vilket skulle bilda en 7-gram (sex prediktorer och den sjunde att förutsäga). Problemet är att data blir för glesa för att göra förutsägelser baserade på n + 1-gram, när n är ett nummer större än … 2 (eller kanske 4)! Exemplet ovan var 6 + 1-gram. Så människor arbetar med ungefärliga som bigrams (1 + 1-gram ) och trigrams (2 + 1-gram). En bigram gör en förutsägelse för ett ord baserat på det som föregick, och ett trigram gör en förutsägelse för ordet baserat på de två orden innan det.
Tja i själva verket finns det inga riktiga applikationer för bigrams (om jag kommer ihåg det), men trigrams fungerar bra. En unigram består bara av ordet, och den enda vinsten du skulle ha med ett unigram w kan vara att du har ordets frekvens som en prediktor, istället för att låta absolut allt ske med samma fördelning. (För Englisch ger unigram dig något som ”det mest troliga ordet är alltid” the ”; bigram ger dig något som” har ”är inte riktigt så troligt efter” the ”, och ett trigram ger dig” apple ”är helt möjligt efter ”den ruttna”.