Beste svaret
Folk leser tekster. Tekstene består av setninger og setninger består også av ord. Mennesker kan forstå språkstrukturer og deres betydning lett, men maskiner lykkes ikke med naturlig språkforståelse ennå. Så vi prøver å lære noen språk til maskiner som vi gjør for et barneskoleunge. Dette er hovedkonseptet; ord er grunnleggende, meningsfylte elementer med evnen til å representere en annen betydning når de er i en setning. På dette tidspunktet husker vi at noen ganger gir ordgrupper flere fordeler enn bare ett ord når vi forklarer betydningen. Her er setningen vår Jeg leste en bok om Amerikas historie. «Maskinen ønsker å få meningen med setningen ved å skille den i små biter. Hvordan skal den gjøre det? 1. Den kan betrakte ord en etter en. Dette er unigram ; hvert ord er et gram. «Jeg», «lest», «en», «bok», «om», «den», «historien», «av», «Amerika» 2. Den kan betrakte ord to om gangen. Dette er bigram ( digram ); hver to tilstøtende ord skaper et bigram. «Jeg leste», «leste en», «en bok», «bok om», «om», «historien», «historie om», «av Amerika» 3. Den kan betrakte ord tre om gangen. Dette er trigram ; hvert tre tilstøtende ord oppretter et trigram. «Jeg leste en», «leste en bok», «en bok om», «bok om», «om historien», «historien om», «Amerikas historie»
Svar
Kanskje spørsmålet ditt mer ligner «hva er en bigram / trigram» og hvorfor trenger jeg det?
Hvis ja, her er svaret mitt: Tanken er å lage (statistisk ) spådommer om hva som skjer i en setning. Ting som skjer kan være at et bestemt ord dukker opp neste, eller at et element som tilhører en bestemt ordklasse dukker opp neste (som: Jeg forventer virkelig et verb etter «Fyren sa at han hadde …». Så ideelt sett spådommer forventes å bli bedre hvis du tar hensyn til alt fra start * til * hadde *, som ville danne en 7-gram (seks prediktorer, og den syvende å forutsi). Problemet er at data blir for sparsomme for å lage spådommer basert på n + 1-gram, når n er et tall større enn … 2 (eller kanskje 4)! Eksemplet ovenfor var 6 + 1 gram. Så folk jobber med tilnærminger som bigrams (1 + 1-gram ) og trigrammer (2 + 1-gram). En bigram gir en prediksjon for et ord basert på det som er før, og et trigram gir en prediksjon for ordet basert på de to ordene før det.
Vel faktisk er det ingen reelle applikasjoner for bigrams (hvis jeg husker det), men trigrams fungerer bra. En unigram består bare av ordet, og den eneste gevinsten du ville ha fra et unigram w kan være at du har ordets frekvens som en prediktor, i stedet for å la absolutt alt skje med lik fordeling. (For Englisch gir unigram deg noe sånt som «det mest sannsynlige ordet er alltid» den «; bigram gir deg noe som» har «er egentlig ikke så sannsynlig etter» the «, og et trigram gir deg» apple «er ganske mulig etter “den råtne”.