Bedste svar
Folk læser tekster. Teksterne består af sætninger og også sætninger består af ord. Mennesker kan let forstå sproglige strukturer og deres betydning, men maskiner er endnu ikke vellykkede med hensyn til naturlig sprogforståelse. Så vi prøver at lære nogle sprog til maskiner, som vi gør for et grundskolebarn. Dette er hovedkonceptet; ord er grundlæggende, meningsfulde elementer med evnen til at repræsentere en anden betydning, når de er i en sætning. På dette tidspunkt husker vi, at ordgrupper undertiden giver flere fordele end kun et ord, når de forklarer betydningen. Her er vores sætning “ Jeg læste en bog om Amerikas historie. ” Maskinen ønsker at få betydningen af sætningen ved at adskille den i små stykker. Hvordan skal det gøre det? 1. Det kan betragte ord en efter en. Dette er unigram ; hvert ord er et gram. “Jeg”, “læs”, “en”, “bog”, “om”, “den”, “historie”, “af”, “Amerika” 2. Det kan betragte ord to ad gangen. Dette er bigram ( digram ); hver to tilstødende ord skaber et bigram. “Jeg læste”, “læste en”, “en bog”, “bog om”, “om”, “historien”, “historie om”, “af Amerika” 3. Den kan betragte ord tre ad gangen. Dette er trigram ; hver tre tilstødende ord opretter et trigram. “Jeg læste en”, “læste en bog”, “en bog om”, “bog om”, “om historien”, “historien om”, “Amerikas historie”
Svar
Måske er dit spørgsmål mere som “hvad er et bigram / trigram” og hvorfor skulle jeg have brug for det?
Hvis ja, her er mit svar: Ideen er at lave (statistisk ) forudsigelser om, hvad der sker i en sætning. Ting, der sker, kan være, at et bestemt ord dukker op næste gang, eller at et element, der hører til en bestemt ordklasse, dukker op næste gang (som: Jeg forventer virkelig et verbum efter “Fyren sagde, at han havde…”. Så ideelt set Det forventes, at din forudsigelse bliver bedre, hvis du tager højde for alt fra start * til * havde *, hvilket ville danne et 7 gram (seks forudsigere og det syvende at forudsige). Problemet er, at data bliver for sparsomme til at forudsige baseret på n + 1-gram, når n er et tal større end… 2 (eller måske 4)! Eksemplet ovenfor var 6 + 1 gram. Så folk arbejder med tilnærmelser som bigrams (1 + 1-gram ) og trigrammer (2 + 1 gram). En bigram forudsiger et ord baseret på det forrige, og et trigram forudsiger ordet baseret på de to ord før det.
Nå faktisk er der ingen reelle applikationer til bigrams (hvis jeg husker det), men trigrammer fungerer fint. En unigram består bare af ordet, og den eneste gevinst, du ville have ved et unigram w kan være, at du har ordets hyppighed som en forudsigelse, i stedet for at lade absolut alt ske med samme fordeling. (For Englisch giver unigrams dig noget som “det mest sandsynlige ord er altid” the “; bigram giver dig noget som” have “er ikke rigtig så sandsynligt efter” the “, og et trigram giver dig” apple “er meget muligt efter “den rådne”.