Paras vastaus
Ihmiset lukevat tekstejä. Tekstit koostuvat lauseista ja myös lauseet sanoista. Ihminen ymmärtää kielirakenteet ja niiden merkitykset helposti, mutta koneet eivät vielä ole riittävän menestyviä luonnollisen kielen ymmärtämisessä. Joten yritämme opettaa joitain kieliä koneille, kuten me teemme peruskoulun lapselle. Tämä on pääkäsite; sanat ovat perustavanlaatuisia, merkityksellisiä elementtejä, joilla on kyky edustaa erilaista merkitystä, kun ne ovat lauseessa. Tässä vaiheessa pidämme mielessä, että joskus sanaryhmät tarjoavat enemmän etuja kuin vain yksi sana, kun selitämme merkitystä. Tässä on lauseemme ” Luin kirjan Amerikan historiasta. ” Kone haluaa saada lauseen merkityksen erottamalla se pieniksi paloiksi. Kuinka sen pitäisi tehdä se? 1. Se voi tarkastella sanoja yksi kerrallaan. Tämä on unigram ; jokainen sana on gramma. ”Minä”, ”lukenut”, ”a”, ”kirja”, ”noin”, ””, ”historia”, ”of”, ”Amerikka” 2. Se voi pitää sanoja kaksi kerrallaan. Tämä on bigram ( digram ); jokainen kaksi vierekkäistä sanaa luo bigramin. ”Luin”, ”luken”, ”kirjan”, ”kirjan”, ”” Amerikan ”historiasta,” historiasta ”,” historiasta ”. 3. Se voi pitää sanoja kolme kerrallaan. Tämä on trigrami ; jokainen vierekkäinen sana luo trigramin. ”Luin”, ”luin kirjan”, ”kirjan”, ”kirjan”, ”historiasta”, ”historiasta”, ”Amerikan historiasta”
Vastaa
Ehkä kysymyksesi on enemmän kuin ”mikä on bigram / trigrammi” ja miksi tarvitsisin sitä?
Jos kyllä, tässä on vastaukseni: Idea on tehdä (tilastollinen ) ennusteita siitä, mitä lauseessa tapahtuu. Asiat, joita voi tapahtua, voivat olla se, että tietty sana näkyy seuraavaksi tai että tiettyyn sanaluokkaan kuuluva elementti näkyy seuraavana (kuten: Odotan todella verbiä sen jälkeen, kun ”Kaveri sanoi, että hänellä oli …”. Joten ihannetapauksessa ennusteen odotetaan olevan parempi, jos otat huomioon kaiken alusta * *: een * * asti *, mikä muodostaisi 7 gramman (kuusi ennustinta ja seitsemäs ennustaa). Ongelmana on, että tiedot harventuvat ennusteiden tekemiseen n + 1-gramman perusteella, kun n on luku suurempi kuin… 2 (tai ehkä 4)! Yllä oleva esimerkki oli 6 + 1-gramma. Joten ihmiset työskentelevät likiarvoilla, kuten bigrams (1 + 1-gramma) ) ja trigrammit (2 + 1 grammaa). Bigram tekee sanalle ennusteen edellisen sanan perusteella ja trigrammi ennustaa sanalle kahden edellisen sanan perusteella.
No Itse asiassa bigrameille ei ole todellisia sovelluksia (jos muistan), mutta trigrammit toimivat hyvin.Unigrammi koostuu vain sanasta ja ainoa voitto, jonka sinulla olisi unigramma w: stä Pitäisi olla, että sinulla on sanan taajuus ennustajana sen sijaan, että annat absoluuttisen kaiken tapahtua tasaisella jakaumalla. (Englischille unigrammat antavat sinulle jotain sellaista kuin ”todennäköisin sana on aina” the ”; bigram antaa sinulle jotain” have ”ei ole oikeastaan niin todennäköistä” the ”: n jälkeen, ja trigrammi antaa sinulle” apple ”on täysin mahdollista jälkeen ”mätä”.