Skiemenų statistikos taikymas atskiriant poeziją nuo prozos
LTStraipsnio tikslas – sukonstruoti klasifikatorių, kuris pagal trumpas teksto ištraukas galėtų atskirti poeziją nuo prozos ir kurį kuo mažiau įtakotų atskirų autorių stilius ir kūrinių turinys. Todėl apmokant klasifikatorių naudojama tik informacija apie tekstų skiemenis, nes pastarieji atspindi kalbos fonetines savybes ir mažiau negu žodžiai yra susiję su tekstų turiniu. Tyrimas remiasi suskaitmenintų grožinės literatūros kūrinių bibliotekos http://ebiblioteka.mkp.emokykla.lt tekstais. Jų pagrindu sudarytas ir apmokytas klasifikatorius atskirdamas testinius 100 žodžių ilgio poezijos ir prozos tekstų fragmentus darė mažiau negu 5 % klaidų. Raktiniai žodžiai: logistinė regresija; automatinis skiemenavimas; kryžminė patikra; apmokymas; klasifikavimo klaida. [Iš leidinio]
ENThe aim of the paper is to construct a universal classifier to discriminate short Lithuanian text excerpts of poetry from that of prose. Here the universality means that the classifier is relatively insensitive to a text content and author’s style. Since syllables represent phonetic properties and are less sensitive to text content as compared to words, the classifier training is based on frequencies of syllables in texts to be classified. The text data is taken from digitized library http://ebiblioteka.mkp.emokykla.lt. The error rate of the trained classifier applied to testing excerpts of 100 words is less than 5 %. Keywords: logistic regression; automatic syllabification; cross-validation; training; classification error. [From the publication]
- Automatinis lietuvių kalbos žodžių skiemenavimas, kirčiavimas, transkribavimas / Asta Kazlauskienė, Gailius Raškinis, Airenas Vaičiūnas ; Vytauto Didžiojo universitetas. Kaunas : Vytauto Didžiojo universiteto leidykla, 2010. 107 p.
- Automatinis skiemenavimas : problemos ir jų sprendimas / Gailius Raškinis, Asta Kazlauskienė. Kalbų studijos. 2009, Nr. 15, p. 71-76.
- Intervokaliniai priebalsiai : vienanarės ir dvinarės grupės / Asta Kazlauskienė. Kalbų studijos. 2007, Nr. 11, p. 36-42.
- Labai dažnų lietuvių kalbos žodžių ir žodžių formų ypatybės / Andrius Utka. Lituanistica. 2005, Nr. 1, p. 48-55.
- Lietuvių kalbos fonologinio skiemens struktūrinių modelių dažnumas / Asta Kazlauskienė, Gailius Raškinis. Žmogus ir žodis. 2008, 1, p. 24-31.
- Seimo posėdžių stenogramų tekstynas autorystės nustatymo bei autoriaus profilio sudarymo tyrimams / Jurgita Kapočiūtė-Dzikienė, Andrius Utka, Ligita Šarkutė. Kalbotyra. 2014, t. 66, p. 27-45.
- Skiemens ir žodžio pirmųjų bei paskutinių fonemų dažnumas bendrinėje lietuvių kalboje / Aleksas Girdenis, Vida Karosienė. Baltistica. 2004, t. 39, Nr. 2, p. 213-231.
- Sprendimo medžių panaudojimas skiemenavimo problemai spręsti.. Informacinės technologijos, 2006 : konferencijos pranešimų medžiaga, [2006 m. sausio mėn. 25-26 d.]. T. 1 / redakcinė kolegija: Rimantas Barauskas ... [et al.] ; sudarytojas Aleksandras Targamadzė. Kaunas: Technologija, 2006. p. 53-57.
- Tekstų nehomogeniškumo tyrimas naudojant žymeklius / Monika Lapėnaitė-Gedvilė, Karolina Piaseckienė, Marijus Radavičius. Lietuvos statistikos darbai. 2015, 54, 1, p. 92-100.
- Teoriniai lietuvių fonologijos pagrindai / Aleksas Girdenis. Vilnius : Mokslo ir enciklopedijų leidybos institutas, 2003. 387 p.
