Dinamikusan kezelhető statisztikai modellek irodalmi művek szóalakjainak vizsgálatára

Csernoch, Mária (2007) Dinamikusan kezelhető statisztikai modellek irodalmi művek szóalakjainak vizsgálatára. ALKALMAZOTT MATEMATIKAI LAPOK, 24. pp. 57-77. ISSN 0133-3399

Preview

Text 03ALKMAT_24.pdf - Published Version Download (3MB) | Preview

Abstract

Munkánk során arra vállalkoztunk, hogy a szavak véletlenszerű válogatásával egy olyan dinamikusan kezelhető statisztikai modellt építsünk, amely jó közelítéssel képes az újonnan megjelenő szóalakok természetes nyelvi szövegekben megfigyelt viselkedését visszaadni. Modellünk építéséhez az eredeti mű szóalakjainak gyakoriságát használtuk, tehát az így felállított modell segítségével előállított mesterséges szövegek szóalakjai ugyanolyan gyakoriságokkal rendelkeztek, mint értelmes megfelelőjük az eredeti szövegben. Három modellt is építettünk, amelyek közül az első a korábban ismertetett és statikus modellek megépítéséhez használt, a szavak polinomiális eloszlását feltételező elképzeléseket követte. Bár ezzel a modellel a korábbi vizsgálatokban elért pontosságot nem tudtuk javítani, sikerült azonban az újonnan megjelenő szóalakok számát leíró görbékre jellemző trendeket visszaadni. A második modellel, még mindig ezt az eloszlást feltételezve, az előzőnél már jobb közelítést sikerült elérni. A harmadik módszer, amely az eredeti szövegek legjobb közelítését adta, a szavak hipergeometrikus eloszlását feltételező modell volt. Ez utóbbi modell alkalmasnak bizonyult mind angol, mind magyar nyelvű szövegek modellezésére, amely mutatja, hogy az újonnan bevezetett szavak megjelenését nem befolyásolják egy nyelv grammatikai eszközei, a szintaktikai és szemantikai megkötések.

Actions (login required)

Edit Item