A beszéd artikulációs mozgásának predikciója agyi jel alapján – kezdeti eredmények

Csapó, Tamás Gábor and Arthur, Frigyes Viktor and Nagy, Péter and Boncz, Ádám (2023) A beszéd artikulációs mozgásának predikciója agyi jel alapján – kezdeti eredmények. In: XIX. Magyar Számítógépes Nyelvészeti Konferencia, MSZNY-2023. SZTE, Szeged, pp. 357-368. ISBN 9789633069127

Preview

Text Csapo-et-al-mszny2023.pdf Download (1MB) | Preview

Abstract

Az augmentatív és alternatív kommunikációs technológiák (pl. agy-gép interfész, BCI) közvetlenül olvashatják az agyi jeleket, hogy pótolják az elvesztett beszédképességet. Nemzetközi szinten végeztek már kezdeti kutatásokat agyi jel (pl. EEG, sEEG, ECoG) és beszéd alapú BCI kidolgozására, azonban hiányoznak azok a kombinált módszerek, amelyek a nem invazív EEG-t, az artikulációt és a beszédjeleket összevontan vizsgálnák, és elemeznék az agyban zajló tervezési folyamat, az artikulációs mozgás, és a keletkezett beszédjel kölcsönhatását. A jelen kutatásban ismertetett multimodális (EEG, nyelvultrahang és beszéd) analízis és szintézis révén túlmutatunk a legkorszerűbb nemzetközi trendeken. A beszéd közbeni agyi jelek elemzését nyelvultrahang-alapú artikulációs adatokkal bővítjük, hogy több összehasonlítható bioszignál álljon rendelkezésre. Az EEG-vel mért agyi jelből mély neuronhálóval az artikulációs mozgásra vonatkozó információt (nyelvultrahang képek) prediktálunk. Az eredmények szerint az EEG és nyelvultrahang közötti kapcsolat kimutatható. A jelen kutatás hosszútávú célja, hogy hozzájáruljunk a beszéd alapú agyszámítógép interfészekhez: az eredmények potenciálisan alkalmazhatók lehetnek pl. beszédsérülteknek szánt kommunikációs segédeszközként.

Actions (login required)

Edit Item