REAL

Deep learning alapú agyi jel feldolgozás és beszédszintézis előkészítő munkálatai

Arthur, Frigyes Viktor and Csapó, Tamás Gábor (2022) Deep learning alapú agyi jel feldolgozás és beszédszintézis előkészítő munkálatai. In: XVIII. Magyar Számítógépes Nyelvészeti Konferencia. Szegedi Tudományegyetem, Informatikai Intézet, Szeged, pp. 185-198. ISBN 9789633068489

[img]
Preview
Text
ArthurCsapo-mszny2022-eeg.pdf

Download (5MB) | Preview

Abstract

Ebben a cikkben bemutatjuk a nem invazív, elektorenkefalográfián (EEG) alapuló kommunikációs agy-gép interfész (BCI) rendszerekkel kapcsolatos kutatásunk kezdeti eredményeit. Az agyi jelből akusztikus jelbe átalakító konverziós módszer célja, hogy az idegsejtek elektromos aktivitása alapján szintetizáljunk beszédet. A kutatás során a "Kara One" adatbázis beszélőivel végeztünk kísérleteket, melyből párhuzamos EEG és beszédfelvételeket használtunk fel. A cikkben részletesen bemutatjuk az agyi jel előfeldolgozásának lépéseit (szűrés, csatorna választás, zajok és műtermékek (artifact) eltávolítása, független komponens analízis, és szegmentálás). Az előfeldolgozott EEG jelből mély neuronhálóval becsüljük meg a beszéd mel-spektrális paramétereit. Végül egy neurális vokóderrel állítjuk elő a szintetizált beszédet. Az így szintetizált beszéd ugyan nem érthető, de emlékeztet az eredeti jelre, így a kezdeti eredményeket biztatónak tartjuk. A kutatás hosszú távú jelentősége, hogy a beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára.

Item Type: Book Section
Uncontrolled Keywords: Speech synthesis; brain-computer interface (BCI); beszédszintézis; agy-gép interfész; elektorenkefalográfia;
Subjects: P Language and Literature / nyelvészet és irodalom > P0 Philology. Linguistics / filológia, nyelvészet
Q Science / természettudomány > QA Mathematics / matematika > QA75 Electronic computers. Computer science / számítástechnika, számítógéptudomány
R Medicine / orvostudomány > RC Internal medicine / belgyógyászat > RC0321 Neuroscience. Biological psychiatry. Neuropsychiatry / idegkórtan, neurológia, pszichiátria
SWORD Depositor: MTMT SWORD
Depositing User: MTMT SWORD
Date Deposited: 22 Sep 2022 14:28
Last Modified: 31 Mar 2023 08:52
URI: http://real.mtak.hu/id/eprint/149404

Actions (login required)

Edit Item Edit Item