Magyar nyelvű neurális beszédszintézis vizsgálata dialógus helyzetben

Zainkó, Csaba and Csapó, Tamás Gábor and Bartalis, Mátyás and Németh, Géza and Németh, Norbert and Szász, Gábor Krisztián and Szviridov, István (2023) Magyar nyelvű neurális beszédszintézis vizsgálata dialógus helyzetben. In: XIX. Magyar Számítógépes Nyelvészeti Konferencia, MSZNY-2023. SZTE, Szeged, pp. 145-158. ISBN 9789633069127

Preview

Text Zainko-et-al-mszny2023.pdf Download (497kB) | Preview

Abstract

Jelen tanulmányban olyan mély neurális hálózat alapú beszédszintetizátor rendszert (DNN-TTS) mutatunk be, amely hangsorozat bemenetet vár és a beszéd hullámformáját két lépésben állítja elő, melspektrogram köztes reprezentációt használva. Részletesen bemutatjuk és összehasonlítotjuk a Tacotron2+WaveGlow és FastPitch+HiFi-GAN (tőlünk független) rendszereket és komponenseiket. A magyar nyelvű adatokon végzett saját kísérletekben három beszélővel (két női és egy férfi) generálunk szintezitált beszédmintákat. Szubjektív, MUSHRA típusú meghallgatásos tesztjeink során a tesztalanyok a DNN-TTS beszédszintetizátorral előállított mondatokat lényegesen természetesebbnek minősítették, mint a HMM-TTS alaprendszert. A szintetizált beszédminták minősége (természetessége) ugyan nem éri el a természetes beszéd szintjét, de közel áll hozzá (Tacotron2: 58%, FastPitch: 73%, természetes: 89%). Összességében a tesztelők a FastPitch rendszert preferálták a Tacotron2-vel szemben természetesség szempontjából. A ChatBot dialógusba ágyazott tesztek eredménye szerint a női beszélők preferáltak, és a DNN-TTS rendszerekkel előállított beszéd érthetőbb, természetesebb, mint a HMM-TTS alaprendszer, és tesztelők a válaszokat is relevánsabbnak és részletesebbnek érezték az alaprendszerhez képest.

Actions (login required)

Edit Item