Eddig soha nem tapasztalt tisztasággal képesek visszaidézni agyi aktivitás monitorozásával azt, hogy valaki mit hallott – a Columbia Egyetem kutatóinak sikerült beszédszinkronizálók és mesterséges intelligencia segítségével az, ami még senkinek. Az eredmények segíthetnek abban, hogy előrehaladjon az aggyal közvetlenül kommunikáló számítógépek fejlesztése, és abban is, hogy a beszédkészségüket elvesztett emberek mégis ki tudják fejezni magukat hatékonyan szavak segítségével.
A Scientific Reports tudományos folyóiratban megjelent tanulmány szerint a kutatócsapat korábbi kutatásai egyszerű számítógépes modellekre fókuszáltak, amelyek spektrogramokat elemeztek – ezek a hangfrekvenciák vizuális megjelenéseit takarják. Hamar rájöttek viszont, hogy ez a módszer nem működik, nem sikerült értelmes, érthető szavakat kialakítani az elemzésekből.
Ezután fordultak az úgynevezett vodcoderhez, vagyis beszédszintetizátorhoz – ez egy olyan számítógépes algoritmus, ami a felvett emberi beszédből tanul, és így ismeri fel a szavakat. „Ez ugyanaz a technológia, amit az Apple Siri és az Amazon Echo is használ” – mondta el dr. Nima Mesgarani, az egyetem kutatója, a kutatócsapat vezetője. „A hangunk segít összekötni minket a barátainkkal és a családunkkal, valamint a körülöttünk élő világgal, ezért is olyan szörnyű, ha valaki elveszíti a beszédkészségét sérülés vagy betegség következtében.”
A kutatásunk megmutatja, hogy a megfelelő technológiával bárkinek a gondolatai hallható szavakra fordíthatók.
Több évtizednyi kutatás bizonyította be, hogy amikor valaki beszél, valakit hallgat, vagy egyáltalán a beszédre gondol, az agyában jól felismerhető, elkülöníthető mintákból álló jelek jelennek meg. Kutatók évek óta próbálják meg visszafejteni ezeket a mintákat, hogy létrehozzanak egy olyan rendszert, ami a beszédüktől megfosztott embereknek is visszaadja a hangját. A gondolatoknak nem kell az ember fejében maradniuk – ezzel az új rendszerrel verbális beszédre is le lehet őket fordítani.
Dr. Mesgarani és csapata együttműködött a Northwell Egészségügyi Idegtudományi Központtal (Northwell Health Physician Partners Neuroscience), ahol epilepszia miatt egyébként is műtétre váró betegek agyát figyelték meg a beavatkozás közben. Az agyi aktivitást lekövették akkor, amikor a betegek beszédet hallgattak, méghozzá egy gép által elmondott számsort. A számsor hallgatása alatt megjelenő agyi aktivitásmintákat végül betáplálták a vodcoderbe, és neurális hálózatok segítségével analizálták majd megtisztították, aztán lejátszották a kapott eredményt.
A vodcoder egy olyan számsort mondott vissza, aminek a kutatásban résztvevő alanyok 75 százalékát megértette, ez sokkal jobb eredmény, mint eddig bármilyen hasonló kutatás esetében. Az eredmények akkor még szembetűnőbbek voltak, ha összevetették őket korábbi, spektogramokra épülő hangokkal.
A kutatócsapat most bonyolultabb szavakkal is szeretné tesztelni a rendszert, valamint úgy is, hogy az alanyok beszélnek, vagy beszédre gondolnak. Utóbbi azért is lenne óriási fejlődés, mert a beszédképtelen embereknek elég lenne arra gondolniuk, hogy kimondanak egy mondatot, egy dekóder máris képes lenne verbálisan is kifejezni a gondolataikat.
