Tech

Le tudják hallgatni az agyunkat

Először sikerült agyhullámokat érthető, értelmes beszéddé alakítani: a Columbia Egyetem kutatói ugyanazt a technológiát használták fel, amit az Apple Siri vagy az Amazon Echo virtuális asszisztensekbe is építettek a beszédfelismerés miatt.
Korábban a témában:

Eddig soha nem tapasztalt tisztasággal képesek visszaidézni agyi aktivitás monitorozásával azt, hogy valaki mit hallott – a Columbia Egyetem kutatóinak sikerült beszédszinkronizálók és mesterséges intelligencia segítségével az, ami még senkinek. Az eredmények segíthetnek abban, hogy előrehaladjon az aggyal közvetlenül kommunikáló számítógépek fejlesztése, és abban is, hogy a beszédkészségüket elvesztett emberek mégis ki tudják fejezni magukat hatékonyan szavak segítségével.

A Scientific Reports tudományos folyóiratban megjelent tanulmány szerint a kutatócsapat korábbi kutatásai egyszerű számítógépes modellekre fókuszáltak, amelyek spektrogramokat elemeztek – ezek a hangfrekvenciák vizuális megjelenéseit takarják. Hamar rájöttek viszont, hogy ez a módszer nem működik, nem sikerült értelmes, érthető szavakat kialakítani az elemzésekből.

Ezután fordultak az úgynevezett vodcoderhez, vagyis beszédszintetizátorhoz – ez egy olyan számítógépes algoritmus, ami a felvett emberi beszédből tanul, és így ismeri fel a szavakat. „Ez ugyanaz a technológia, amit az Apple Siri és az Amazon Echo is használ” – mondta el dr. Nima Mesgarani, az egyetem kutatója, a kutatócsapat vezetője. „A hangunk segít összekötni minket a barátainkkal és a családunkkal, valamint a körülöttünk élő világgal, ezért is olyan szörnyű, ha valaki elveszíti a beszédkészségét sérülés vagy betegség következtében.”

A kutatásunk megmutatja, hogy a megfelelő technológiával bárkinek a gondolatai hallható szavakra fordíthatók.

Több évtizednyi kutatás bizonyította be, hogy amikor valaki beszél, valakit hallgat, vagy egyáltalán a beszédre gondol, az agyában jól felismerhető, elkülöníthető mintákból álló jelek jelennek meg. Kutatók évek óta próbálják meg visszafejteni ezeket a mintákat, hogy létrehozzanak egy olyan rendszert, ami a beszédüktől megfosztott embereknek is visszaadja a hangját. A gondolatoknak nem kell az ember fejében maradniuk – ezzel az új rendszerrel verbális beszédre is le lehet őket fordítani.

Dr. Mesgarani és csapata együttműködött a Northwell Egészségügyi Idegtudományi Központtal (Northwell Health Physician Partners Neuroscience), ahol epilepszia miatt egyébként is műtétre váró betegek agyát figyelték meg a beavatkozás közben. Az agyi aktivitást lekövették akkor, amikor a betegek beszédet hallgattak, méghozzá egy gép által elmondott számsort. A számsor hallgatása alatt megjelenő agyi aktivitásmintákat végül betáplálták a vodcoderbe, és neurális hálózatok segítségével analizálták majd megtisztították, aztán lejátszották a kapott eredményt.

A vodcoder egy olyan számsort mondott vissza, aminek a kutatásban résztvevő alanyok 75 százalékát megértette, ez sokkal jobb eredmény, mint eddig bármilyen hasonló kutatás esetében. Az eredmények akkor még szembetűnőbbek voltak, ha összevetették őket korábbi, spektogramokra épülő hangokkal.

A kutatócsapat most bonyolultabb szavakkal is szeretné tesztelni a rendszert, valamint úgy is, hogy az alanyok beszélnek, vagy beszédre gondolnak. Utóbbi azért is lenne óriási fejlődés, mert a beszédképtelen embereknek elég lenne arra gondolniuk, hogy kimondanak egy mondatot, egy dekóder máris képes lenne verbálisan is kifejezni a gondolataikat.

Ajánlott videó mutasd mind

Ha kommentelni, beszélgetni, vitatkozni szeretnél, vagy csak megosztanád a véleményedet másokkal, a 24.hu Facebook-oldalán teheted meg. Ha bővebben olvasnál az okokról, itt találsz válaszokat.

A cikkhez ide kattintva szólhatsz hozzá.
Nézd meg a legfrissebb cikkeinket a címlapon!
24-logo

Engedélyezi, hogy a 24.hu értesítéseket
küldjön Önnek a kiemelt hírekről?
Az értesítések bármikor kikapcsolhatók
a böngésző beállításaiban.