Cercetatorii de la Universitatea Columbia au folosit deep learning-ul pentru a imbunatati tehnologiile de neuroprotectie a vorbirii, care pot duce la refacerea unui discurs corect si inteligibil din cortexul auditiv uman.
Aceasta cercetare are potentialul de a ajuta intr-o zi pacientii care si-au pierdut capacitatea de a vorbi, de a comunica cu cei dragi.
“Abordarea noastra face un pas spre urmatoarea generatie de sisteme de interactiune om-computer si mai multe canale de comunicare naturale pentru pacientii care sufera de paralizie si sindroame locked-in”, au declarat cercetatorii in articolul lor.
„Vocile noastre ne ajuta sa ne conectam la prietenii, familia si lumea din jurul nostru, motiv pentru care pierderea puterii glasului din cauza ranirii sau a bolii este atat de devastatoare”, a declarat Nima Mesgarani, autorul principal al lucrarii si un investigator principal la Columbia Universitatea Mortimer B. Zuckerman Brain Behavior Institute.
„Cu studiul de astazi, avem o modalitate potentiala de a restabili [vocea]. Am aratat ca, cu tehnologia potrivita, gandurile acestor oameni ar putea fi decodificate si intelese de orice ascultator”.
Studiile anterioare au aratat ca, atunci cand oamenii vorbesc sau isi imagineaza vorbirea, anumite modele, date neuronale, apar in creierul lor. Alte modele apar si atunci cand ascultam sau ne imaginam pe cineva care vorbeste. Refacerea discursului de la aceste raspunsuri neuronale, inregistrat din cortexul auditiv uman, ar putea crea intr-o zi o cale de comunicare directa catre creier.
Aceasta activitate a fost facuta in colaborare cu un neurochirurg de la Northwell Health Physician Partners Neuroscience Institute. Aceasta colaborare a permis colectarea datelor de la pacientii care au suferit deja operatii pe creier.
Utilizand GPU-urile Nvidia TITAN si Nvidia Tesla, cu cuDNN-accelerated TensorFlow deep learning framework, cercetatorii au reusit sa dezvolte modele de deep learning, facand posibila producerea unei voci generate de calculator care recita o succesiune de numere cu un nivel de acuratete
