Невролозите учат компютрите да четат думи направо от мозъка на хората.
Кели Сервик, пишеща за Science, докладва тази седмица за три документа, публикувани на сървъра за отпечатване bioRxiv, в които три различни екипа изследователи демонстрират, че могат да декодират реч от записи на изстрелване на неврони. Във всяко изследване електродите, поставени директно върху мозъка, регистрират неврална активност, докато пациентите с мозъчна операция слушаха реч или четат думи на глас. Тогава изследователите се опитаха да разберат какво чуват или казват пациентите. Във всеки случай изследователите успяха да преобразуват електрическата активност на мозъка в поне донякъде разбираеми звукови файлове.
Първият документ, публикуван в bioRxiv на 10 октомври 2018 г., описва експеримент, в който изследователите играят записи на реч на пациенти с епилепсия, които са били в средата на мозъчната операция. (Невронните записи, направени в експеримента, трябваше да бъдат много подробни, за да бъдат интерпретирани. И това ниво на детайлност е достъпно само при редки обстоятелства, когато мозъкът е изложен на въздуха и електродите се поставят върху него директно, например при мозъчна хирургия .)
Докато пациентите слушали звуковите файлове, изследователите записвали неврони, стрелящи в частите на мозъка на пациента, които обработват звук. Учените опитали редица различни методи за превръщане на тези невронални изстрелвания в реч и открили, че "дълбокото учене" - при което компютърът се опитва да реши проблем, повече или по-малко без надзор - работи най-добре. Когато пускаха резултатите чрез вокодер, който синтезира човешки гласове, за група от 11 слушатели, тези хора бяха в състояние правилно да интерпретират думите 75 процента от времето.
Можете да слушате аудио от този експеримент тук.
Втората книга, публикувана на 27 ноември 2018 г., разчита на невронни записи от хора, подложени на операция за отстраняване на мозъчни тумори. Докато пациентите четат едносрични думи на глас, изследователите записват както звуците, излизащи от устата на участниците, така и невроните, стрелящи в участъците, произвеждащи речта на мозъка им. Вместо да тренират компютри дълбоко върху всеки пациент, тези изследователи научиха изкуствена невронна мрежа за преобразуване на невронните записи в аудио, показвайки, че резултатите са поне разбираеми и подобни на записите, направени от микрофоните. (Аудиото от този експеримент е тук, но трябва да бъде изтеглено като zip файл.)
Третата книга, публикувана на 9 август 2018 г., разчита на запис на частта от мозъка, която преобразува конкретни думи, които човек решава да говори в мускулни движения. Въпреки че не е наличен запис от този експеримент онлайн, изследователите съобщават, че са успели да реконструират цели изречения (също записани по време на мозъчна операция на пациенти с епилепсия) и че хората, които слушат изреченията, са били в състояние правилно да ги интерпретират на многократен избор тест (от 10 възможности) 83 процента от времето. Методът на този експеримент разчита на идентифициране на моделите, свързани с производството на отделни срички, а не на цели думи.
Целта на всички тези експерименти е един ден да направи възможно хората, които са загубили способността да говорят (поради амиотрофична латерална склероза или подобни състояния), да говорят чрез интерфейс компютър-мозък. Науката за това приложение обаче все още не е налице.
Тълкуването на невронните модели на човек, който просто си представя реч, е по-сложно от интерпретирането на моделите на някой, който слуша или произвежда реч, съобщи Science. (Въпреки това, авторите на втория документ казаха, че може да е възможно да се интерпретира мозъчната дейност на някой, който си представя реч.)
Важно е също да имате предвид, че това са малки проучвания. Първият документ разчита на данни, взети само от петима пациенти, докато вторият разглежда шестима пациенти, а третият само трима. И нито един от невронните записи не продължи повече от час.
Все пак науката се движи напред и устройствата за изкуствена реч, закачени директно към мозъка, изглежда като реална възможност в някакъв момент надолу по пътя.
