Комп'ютерний алгоритм зміг навчитися мови за рухами рота.
Коли ми хочемо щось сказати, мозок миттєво знаходить в пам'яті потрібні слова і комбінує їх відповідно до правил мови - все це супроводжується масою нейронних сигналів, які носяться по центрах пам'яті мозку, мовних центрах тощо. І якщо спробувати нейронні сигнали озвучити прямо з мозку, зіставивши з ними потрібні звуки, які міг би вимовляти робот, це буде дуже складно.
Але можна вчинити інакше. Адже в підсумку мозок посилає мовні сигнали на мовний апарат - тобто до мови, гортані, губів, нижньої щелепи. А імпульси, спрямовані до м'язів, розрізнити в купі нейронних сигналів вже простіше. Дослідники з Каліфорнійського університету в Сан-Франциско працювали з п'ятьма добровольцями, які лікувалися від епілепсії - їм в мозок в лікувальних цілях вводили електроди, щоб відстежувати епілептичні імпульси. Часто такі хворі беруть участь у нейробіологічних експериментах на різні теми - адже у них можна підглянути, як працює живий людський мозок.
З цими електродами в мовному центрі мозку їх просили голосно і виразно прочитувати кілька сотень речень. Запис нейронної активності поєднували з даними про те, як рухаються мова, губи тощо під час говоріння. Спеціальний комп'ютерний алгоритм шукав відповідності між нейронною активністю і рухами рота.
Рухи рота відправлялися на декодер, який підбирав до них звуки, що вимовляються комп'ютерним голосом. Зі звуків складалися ті ж самі пропозиції, які зачитували учасники експерименту. І вже ці синтетичні пропозиції прокручували іншим людям, які повинні були сказати, скільки слів вони можуть з них розібрати.
У статті в Nature йдеться, що в синтетичних реченнях вдавалося розібрати в середньому 70% слів, хоча багато залежало від довжини пропозиції і від інших параметрів. Загалом такий метод зчитування мови з мозку набагато ефективніший, ніж коли звуки мови намагаються визначити безпосередньо за активністю нейронів, без посередництва голосового апарату.
Можна припустити, що подібний пристрій допоміг би знайти мову паралізованим людям, які втратили мову, наприклад, через інсульт, який торкнувся нейрони, що контролюють рухи мови і щелепи. Однак поки неясно, як це буде працювати з тими, хто якраз не може рухати ротом. Все-таки алгоритм тренували на реченнях, які вимовляли голосно і виразно. З іншого боку, всі ми один одного розуміємо, тобто, очевидно, робимо схожі рухи губами, щелепою тощо, так що, може бути, можна навчити систему синтезу мови на здорових людях так, щоб вона працювала у хворих.