Усну промову японці сприймають на слух більшою мірою, ніж жителі англомовних країн, які сприймають сказане не тільки вухами, а й очима.
Відомо, що ми сприймаємо мову не тільки на слух, але і на око - коли ми дивимося в обличчя розмовляючому, на його рухомі губи, це допомагає нам зрозуміти, що він говорить - особливо, якщо ми розмовляємо в якомусь галасливому місці. Те, що зір тісно взаємопов'язаний зі слухом, наочно проявляється в ефекті Мак-Гурка: коли людина чує одне, а бачить інше - наприклад, якщо у фонограмі вона чує повторювані склади ba-ba, а обличчя на екрані перед ним вимовляє ga-ga - то в сприйнятті виявиться щось середнє, не ba і не ga.
Більшість людей у такій ситуації чує da-da, причому піддослідний не віддає собі звіт у невідповідності між тим, що він бачить і тим, що чує. Ефект Мак-Гурка проявляється не тільки в окремих звуках, але і в цілих реченнях, і, що цікаво, навіть якщо людині пояснити, в чому тут справа, сам ефект нікуди не дінеться, і мозок знаючого секрет фокусу все одно буде сприймати середнє арифметичне між зоровим стимулом і слуховим.
Але при цьому взаємодія слуху і зору сильно залежить від культурно-мовного контексту. Наприклад, порівняно з англомовними людьми японці звертають мало уваги на рухи доль, коли слухають іншого. Щоб детальніше вивчити «японський феномен», дослідники з Університету Кумамото проаналізували напрямок погляду, реакцію мозку і час реакції на сказаний у декількох десятків людей, для половини з яких рідною мовою була англійська, а для іншої половини - японська.
У статті в Scientific Reports говориться, що якщо мова можна було сприймати не тільки на слух, але і на око (тобто коли перед учасником експерименту стояв ще й монітор, на якому було видно, як хтось щось вимовляє), то англомовні піддослідні спрямували свій погляд на рот людини на відео навіть ще до того, як той починав говорити. У японців же погляд особливо ніде не затримувався, блукаючи по всій відеозображенні. Як наслідок, англомовні індивідууми швидше розуміли, що їм було сказано, якщо у них була можливість в буквальному сенсі дивитися розмовляючому в рот, тоді як японці від візуальної інформації ніяких переваг не отримували і, незважаючи на можливість спостерігати губи, все одно розуміли сказане з затримкою. На відео рот балакучого починав рухатися на кілька сотень мілісекунд раніше, ніж лунав перший звук, так що «англійці», які дивилися в рот тому, хто говорив, могли злегка підготуватися до того, що вони почують.
Відмінності в поведінці і розумінні мови відбивалися і на активності мозку. Функціональна магнітно-резонансна томографія показала, що у тих, хто з народження говорив англійською, зв'язок між зоровим аналізатором і слуховим був сильнішим, ніж у тих, хто з народження говорив японською; і у англомовних зв'язок між слуховим і глядацьким областями кори включався раніше, на найперших етапах обробки слухової інформації.
Можливо, особливості сприйняття мови японцями кореняться в їх культурних особливостях - навіть ті, хто мало знайомий з культурою Японії, знають, що у них не прийнято пильно дивитися в обличчя при розмові. Можна уявити, що мозок, в силу природної пластичності, враховує таку поведінкову особливість і в результаті перестає звертати уваги на візуальні сигнали, що супроводжують мову; не виключено, що якісь схожі особливості у сприйнятті усної мови є й інших культурах.
З практичної ж точки зору це означає, що звичайні для західних людей рекомендації вчити іноземну мову за допомогою відеоуроків можуть виявитися марними для японців, які слухають чужу мову не дивлячись.