Технология декодирования данных мозга

Основой эксперимента стала технология, считывающая сигналы головного мозга – объекты эксперимента проходили процедуру функционального МРТ в то время, как смотрели видео. Главный элемент исследования – сверточная нейронная сеть, которая буквально учит устройства распознавать лица или объекты. В данном эксперименте эта нейронная сеть применялась для того, чтобы изучить, как зрительные раздражители воспринимаются мозгом.

В этот раз технология была впервые применена для изучения обработки мозгом сигналов о динамичном, а не статичном объекте. Материалом исследования стала 11,5-часовая фМРТ-сессия, в ходе которой три женщины просмотрели 972 видео с людьми и животными, совершающими какие-либо действия.

Использовав сеть, ученые смогли восстановить видео по тем данным, что получили из мозга испытуемых. Но главной особенностью эксперимента стало не это, а то, что восстановление происходило в режиме реального времени, т.е. в тот момент, когда «подопытные» просматривали видеоролики.

В ходе исследования удалось также установить, что мозг дробит получаемую информацию на составляющие, которые затем воссоединяются для понимания в зрительной коре. То есть, например, если человек видит картинку, на которой присутствуют автомобиль и здание, то мозг воспринимает отдельно здание и отдельно – машину. И только будучи переданным в кору, сигнал соединяется в целое, и человек понимает, что он видит.