За время показа учёные смогли получить огромное количество данных фМРТ, которые затем начали демонстрировать свёрточной нейронной сети, обученной сопоставлять активность мозга с сюжетами видеороликов.
По снимку фМРТ сеть научилась очень быстро и правильно определять, что именно смотрел доброволец в то время, когда был сделан снимок.
Кроме того, нейросеть научилась расшифровывать данные других людей, основываясь на полученной с фМРТ других добровольцев информации, при этом результат был одинаково высок как при данных фМРТ здоровых испытуемых, так и тех, что имели дефекты зрения.
Благодаря этому исследованию учёные смогли расшифровать мысли, а заодно и выяснили, какие участки мозга отвечают за распознавание изображений и видеороликов. Дело в том, что мозг разделяет видеоролик на отдельные составляющие.
Например, если человек видит движущуюся на фоне стены машину, то одна зона мозга распознаёт стену, а другая автомобиль — таким образом у учёных получилось проследить работу мозга при сопоставлении отдельных блоков информации и сведении её в единую картину.
