Ученые из Университета Осаки в Японии научили нейросеть рисовать рисунки, основываясь на воображении человека. Исследование опубликовано на научном ресурсе для биологов.

Во время эксперимента четырем добровольцам под контролем МРТ показывали фотографии. Нейросеть Dall-E 2 от американской компании OpenAI затем восстанавливала то, что человек видел на картинках.

Авторы исследования выяснили, что информация извлекается из затылочной и височной долей мозга, которые отвечают за восприятие изображений. Нейросеть, основываясь на опыте распознавания обучающих картинок, находит совпадения в активности мозга человека с точностью до 80%.

«Мы демонстрируем, что наша простая структура может восстанавливать изображения с высоким разрешением из активности мозга с высокой семантической точностью. В отличие от предыдущих исследований реконструкции изображений, наш метод не требует тонкой настройки сложных моделей глубокого обучения», – пишут авторы исследования.

По мнению ученых, реконструкция визуальных впечатлений на основе активности человеческого мозга предлагает уникальный способ понять, как мозг представляет мир, и интерпретировать связь между моделями компьютерного зрения и нашей зрительной системой.

Подписывайтесь на наш телеграм-канал и читайте нас в соцсетях: Vk, Одноклассники, Яндекс.Дзен.