Мозг vs. Большие Языковые Модели: Сходства и Будущее

😮 Наш мозг и большие языковые модели обрабатывают язык похожим образом

Google подробно описала весь процесс в своем блоге. Исследователи следили за тем, как «думает» модель Whisper и записывали активность мозга человека. После сравнения результатов было выявлены следующие закономерности:

Работа LLM и мозга: Общие черты

🟣 Работа больших языковых моделей (LLM) напоминает обработку речи в мозге. Их внутренние представления слов схожи с нейроактивностью в зонах, отвечающих за язык. Это подтверждает идею о том, что LLM, такие как GPT-4, функционируют, используя сложные нейронные сети, имитирующие когнитивные процессы. Подробнее о работе нейросетей.

🟣 Когда мы слышим речь, сначала активируется слуховая кора, затем зоны смысла. Когда говорим — сначала планируем слова, потом включаются моторные области, а после — анализируем сказанное. Нейросети же работают на статистике, но при этом их предсказания следующего слова почти совпадают с тем, что «генерирует» наш мозг. Например, при обработке фразы «кот сидит на…», мозг и LLM с высокой вероятностью предскажут «крыше» или «диване». Аналогично, понимание и генерация юмора демонстрируют схожие механизмы.

Ключевые сходства в обработке языка

• Семантическое кодирование: LLM и мозг используют общие принципы для представления значений слов.
• Контекстуальная обработка: Оба способа учитывают контекст для понимания и генерации языка.
• Предсказательное кодирование: LLM и мозг предсказывают следующее слово или фразу на основе предыдущего.

Скайнет потихоньку перестает быть научной фантастикой. Discover more about the future of AI.