Ученые начали изучать ИИ как мозг, а не как алгоритм
Новости
Смена подхода может дать свои плоды
56 открытий376 показов
Современные ИИ-модели уже работают в больницах, судах, школах и даже религиозных организациях.
При этом парадокс заключается в том, что даже их создатели до конца не понимают, что именно происходит внутри этих систем в момент принятия решения. Классический инженерный подход — разложить алгоритм на формулы и правила — перестал работать.
Поэтому исследователи начали менять подход. Вместо того, чтобы анализировать ИИ как программу, его все чаще изучают как биологическую систему. Примерно так же, как ученые изучают человеческий мозг.
ИИ под «МРТ»: механистическая интерпретируемость
Как пишет MIT Technology Review, исследователи из Anthropic разработали инструменты для так называемой механистической интерпретируемости.
Они позволяют отслеживать, какие внутренние структуры модели активируются при выполнении конкретной задачи.
По аналогии с медициной, это похоже на МРТ: мы не знаем, как именно работает сознание, но можем наблюдать активность и делать выводы. Один из ученых Anthropic Джош Батсон прямо говорит, что такой анализ ближе к биологии, чем к математике или физике.
«Органоиды» для ИИ
Еще один подход вдохновлен биологией напрямую. В медицине для исследований используют органоиды — миниатюрные аналоги человеческих органов.
В ИИ похожую роль играют специальные нейросети, например sparse autoencoder. Это упрощенные модели, внутреннюю логику которых легче анализировать, чем у полноценных LLM.
Такие «упрощенные мозги» позволяют понять, какие представления формируются внутри модели и как они связаны с итоговым поведением.
Вслушаться во внутренний монолог
Отдельное направление — мониторинг цепочек рассуждений (chain-of-thought monitoring). Модели просят объяснять, почему они пришли к тому или иному выводу. Это похоже на попытку услышать внутренний монолог человека.
По словам исследователя OpenAI Боэна Бейкера, этот метод оказался неожиданно эффективным. Он уже помог выявлять случаи, когда модель действует «плохо» или расходится с собственными правилами безопасности и истинности.
Почему ученые спешат
Главная причина спешки скрыта в тревоге. Специалисты опасаются сложности будущих моделей.
Есть риск, что ИИ станет настолько запутанным (особенно если новые системы будут проектироваться другими ИИ), что инженеры полностью перестанут понимать принцип работы технологии.
Опасность не абстрактная. В новостях уже появляются реальные случаи, когда люди вредили себе из-за советов ИИ. И это происходит на фоне того, что мы все еще не понимаем, как именно эти системы формируют ответы
56 открытий376 показов
