Брейнрот LLM ещё актуален или искусственный разум становится умнее?

Чат-боты — умные помощники или источники дезинформации?

Значительную часть работы копирайтера занимает поиск информации, а её достоверность имеет огромное значение для создания высококачественного контента.

В предыдущей статье мы рассказали об изменении предпочтений пользователей при поиске информации: всё больше людей довольствуются фактами, предоставленными искусственным разумом. Ранее мы уже говорили об опасности такого подхода при создании контента и в обычной жизни: ИИ ошибается слишком часто, чтобы сгенерированным ответам можно было всецело доверять.

Мы также писали о том, что большие языковые модели (LLM), поглощающие огромные массивы информации из сети, подвержены «гниению мозга» — брейнроту, а последние исследования лишь подтверждают, что чат-боты далеко не так умны, как о том говорят их создатели.

Как известно, брейнрот у людей и нейросетей вызывает потребление огромных массивов низкопробного контента. Кроме того, ошибки AI-ассистентов могут быть вызваны несовершенством их алгоритмов обработки информации.

Несколько исследований об оценке «интеллекта» LLM

‼️Ещё осенью 2024 года в «Гардиан» появилась статья о том, что Google и его конкуренты всё чаще предлагают пользователям сгенерированные ИИ ответы на запросы. При этом информация от нейросетей далека от достоверности и ею можно манипулировать.

Изучив типы данных, которые большие языковые модели считают наиболее убедительными, три исследователя в области компьютерных наук из Калифорнийского университета в Беркли обнаружили, что современные чат-боты чрезмерно полагаются на поверхностную релевантность информации. Они, как правило, отдают приоритет тексту, содержащему соответствующую техническую терминологию или насыщенному связанными с темой ключевыми словами. При этом ИИ игнорирует другие характеристики, которые мы обычно используем для оценки достоверности, такие как наличие ссылок на научные труды или других объективных данных, не зависящих от личных предпочтений авторов контента.

Когда речь идёт о признанных специалистами фактах, достоверность ответов ИИ довольно высока. Почему не абсолютна? Потому что любой чат-бот можно взломать и заставить выдать нужный результат. Ну а если у ученых нет консенсуса по какому-то вопросу, то алгоритм, заставляющий чат-бот выбрать ту или иную точку зрения, не всегда корректен, и сгенерированные ответы могут быть очень далеки от истины.

‼️Статья в «Гардиан» вышла более года назад, но за это время мало, что изменилось. Более того, совместное новейшее исследование Microsoft и Salesforce показывает, что чат-боты с искусственным интеллектом становятся тем глупее, чем дольше вы с ними общаетесь: надежность сгенерированных ответов падает на 112% за 200 000 чатов.

‼️Интересный эксперимент был представлен на конференции NeurIPS 2025. Учёные из Калифорнийского университета в Сан-Диего изучали интеллект самых популярных моделей ИИ с помощью настольной игры Dungeons & Dragons.

Исследователи оценивали производительность Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 по шести различным категориям, включая то, насколько хорошо они использовали свои инструменты и насколько эффективно планировали свою тактику. Результаты работы ИИ-систем разочаровали учёных. Более того, оказалось, что точность всех моделей снижалась по мере развития игры.

‼️Еще одна наглядная демонстрация нарушений интеллекта LLM приведена в исследовании специалистов Техасского университета в Остине, Техасского университета A&M и Университета Пердью. Специалистов особенно встревожило то, что вирусный или привлекающий внимание контент, набирающий популярность в интернете, оказывает на работу ИИ такое же влияние, как и на сознание человека.

 В этом же обзоре показано, что попытки сделать поглупевшую LLM более умной с помощью дообучения и тонких настроек обречены на провал.

Не в коня корм— переобучение не останавливает гниение мозга

Это видно на графиках тестов от ARC-Challenge, RULER-CWE и AdvBench:

Brain Rot is Persistent Against Mitigations

Вывод: чат-боты призваны облегчить жизнь человеку. Они избавляют нас от трудоёмкого поиска нужной информации по десяткам сайтов. Но надо помнить, что ИИ-системы могут ошибаться, поэтому проверяйте и перепроверяйте контент от чат-ботов, какими бы умными и продвинутыми нам их ни рисовала реклама.

Читайте нас в телеграм-канале