Война роботов. Поле битвы — копирайтинг

В предыдущей статье мы поговорили о судьбе копирайтинга в эпоху расцвета LLM, а сегодня продолжим тему искусственного разума в другом ключе. Нас заинтересовали так называемые детекторы ИИ — программы, якобы умеющие определять, сгенерирован текст или написан человеком.

Тема возникла не случайно, многие коллеги говорят о новых требованиях в брифах: тестирование готового текста такими сервисами. Недавно такое случилось и с нами: обнаружили в ТЗ от постоянного заказчика расширение списка необходимых проверок, в который добавили анализ использования ИИ с помощью одного из детекторов. 

— Ну и что? — спросит случайный читатель нашего блога. — Пишите сами, и не будет никаких проблем.

Увы, не всё так просто.

Как именно работают детекторы ИИ, мы не знаем, но даже небольшой опыт тестирования таких программ показал, что их алгоритмы значительно различаются: проверка одного и того же текста разными сервисами показывает совершенно разные результаты.

Детекторы ИИ — польза, вред или безобидное модное поветрие?

 

Сегодня любой из нас может поручить чат-боту на базе LLM сбор информации и написание текстов. Но возникла парадоксальная ситуация: одновременно с разработкой сервисов по генерации текстов, появляется огромное число площадок с AI-детекторами.

О качестве сгенерированного контента можно спорить, и не всем он по душе: ошибается, безэмоциональный, да и продаёт так себе. Неудивительно, что многие владельцы бизнеса продолжают заказывать контент у людей (и правильно делают), но очень волнуются, а не сгенерирован ли текст? И указывают в ТЗ обязательную проверку на «человечность».  И зачем им это? Неведом нам и принцип выбора детекторов, большинство из которых не выдерживают никакой критики. То, что многие из этих программ платные, — совсем грустно.

В свете всех этих проблем мы решили протестировать несколько сервисов из топа поисковиков и тех, что нам указывали в брифах. Вот что у нас получилось.

Первый выбранный нами сайт честно говорит, что с русским он не на короткой ноге, что не помешало заказчику выбрать его в качестве детектора ИИ. Мы попробовали загрузить в него известный отрывок из «Анны Карениной», после чего с удивлением узнали, что Лев Николаевич был киборгом — на 90%))

Самое «прекрасное», что сервис платный. Показав результаты заказчику, мы смогли  договориться об исключении этого пункта из брифа.

А вот примеры с бесплатными детекторами. Везде сайты переведены Гуглом.

На этой площадке Пушкину повезло больше, чем Толстому, ему отвели аж 34,5% человечности по отрывку из «Капитанской дочки»)).

И тут же, на этом же сайте, предложили перефразировать текст для «улучшения» результата. С помощью того же ИИ, конечно 🙂 И объяснили, как это хорошо 🙂

Справедливости ради скажем, не все боты так обошлись с классиками, кое-где признали их людьми, что радует. Но классика — классикой, а как обстоят дела с нехудожественной литературой? Мы заметили, что боты считают более человечными тексты в разговорном стиле. Но ведь не везде он уместен.

Вот отрывок из учебника по атомной и ядерной физике от любимого нашим менеджером Томского политеха, издание 2014 г., когда тексты ещё писали люди.

И тут же предложили очеловечить текст.  Ну а чем не заработок 🙂

Но, возможно, боты просто не сильны в ядерной физике? Проверим отрывок из учебника по металловедению от 1986 г.  Результат удручающий, как оказалось, киборги жили среди нас и в прошлом столетии)

Для чистоты эксперимента мы поручили боту сгенерировать текст — описание микроволновой печи — и проверили его детектором.

Результат:

Судя по результатам проверки на AI-контент, наш бот потрудился на славу, сумев частично сойти за человека 🙂

Другой сервис:

Но некоторые детекторы определили текст полностью сгенерированным, и это хорошо. В целом, как нам показалось, боты очень подозрительны — так и норовят уличить любой текст в сгенерированности. Теория заговора среди роботов или умная отладка программ для заказа «очеловечивания»?

Что обо всём этом думаем мы, сотрудники и авторы агентства «ТекстИс»? Нам видится, что происходит коммерциализация актуальной проблемы. Инструменты ИИ, которые способны реально помогать в создании контента, используют все, кто хочет подзаработать, рекламируя как услуги генерации текстов, так и сервисы проверки на вмешательство ИИ. И тут же предлагают «очеловечить, перефразировать» и пр. с помощью всё того же ни в чём не повинного искусственного разума. 

Вот еще один яркий пример: в App Store случайно попалось приложение — одновременно и детектор, и гуманизатор 🙂

Всё это было бы просто забавно, если бы не увлечение многих заказчиков этими новомодными сервисами проверки. А вот это реально мешает работе талантливых авторов, которые никогда не прибегают к услугам нейросетей.

А что думаете об этом вы? Нам интересно получить отклик как от копирайтеров, так и от заказчиков, а лучшие комментарии выложим в нашем блоге. Пишите 🙂