Потестировал несколько AI контент детектеров на текстах одного | Devaka Talk

Потестировал несколько AI контент детектеров на текстах одного из своих сайтов, где мы с коллегой публикуем сгенерированный с помощью ChatGPT контент. Ниже делюсь результатами.

Родной инструмент OpenAI
https://platform.openai.com/ai-text-classifier

Определяет свой же контент unlikely AI-generated. Однако, если ему давать не большую статью, а несколько абзацев из нее, то пишет, что ему не понятно, сгенерирован ли контент с помощью AI.

AI Content Detector на Writer
https://writer.com/ai-content-detector/

Проверяет лишь тексты до 1500 символов. Во всех моих случаях написал, что текст 100% HUMAN-GENERATED.

Copyleaks
https://copyleaks.com/ai-content-detector

Тут уже поинтересней. Во всех моих случаях сервис показывал очень большую вероятность генерированного контента. Подсвечивает, какие именно параграфы его смущают.

Contentscale
https://contentatscale.ai/ai-content-detector/

Понравился интерфейс, и что они детектят контент по разным параметрам, плюс также подсвечивают сомнительные предложения. Но нюанс этого инструмента в том, что длина текста очень сильно влияет на результат. Для коротких текстов он определял, что контент сгенерен, а если текст увеличиваешь или берешь полный текст статьи, то он уже дает большой Human Score.

Crossplag
https://crossplag.com/ai-content-detector/

Малофункциональный инструмент. Для короткого текста сказал, что все плохо (90%+ AI), для полного текста статьи, который буквально в 2 раза больше начального, написал, что все гуд (14% AI)!

Краткие итоги:
— Все сервисы детектят AI контент по-разному. Как именно его детектит Google, одному ему известно.
— На результат детектирования сильно влияет длина текста.
— Родной инструмент OpenAI не определяет свой контент как сгенерированный (генерировался 4й версией).
— Лучшие 2 инструмента, которые могу выделить, это Contentscale и Copyleaks. Причем, на результаты последнего не влияет длина текста.

Делитесь в комментариях своими наблюдениями.