2023-03-16 13:58:37
Потестировал несколько AI контент детектеров на текстах одного из своих сайтов, где мы с коллегой публикуем сгенерированный с помощью ChatGPT контент. Ниже делюсь результатами.
Родной инструмент OpenAI
https://platform.openai.com/ai-text-classifier
Определяет свой же контент unlikely AI-generated. Однако, если ему давать не большую статью, а несколько абзацев из нее, то пишет, что ему не понятно, сгенерирован ли контент с помощью AI.
AI Content Detector на Writer
https://writer.com/ai-content-detector/
Проверяет лишь тексты до 1500 символов. Во всех моих случаях написал, что текст 100% HUMAN-GENERATED.
Copyleaks
https://copyleaks.com/ai-content-detector
Тут уже поинтересней. Во всех моих случаях сервис показывал очень большую вероятность генерированного контента. Подсвечивает, какие именно параграфы его смущают.
Contentscale
https://contentatscale.ai/ai-content-detector/
Понравился интерфейс, и что они детектят контент по разным параметрам, плюс также подсвечивают сомнительные предложения. Но нюанс этого инструмента в том, что длина текста очень сильно влияет на результат. Для коротких текстов он определял, что контент сгенерен, а если текст увеличиваешь или берешь полный текст статьи, то он уже дает большой Human Score.
Crossplag
https://crossplag.com/ai-content-detector/
Малофункциональный инструмент. Для короткого текста сказал, что все плохо (90%+ AI), для полного текста статьи, который буквально в 2 раза больше начального, написал, что все гуд (14% AI)!
Краткие итоги:
— Все сервисы детектят AI контент по-разному. Как именно его детектит Google, одному ему известно.
— На результат детектирования сильно влияет длина текста.
— Родной инструмент OpenAI не определяет свой контент как сгенерированный (генерировался 4й версией).
— Лучшие 2 инструмента, которые могу выделить, это Contentscale и Copyleaks. Причем, на результаты последнего не влияет длина текста.
Делитесь в комментариях своими наблюдениями.
301 views10:58
Ш
