Что там с AI антиспамом? Ранее я уже писал, что тестирую подк | :] Полезные боты для бизнеса и жизни

Что там с AI антиспамом?

Ранее я уже писал, что тестирую подключение AI к боту @defensy_bot. Натренированная моделька (программа ии) проверяла сообщения, которые не подходили ни под один фильтр бота. После проверки выносила вердикт - спам или не спам. Я просил тестировщиков подключить этот фильтр и визуально оценить как он отрабатывает. Оценки оказались ... не однозначны.

Делюсь своими наблюдениями

1. Все отчеты работы AI фильтра я получал аналогично админам тестируемых групп. И, если бы я со своей колокольни точно определил сообщение как спам (также как и ai) и удалил его, то админ группы наоборот считал это НЕ спамом. Т.е. на лицо есть двойное восприятие одного и того же. Возможно, это из-за небольшой выборки тестируемых групп, но что есть, то есть.

2. Фильтр плохо работает на группах по мероприятиям\предложению работы\некоторым доскам объявлений. Т.е. где сильно пересекается со спамом, который рассылают по группам.

3. Я б не сказал, что эксперимент провален, это интересный опыт, но модель ИИ нужно дорабатывать, чем займусь в ближайшем будущем. Я всеж доведу эту задачу до логического конца, чтоб удалять только 100% спамные попадания. На данный момент фильтр отключил у всех тестировщиков. Спасибо им большое за помощь и тесты

Вместо вывода

Да, я бы мог навешать лапши, что внедрил супер-пупер крутую технологию, но рассказал всё как есть. Неточности есть, и с ними надо работать. Теперь понимаю, почему так плохо работает родной антиспам от телеги. Сложно всех подвести под одну гребенку и сделать алгоритм универсальным (хотя, думаю, это возможно). В одном чате сообщение будет являться спамом, а в другом - нет. Отсюда большое количество ложно-положительных сработок.

Из приятного - в бота обратной связи и поддержки клиентов @heysupport_bot добавил возможность перекидывать и возвращать запросы от пользователей в нескольких чатах между собой - т.е. сейчас полноценно можно делать отделы (например, контента, рекламы, поддержки), садить их в разные чаты и работать только через 1 бота (в режиме 1 окна).

Полезные боты | Все мои боты | Разработка