Блоги, чаты и другие сервисы для общения нужно постоянно модерировать. Вручную делать это получится ровно до тех пор, пока проект не станет слишком популярным. Представьте, как тяжело было бы следить за порядком в Chatroulette силами исключительно модераторов: такая работа потребовала бы тысяч сотрудников, непрерывно просматривающих чаты. И наверняка нарушала бы условия конфиденциальности.

Тут на помощь и приходят инструменты вроде Hive Moderation, функционал которых включает в себя и модерирование, и обнаружение сгенерированного нейросетью контента. Сейчас, когда искусственным интеллектом пользуются практически все, это очень полезная фича! Если вы хотите разобраться, как такой контент создается, приходите на наш бесплатный вебинар, где мы объясним, что из себя представляют нейросети и как выжить в мире, в котором искусственный интеллект стал частью обычной жизни.

Поговорим о Hive Moderation, его функциях, особенностях, плюсах и минусах.

Модерирование визуального, текстового и аудио-контента

Главная функция Hive Moderation — модерация, как понятно из названия, причем неважно, какого контента.

🤖 Визуальная модерация: картинок, в том числе в форматах *gif и *webp, и видео. Среди визуального контента нейросеть ищет:

  • NSFW — так обычно обозначается контент эротического содержания;
  • сцены жестокости, подразделяя их на категории «кровь» и «оружие»;
  • наркотики и параферналию, включая иглы, таблетки и сцены употребления;
  • ненависть — например, неприличные жесты.

Нейросеть распознает текст, вмонтированный в видеоролики и картинки, а также может отличить фотографию от иллюстрации.

Работает это так: система способна распознать, что на картинке изображен полуголый мужчина на фоне природы, и настроение у изображения слегка вызывающее (suggestive) — недостаточно для отметки NSFW, но неподходящее для некоторых сайтов.

🤖 Текстовая модерация: как обычный текст, так и надписи на изображениях и в видеороликах. Инструмент может вычленять такие потенциально опасные темы как:

  • сексуальный контент;
  • язык ненависти;
  • эксплуатацию детей;
  • жестокость и угрозы;
  • кибербуллинг;
  • распространение наркотиков;
  • спам и бессмыслицу;
  • телефонные номера;
  • рекламирование товаров и услуг;
  • любые темы, относящиеся к безопасности детей.

В абсолютно любом чате это незаменимый помощник, тем более что языковая модель в процессе использования учится обходить обычные текстовые уловки вроде замены кириллических знаков на латинские.

Текстовая модерация доступна в том числе на русском языке.

🤖 Аудио-модерация: звуковые сообщения, треки и ролики. Система переводит звук в текст и обрабатывает его так же, как обычную текстовую информацию. То есть, с помощью Hive Moderation в любом звуковом чате можно поймать:

  • угрозы и кибербуллинг;
  • сексуальный контент;
  • язык ненависти;
  • спам.

Hive Moderation предлагает систему фильтров, способную идентифицировать личные данные, нецензурную лексику, посторонний шум и в принципе что угодно — ее можно настроить под себя.

К сожалению, русский язык в аудио инструмент пока не распознает.

У Hive Moderation есть и дашборд все-в-одном, который предлагает:

  • автоматическую модерацию контента любого типа;
  • защиту от спама и ботов;
  • автобан пользователей, которые систематически нарушают правила;
  • предварительную разметку постов для дальнейшей оценки человеком.

Но и это не все.

Детектор сгенерированного контента

С ростом популярности нейросетей растет и количество сгенерированного контента. Зачастую отличить человеческую работу от продукта искусственного интеллекта непросто, хоть и необходимо, поскольку сгенерированные статьи не всегда полезны, иногда ошибаются в фактах и могут быть неуникальными.

В такой ситуации поможет детектор сгенерированного контента — и у Hive Moderation он есть. Инструмент не только модерирует изображения и текст, отыскивая нарушения правил, но и способен «поймать» творчество другой нейросети.

Зачем это нужно:

  • поиск плагиата и неуникальных текстов, что актуально для образовательных платформ, например;
  • баны в масштабах всего сайта, например, когда за работу берутся боты, тролли или флудеры;
  • создание новых фильтров — Hive Moderation можно научить мгновенно реагировать на ИИ-контент и сразу его удалять.

Система работает и с текстом, и с изображениями, определяя в процентах вероятность того, что контент был сгенерирован.

Hive Moderation обещает быстрые результаты с задержкой менее чем в 200 мс и точность свыше 99%. Языковые модели, по словам разработчиков, были обучены на огромном количестве контента разных жанров.

Цены и отзывы

Прайса на сайте Hive Moderation нет, можно запросить демо, чтобы протестировать систему, и уже потом получить коммерческое предложение.

Согласно порталу TrustRadius, к плюсам Hive Moderation можно отнести гибкий анализ биг дата, простоту использования, совместимость с HDFS и HQL, возможность классификации и точной маркировки данных. Минусы — медленная обработка запросов, несмотря на обещание минимальной задержки, невозможность применения для проведения транзакций в режиме реального времени.

На портале G2 у инструмента рейтинг 4,7 звезд из 5. Пользователи хвалят гибкость, возможность настройки как ручной, так и автоматической модерации, а ругают медлительность при обработке больших объемов данных через API и отсутствие некоторых языков.

Модерация нужна многим ресурсам. Круто, когда ее можно переложить на плечи нейросети. Как и любая автоматизация, это упрощает работу и избавляет людей от нудной рутины.