Ошибки модераторов стоят дорого: пропущенное нарушение бьёт по площадке, а лишнее удаление — по доверию пользователей. Плюс в том, что большинство ошибок — типовые и их можно измерить. Разберём главные.

1. Ложные пропуски

Модератор одобрил то, что нужно было отклонить. Самая опасная ошибка: нарушение уходит в публикацию, и его видят пользователи. Причины — невнимательность, незнание правила или усталость.

Как измерять: доля пропущенных нарушений среди всех нарушений в тесте.

2. Избыточная модерация

Обратная крайность: модератор отклоняет нормальный контент «на всякий случай». Пользователи получают несправедливые баны и уходят.

Как измерять: доля нормального контента, отклонённого ошибочно.

3. Непоследовательность

Два похожих комментария получают разные решения — иногда даже у одного и того же модератора в разные дни. Это подрывает доверие к модерации в целом.

Как измерять: сравнение решений разных модераторов на одинаковых примерах.

4. Потеря концентрации на потоке

В начале смены точность высокая, к концу падает. Модерация — монотонная работа, и внимание закономерно снижается.

Как измерять: смотреть, как точность решений меняется по мере прохождения теста, а не только на итоговую цифру.

5. Слепые зоны в отдельных категориях

Общая точность 85% может скрывать провал: например, модератор отлично ловит оскорбления, но пропускает завуалированную рекламу. Средняя цифра усредняет и прячет проблему.

Как измерять: предлагать в тесте категории нарушений (оскорбление, дискриминация и пр.).

Почему «на глаз» не работает

Оценивать модератора по ощущениям — значит сравнивать его с настроением руководителя. Нужны цифры: точность, структура ошибок, разбивка по категориям, динамика. Для этого требуется эталон — набор примеров с заранее известными правильными решениями.

Как измерять на практике

Считать всё это вручную в таблицах тяжело. Moderika делает это автоматически: показывает точность каждого модератора, отдельно — ложные пропуски и избыточную модерацию, разбивку по категориям и график динамики. Так слабые места видно сразу, а не когда на них пожаловались пользователи. Как это работает · Начать бесплатно.