Как Data Light контролирует качество на вашем проекте?

Что такое ОКК?

Чтобы гарантировать высочайшее качество разметки, у Data Light есть уникальный подход к контролю качества. Валидацией каждого проекта занимается специальный отдел, ОКК.

В отдел Контроля качества входят валидаторы, которые осуществляют проверку разметки и предоставляют отчеты руководителям группы.

Этапы работы ОКК:

Зачем нужен ОКК?

Отдел контроля качества нужен для того, чтобы мы могли своевременно управлять качеством на проекте. Мы каждый день валидируем данные за предыдущий или текущий день, что позволяет своевременно принять меры, к примеру, разобрать проблемные кейсы с исполнителями, провести дообучение или обсудить техническое задание с заказчиками. Это позволяет нам стабильно гарантировать высокое качество разметки.

Также валидаторы работают вместе с руководителями групп и выступают в роли аналитиков. Обрабатывая большой объем данных, они могут замечать паттерны, аномалии или отклонения на проекте, и отправлять соответствующий отчет руководителям групп, что позволяет сократить время принятия решений.

Поэтому ОКК обязательно принимает участие в каждом проекте Data Light.

Из чего состоит экспертиза ОКК?

Она состоит из пяти основных пунктов: тестирование, скорость, согласованность, ремониторинг и error rate апелляций. На основе анализа этих критериев мы можем управлять работой отдела: нанимать или снимать с проекта валидаторов, а также прояснять необходимые моменты на встречах.

Тестирование

По всем проектам, которые длятся больше двух недель, мы проводим тестирование. В него входят от 10 до 20 вопросов по техническому заданию проекта.

Скорость

ОКК влияет на скорость сдачи проекта, потому что все данные требуют валидации. Чем раньше все необходимые данные будут проверены, тем быстрее можно будет сдать проект. Поэтому у отдела Контроля качества есть метрики по скорости, чтобы проекты сдавались вовремя и без отсрочек.

Согласованность

Нам важно соблюдать уровень однородности резолюций на один и тот же кейс, поэтому мы ведем оценку согласованности команд. Для этого мы даем разным валидаторам на проекте один и тот же кейс для самостоятельного решения.

В этой метрике принимают участие и руководители групп, которые являются экспертами в ТЗ и размечают точно такой же кейс.

Ремониторинг

Для того, чтобы контролировать качество ОКК, существует ремониторинг. В каждом проекте мы проводим срез ответов для каждого валидатора, где проверяем, какие действия он считает правильными, корректно ли подтверждены кейсы, в курсе ли он последних обновлений.

После мы проверяем каждого валидатора на самую большую группу ошибок на проекте, а также на предыдущие ошибки. Нам важно убедиться, что корректировки, которые мы запланировали, проведены успешно, и валидатор правильно трактует такие кейсы.

Error Rate апелляций

Также нам очень важно проверить, были ли у руководителя группы апелляции по найденным ОКК ошибкам. И если да — сколько из них успешных, которые подтверждают ошибки ОКК. Важно отслеживать эту метрику, так как она влияет на корректность error rate на проекте, а также отнимает время у всех участников процесса апелляций.