Разметка ключевых точек (Keypoint Annotation): что это и где применяется

От управления автомобилями до анализа медицинских изображений — технологии компьютерного зрения позволили автоматизировать многие задачи, которые раньше были под силу только человеку. Однако чтобы подобные умные алгоритмы работали точно, им требуется множество размеченных данных для обучения. 

Существуют разные типы разметки, и один из наиболее интересных примеров — разметка ключевых точек. В этой статье мы разберем, что это такое, как она выполняется и где применяется.

Что такое разметка ключевых точек? 

Разметка ключевых точек (Keypoint Annotation) — это метод разметки данных, задача которого заключается в том, чтобы отметить на изображении отдельные значимые точки объекта. В зависимости от цели проекта ключевые точки могут обозначать суставы человека, черты его лица, границы предметов или другие важные элементы.

Цель такой разметки — предоставить нейросетям точные координаты точек, чтобы на их основе они могли анализировать структуру или отдельные части объектов, отслеживать движения и даже прогнозировать действия. 

Разметка полигонами и разметка ключевых точек: в чем разница?

Чтобы лучше понять, как работает разметка ключевых точек, важно сравнить ее с другим типом разметки — разметкой полигонами. Оба метода используют точки для выделения объектов, но их цели и результаты заметно различаются.

Разметка полигонами

Разметка полигонами используется для точного определения формы чего-либо. Для этого разметчик выбирает на изображении необходимый объект и с помощью соединяющихся точек создает вокруг него замкнутый контур. В результате получается маска, которая описывает границы объекта с высокой точностью. Этот метод часто применяется в задачах сегментации: семантической, инстанс-сегментации и паноптической.

Разметка ключевых точек

В отличие от полигонов метод ключевых точек фокусируется на выделении отдельных значимых точек. Здесь они ставятся внутри или снаружи объекта и не соединяются в замкнутый контур. Этот метод полезен для задач, где важна именно структура или позиция объекта, а не его форма. Например, в задаче анализа лицевых эмоций точками могут отмечать расположение глаз, бровей и рта.

	Разметка полигонами	Разметка ключевых точек
Цель	Определение формы и границ объекта	Определение структуры/позиции объекта или его части
Расположение и соединение точек	Точки расставляются по контуру объекта и соединяются в замкнутую область	Точки расставляются в ключевых местах объекта (внутри или снаружи), но не создают замкнутую область
Сложность	Высокая: требует точного выделения границ объекта	Средняя: достаточно отметить несколько значимых точек

Типы данных для разметки ключевых точек

Основные форматы данных, которые можно разметить с помощью ключевых точек, включают:

• Изображения — самый распространенный и простой формат данных для этой задачи, где каждая ключевая точка обозначается координатами X и Y.
• Видео — более сложный формат, поскольку объекты движутся, и необходимо отслеживать положение ключевых точек на каждом кадре. Это усложняет разметку, так как точки должны сохранять логическую последовательность и быть привязаны к одним и тем же частям объекта на протяжении всего видеоряда.
• 3D-объекты — ключевые точки располагаются в трехмерном пространстве и имеют координаты X, Y и Z, что позволяет точнее учитывать их пространственное положение.
  

Применение разметки ключевых точек в ML и CV

Разметка ключевых точек используется в самых разных задачах машинного обучения и компьютерного зрения. Рассмотрим несколько примеров:

Оценка позы человека

Разметка ключевых точек часто применяется для анализа позы человека, оценки эргономики движений, мониторинга физической активности и выявления потенциально вредных нагрузок, например, в производственной среде.

Спортивная аналитика

В спортивной аналитике ключевые точки позволяют отслеживать действия игроков, анализировать их взаимодействие и помогают тренерам разрабатывать более эффективные стратегии игры.

Распознавание лиц

В системах распознавания лиц разметка ключевых точек используется для выделения глаз, носа, рта и других черт. Это основа для биометрической идентификации и распознавания эмоций. Например, в смартфонах такие технологии применяются для разблокировки экрана.

Системы видеонаблюдения 

Разметка ключевых точек повышает точность систем видеонаблюдения, позволяя анализировать поведение людей и выявлять подозрительные действия, что важно для обеспечения безопасности в общественных местах.

Робототехника и промышленная автоматизация

В робототехнике разметка ключевых точек применяется для программирования движений механизмов. Например, на сборочных линиях это помогает роботам точно выполнять захват или сборку деталей.

Процесс разметки ключевых точек

Процесс разметки ключевых точек включает несколько последовательных этапов:

1. Подготовка данных

Перед началом разметки нужно собрать и подготовить набор данных. Это могут быть изображения, видеозаписи или 3D-данные. Данные должны соответствовать цели проекта: быть разнообразными, хорошего качества и включать все нужные объекты.

2. Определение ключевых точек

На этом этапе определяется, какие именно точки будут размечаться, на каких объектах, в каком количестве. Важно заранее задать четкие критерии аннотации, чтобы обеспечить единообразие разметки.

3. Выбор инструмента для разметки

Для разметки используются специализированные инструменты. Некоторые популярные платформы, такие как CVAT или Label Studio, позволяют вручную отмечать ключевые точки на изображениях или видео. Инструмент выбирается в зависимости от формата данных, объема проекта и требований к удобству работы.

4. Разметка

После создания проекта и загрузки данных разметчик вручную отмечает ключевые точки на необходимых объектах. 

5. Проверка и корректировка

После завершения разметки результаты проверяются на точность и соответствие заданным требованиям. Проверка может быть выполнена вручную или с помощью автоматизированных скриптов.

6. Сохранение и экспорт данных

Когда разметка завершена и проверена, данные сохраняются в нужном формате (например, JSON или CSV) для использования в обучении моделей.

Неоднозначные моменты в разметке ключевых точек 

Хотя разметка ключевых точек достаточно проста, существуют несколько аспектов, которые могут вызывать трудности в ее реализации. 

Субъективность разметки

В некоторых случаях расположение ключевых точек может быть неоднозначным и зависеть от того, как понимает задачу сам разметчик. Чтобы минимизировать субъективность, необходимо четко прописывать инструкции и правила разметки, а также проводить валидацию разметки с привлечением дополнительных специалистов.

Разметка частично скрытых объектов

Когда объект частично закрыт другими предметами или выходит за границы изображения, разметка может быть затруднена. В таких случаях точки ставятся с учетом предполагаемого расположения скрытой части объекта или игнорируются. 

Ключевые выводы

Разметка ключевых точек — это основа для создания технологий, которые «видят» и анализируют мир так, как это делаем мы. Она находит применение в самых разных сферах: от распознавания лиц и анализа поз до робототехники. Этот процесс помогает моделям понимать структуру объектов, их взаимное расположение и движения. Несмотря на свою кажущуюся простоту, разметка ключевых точек требует соблюдения четких правил и контроля качества, поскольку от нее зависит точность работы нейросетей в реальных сценариях.