Как мы учили нейросеть понимать правильность физических упражнений для стартапа

Фитнес — это не только про красивые мышцы, но и про технику. Даже простое упражнение может быть бесполезным или травмоопасным, если выполнять его неправильно, а правильность выполнения упражнений зависит от мобильности тела.

Двое тренеров, которые владеют сетью фитнес-залов, обратились к нам именно с этой задачей: научить ИИ помогать им оценивать мобильность тела клиентов и корректность их движений.

Идея звучит просто – человек делает несколько базовых упражнений, система фиксирует позу и выдает рекомендации, где тело “зажато”, а где техника нарушена.

У клиента была непростая задача – создать мобильное приложение, которым клиенты и тренеры могли бы тестировать степень мобильности тела, потому что от этой степени зависит вся дальнейшая работа с клиентом.

Но все упирается в ИИ-модуль, который должен уметь распознавать движения человека и находить в этих движениях правильные и неправильные паттерны. Это было нашей задачей для PoC (proof of concept).

Мы стартовали с PoC на пяти упражнениях. Для этого взяли за основу MediaPipe — фреймворк, который умеет находить ключевые точки на теле и считать углы между суставами. Далее эти углы надо было просто сравнить с эталонными значениями. Фреймворк показывает хорошую работу на многих задачах “из коробки”.

Но у нас на практике быстро выяснилось, что не всё так гладко:

• Не все точки определялись корректно, иногда приходилось программировать кастомные метки
• Результат сильно зависел от ракурса и пересечений конечностей
• Точки могли “съезжать” из-за качества видео или света

Мы нашли решение: сделали усреднение по нескольким кадрам, проработали алгоритмы под конкретные упражнения и научили ИИ-модель уверенно измерять углы даже в “сложных” позах.

Мы улучшили стабильность вычислений, добавили фильтрацию «шумных» точек и придумали, как компенсировать отсутствие «линейки» в кадре, чтобы система корректно определяла расстояния.

Клиенту понравился результат первого этапа и он попросил расширить его до 8 упражнений. Мы сделали это, тем самым проверив основную гипотезу клиента и доказав работоспособность модели на различных упражнениях и разных клиентах.

Сейчас пайплайн выглядит так:

1. Пользователь выполняет упражнение и записывает видео на смартфон
2. Тренер выбирает пиковые фазы движения и делает скриншоты, затем отправляет всё в наш ИИ-модуль
3. Нейросеть анализирует позы и углы
4. В результате нейросеть сообщает, где техника правильная, а где стоит доработать

Всего у клиента 13 упражнений и большие планы на MVP. С нашим PoC можно искать инвесторов, чтобы продолжить работу над приложением, ведь мы подтвердили гипотезу, стартап имеет шансы на успех.

Идеальный пайплайн для клиента выглядит следующим образом:

1. Пользователь выполняет упражнение и записывает видео на смартфон
2. Приложение само выбирает пиковые фазы движения и делает скриншоты
3. Нейросеть анализирует позу и углы
4. Результаты показывают, где техника правильная, а где стоит доработать
5. Автоматически формируется отчет для пользователя и тренера, где оценивается мобильность тела. Формируются рекомендации по дальнейшим упражнениям, чтобы улучшить мобильность

В перспективе проект может вырасти в экосистему для анализа физических упражнений:

• Не только автоматический разбор ошибок, но и персональные рекомендации по тренингу
• Поддержка разных видов тренировок
• Развитие интерфейса, где пользователь сразу видит свой прогресс на протяжении длительного периода времени

Мы проверили гипотезу — ИИ может осуществлять тест мобильности тела для небольшого фитнес-бизнеса, но возможности куда шире: на этой базе можно строить корпоративные wellness-программы, а также онлайн-курсы по тренировкам, где система сама будет подсказывать, как улучшить результат.

Кстати, мы уже делали как-то фитнес приложение, но без ИИ.

Компания-заказчик разработала устройство Activ5, которое коннектилось с нашим мобильным приложением, и пользователь мог тренироваться, по-разному его сжимая разными частями тела.

Разработанное мобильное приложение содержит более 50 изометрических упражнений на все группы мышц. Некоторые упражнения представлены в виде игрового процесса, в котором пользователь должен провести, например, лыжника по определенной траектории.