Мобильное приложение для музеев по распознаванию картин

Приложение было создано для художественного музея, который хочет предоставлять услуги цифрового гида своим посетителям через их смартфоны: посетитель должен будет навести камеру своего смартфона на произведение искусства, и его описание появится на экране.

Проект имел существенные ограничения:

1. Возможность добавления дополнительных классов без переобучения модели.

Поскольку у нашего клиента не было опыта работы с ИИ и клиент не хотел нанимать штатных разработчиков машинного обучения, мы столкнулись с существенным ограничением: мы не могли переобучить модель распознавания изображений если музей обзаводился новым музейным экспонатом. Поэтому нам было необходимо создать приложение, которое позволяло бы добавлять новые классы (новые произведения искусства) без участия разработчиков машинного обучения.

2. Скорость распознавания.

Еще одно ограничение заключалось в том, что процесс обнаружения и распознавания должен быть очень быстрым. Наш клиент запросил, чтобы процесс распознавания занимал менее 1 секунды.

Мы решили выбрать совершенно новый подход и использовать классические алгоритмы для обнаружения изображений, поскольку они требуют гораздо меньше вычислительной мощности и позволяют легко добавлять новые классы.

Приложение использует метод ключевых точек для распознавания произведений искусства в режиме реального времени. Алгоритм работает так же хорошо, как и модель машинного обучения для их применения, но отвечает требованиям проекта, чего не могут сделать обычные модели машинного обучения.

Пользовательский интерфейс прост и интуитивно понятен:

• Приложение предлагает пользователю навести камеру смартфона на произведение искусства;
• Наш алгоритм определяет его ключевые точки, сравнивает их с ключевыми точками произведений искусства в наборе данных и выбирает тот, который имеет наибольшее сходство;
• Пользователь видит описание произведения.

Клиенту не пришлось вкладывать средства в серверы для запуска модели машинного обучения: наше приложение выполняет всю тяжелую работу на мобильном устройстве. Процесс распознавания в среднем занимает ~600 мс, в зависимости от типа используемого мобильного устройства.

Разработанное нами приложение отвечает всем требованиям нашего клиента:

• Распознавание занимает менее 1 секунды;
• Нет необходимости переобучать модель каждый раз, когда в набор данных добавляется новое произведение искусства;
• Для поддержки и управления приложением не требуются разработчики машинного обучения.

Разработанное приложение представляет собой простое и элегантное решение для тех, кто хочет воспользоваться преимуществами ИИ, но не хочет или не может углубиться в него. Для тех, кто хочет потратить бюджет только в разработку самого мобильного приложения, и не хочет тратиться бюджет на переобучение AI модели.

Модуль распознавания приложения работает без присмотра с чьей либо стороны, а клиент может добавлять новые произведения искусства так часто, как ему захочется.