Мобильное приложение для музеев по распознаванию картин
Июнь 2022

Мобильное приложение для музеев по распознаванию картин

Мобильное приложение для музеев по распознаванию картин
Направления
Технологии
Мы разработали мобильный гид для посетителей художественного музея. Наше мобильное приложение способно мгновенно распознать картины под любым углом и предоставить информацию о них в текстовой форме.

Бизнес-логика

Приложение было создано для художественного музея, который хочет предоставлять услуги цифрового гида своим посетителям через их смартфоны: посетитель должен будет навести камеру своего смартфона на произведение искусства, и его описание появится на экране.

Проект имел существенные ограничения:

1. Возможность добавления дополнительных классов без переобучения модели.

Поскольку у нашего клиента не было опыта работы с ИИ и клиент не хотел нанимать штатных разработчиков машинного обучения, мы столкнулись с существенным ограничением: мы не могли переобучить модель распознавания изображений если музей обзаводился новым музейным экспонатом. Поэтому нам было необходимо создать приложение, которое позволяло бы добавлять новые классы (новые произведения искусства) без участия разработчиков машинного обучения.

2. Скорость распознавания.

Еще одно ограничение заключалось в том, что процесс обнаружения и распознавания должен быть очень быстрым. Наш клиент запросил, чтобы процесс распознавания занимал менее 1 секунды.

Мы решили выбрать совершенно новый подход и использовать классические алгоритмы для обнаружения изображений, поскольку они требуют гораздо меньше вычислительной мощности и позволяют легко добавлять новые классы.

Решение

Приложение использует метод ключевых точек для распознавания произведений искусства в режиме реального времени. Алгоритм работает так же хорошо, как и модель машинного обучения для их применения, но отвечает требованиям проекта, чего не могут сделать обычные модели машинного обучения.

Пользовательский интерфейс прост и интуитивно понятен:

  • Приложение предлагает пользователю навести камеру смартфона на произведение искусства;
  • Наш алгоритм определяет его ключевые точки, сравнивает их с ключевыми точками произведений искусства в наборе данных и выбирает тот, который имеет наибольшее сходство;
  • Пользователь видит описание произведения.

Клиенту не пришлось вкладывать средства в серверы для запуска модели машинного обучения: наше приложение выполняет всю тяжелую работу на мобильном устройстве. Процесс распознавания в среднем занимает ~600 мс, в зависимости от типа используемого мобильного устройства.

Разработанное нами приложение отвечает всем требованиям нашего клиента:

  • Распознавание занимает менее 1 секунды;
  • Нет необходимости переобучать модель каждый раз, когда в набор данных добавляется новое произведение искусства;
  • Для поддержки и управления приложением не требуются разработчики машинного обучения.

Разработанное приложение представляет собой простое и элегантное решение для тех, кто хочет воспользоваться преимуществами ИИ, но не хочет или не может углубиться в него. Для тех, кто хочет потратить бюджет только в разработку самого мобильного приложения, и не хочет тратиться бюджет на переобучение AI модели.

Модуль распознавания приложения работает без присмотра с чьей либо стороны, а клиент может добавлять новые произведения искусства так часто, как ему захочется.

другие наши проекты

Система по распознаванию чертежей для бюро строительной экспертизы

Система по распознаванию чертежей для бюро строительной экспертизы

Инструмент по сбору данных о событиях из американской национальной сети происшествий

Инструмент по сбору данных о событиях из американской национальной сети происшествий

Парсер данных для маркетплейсов

Парсер данных для маркетплейсов

Обработка судебных документов при помощи ChatGPT-4

Обработка судебных документов при помощи ChatGPT-4

Мобильное приложение с KYC-верификацией пользователя

Мобильное приложение с KYC-верификацией пользователя

Сервис для обучения нейронных сетей без кода

Сервис для обучения нейронных сетей без кода

Система сканирования паспортов

Система сканирования паспортов

Распознавание диалоговых пузырей на рисунках манги

Распознавание диалоговых пузырей на рисунках манги

Мобильное приложение для удалённого контроля брака печати 3D-принтеров

Мобильное приложение для удалённого контроля брака печати 3D-принтеров

Приложение для обработки резюме на базе LLM для кадрового агентства

Приложение для обработки резюме на базе LLM для кадрового агентства

Инструмент сбора данных о пожарах в США

Инструмент сбора данных о пожарах в США

Система по анализу и выгрузке отзывов с маркетплейса на основе ИИ

Система по анализу и выгрузке отзывов с маркетплейса на основе ИИ

Давайте найдем решение для вашего бизнеса!

Давайте найдем решение для вашего бизнеса!

Пожалуйста, заполните 'Имя'
Пожалуйста, заполните 'Телефон'
Пожалуйста, заполните 'Емейл'
Пожалуйста, заполните 'Сообщение'

Пожалуйста, заполните 'Имя и фамилия'
Пожалуйста, заполните 'Телефон'
Пожалуйста, заполните 'Емейл'
Выберите файл
Пожалуйста, выберите файл 'Резюме'
Выберите файл
Пожалуйста, прикрепите файл 'Код / ТЗ'