Описание проекта

Мы разработали парсер данных с маркетплейса, основная цель которого — найти продавцов/магазины, в которые стоит инвестировать или которых стоит перекупить на этом маркетплейсе. Поскольку на рынке присутствуют тысячи магазинов и продавцов, эту задачу необходимо было автоматизировать. Просто невозможно отсмотреть всех вручную.

Разработанный нами парсер — это мощный инструмент для сбора и фильтрации данных в соответствии с заранее установленными критериями нашего клиента. Он просматривает различные категории продуктов и собирает данные обо всех торгующих в этих категориях продавцах и магазинах, если они соответствуют критериям. Такими критериями являются рейтинг магазина/продавца, средняя стоимость продукта, средняя оценка товара и т. д. Все собранные данные парсер добавляет в базу данных MySQL.

Инструмент включает в себя прокси и переключение агента пользователя, чтобы избежать бана на платформе и обеспечить непрерывную работу, а также автоматическое решение капчи.