Часто задаваемые вопросы
Под 99.9% сайтов — можно.
На сегодняшний день, мы не настраиваем только под Яндекс Маркет (там серьезная защита от роботов). Под все остальные сайты - настраиваем.
С некоторыми крупными сайтами есть сложности (Озон, Леруа), там приходится использовать браузер Chrome для обхода защиты, но в целом всё работает (хоть и медленно).
С подавляющим же числом «обычных» интернет-магазинов нет никаких проблем.
Нет, добавляете товары вы сами, моё участие не требуется.
Просто добавляете новые ссылки в вашу таблицу Excel.
В вот если новые сайты добавить, — то это уже ко мне.
Работать будет, возможно долго, но не всегда. Лет через 50 точно работать не будет (и сайты эти исчезнут, и Excel с Windows на компе не будет к тому времени)
Время от времени сайты меняются, и может потребоваться перенастройка программы под некоторые сайты.
Если у вас настроен мониторинг цен под 6-8 сайтов, и особенно если только цены берутся (без учета наличия), то о тратах на перенастройку можно не думать (ну, изменятся за пару лет 1-2 сайта, можно доплатить 500-1000 руб. за перенастройку, вряд ли это будет для вас критично)
Если же вы мониторите десятки сайтов (30..100 сайтов, например), да еще и отслеживая наличие помимо цены, — то да, стоимость владения нужно учитывать.
Это не такие большие суммы (явно дешевле любого аналогичного решения), но тратиться время от времени придётся (каждые полгода-год из 30 сайтов 2-3 сайта могут перестать обрабатываться корректно, это около 1000-1500 руб. за перенастройку)
Тут как повезёт (от сайтов зависит), может вообще не потребоваться перенастройка, и прогнозировать тут что-либо сложно.
Крупные сайты (где миллионы пользователей ежедневно), такие как Озон, WB и прочие маркетплейсы, построены на сложных скриптах, постоянно дорабатываются и переделываются, так что с ними траты на перенастройку возрастут (там часто могут потребоваться изменения настроек парсера). Обычные же интернет-магазины (коих десятки тысяч) обычно годами не вносят никаких существенных изменений, и для них перенастройка программы мониторинга цен — скорее редкость.
Я настроил мониторинг цен под тысячи сайтов, и нигде не видел регулярной смены ссылок на страницы товаров (это надо с SEO совсем не дружить, чтобы такое сделать, — а разработчики сайтов не дураки) Вероятность смены ссылок крайне низка, ей можно пренебречь.
Программа сможет авторизоваться на сайте, и брать нужные цены.
Стоимость настройки будет выше для таких сайтов.
При заказе, в тексте письма укажите логин и пароль для этого сайта (и сделайте пометку в таблице Excel, что для этого сайта нужна авторизация)
Настройки мониторинга цен закрыты от изменения (можно настраивать только раскраску ячеек, и включать-отключать сайты для обработки).
Но самой программой-парсером вы можете пользоваться как обычно, самостоятельно настраивая парсеры под сайты (для задач, не связанных с мониторингом цен)
Такое бывает редко, только на самых древних / примитивных сайтах, но программа и с таким справится. Потребуется только дополнительный столбец с наименованием товара справа от ссылок (ссылки будут везде одинаковые, а названия товаров - разные) В любом случае, что и как бы там ни было на сайте, если на странице можно по каким-то признакам найти нужную цену, то программа это сможет сделать.
Всё решаемо.
По умолчанию, программа не учитывает регион: сайт сам по вашему IP адресу определяет регион, и обычно это как раз та цена, которая вам нужна.
Если же нужно принудительно брать цены для заданного региона, — никаких проблем, программа это умеет (только стоимость настройки под этот сайт будет выше)
В 95% случаев не стоит задумываться о выборе региона.
Если потом, в процессе работы с программой, вы заметите, что некоторые цены берутся не те, какие вам нужны, — всегда можно за доп плату донастроить выбор региона для конкретного сайта.
Количество сайтов и товаров не ограничено.
Это влияет только на время обработки цен (в среднем, на обработку одной ссылки уходит около 1 секунды). Если у вас 300 товаров и 7 сайтов, обработка займёт около получаса. Если 10.000 товаров и 20 сайтов - то около 2 суток (в этом случае имеет смысл обновлять не все цены разом, а частями: например, три раза на ночь запустить обновление цен)
У некоторых пользователей программа настроена под сотни сайтов, обрабатывает десятки тысяч ссылок, — и всё работает годами, никаких проблем нет:
Многопоточность для мониторинга цен не применяется (хотя программа-парсер это умеет)
Выполнение множества одновременных запросов может вызвать блокировки со стороны сайта, потому ссылки загружаются по очереди, одна за другой.
Скорость обработки ссылок зависит от конкретных сайтов, в среднем это 1 секунда на ссылку.
Да. Законы РФ (и большинства других стран) никак не регламентируют автоматизированный сбор данных из открытых источников, какими являются сайты интернет-магазинов (да и вообще любые сайты).
Всё, что законно делать вручную (вам ведь никто не запретит открыть страницу сайта, и скопировать оттуда цену в вашу таблицу), не запрещено делать и программными средствами.
А что он может сделать? Цены, как и прочая информация на страницах сайта, — это открытая информация, люди как раз и создают сайты, чтобы делиться этой информацией с неограниченным кругом лиц.
Поскольку это не нарушает никаких законов, владелец сайта может только прикрыть конкретно вам доступ к сайту (например, заблокировав ваш IP адрес в настройках сайта), или же установив и настроив защиту от DDoS (дорого, долго, мало кто будет с этим заморачиваться). Если по IP заблокируют (за 8 лет один случай был на тысячи сайтов), то можно в настройках программы прописать прокси-сервер для этого сайта.
Но, вообще, владельцы сайтов в 99% случаев просто не заметят, что их парсят. На их сайты приходят ежедневно десятки тысяч (а то и миллионы) запросов, и копаться в логах доступа, анализируя, кто и как часто заходит на сайт, никто не будет. А если даже и будет (хотя, зачем им вообще это), то ваши несколько сотен запросов затеряются среди других (те же поисковые системы намного чаще и намного больше страниц просматривают, а отличить робота поисковых систем от парсера непросто)
Вывод: не стоит беспокоиться об этом. Все всех парсят, и владельцы сайтов не обращают на это внимания.