Моніторинг цін конкурентів: які бувають парсери і як вони працюють

Парсери інтернет-магазинів збирають дані про товари, ціни на них, наявність, умови кредитів та доставки. Це корисно для інших інтернет-магазинів для аналізу конкурентів, їхніх цін, асортименту й інших даних. На ринку є багато інструментів, які пропонують таку послугу.

Однак більшість сучасних онлайн-магазинів захищаються від парсингу, тому далеко не всі інструменти працюють якісно. Якщо вам потрібні точні та актуальні дані, ви маєте дві опції: ретельно шукати підрядника й тестувати якість його роботи або розробляти парсери самостійно (що майже завжди нерентабельно, враховуючи витрати на інфраструктуру та, найголовніше, підтримку).

У цьому матеріалі ми розповімо, які бувають парсери й на що варто звертати увагу під час вибору такого інструмента для аналізу конкурентів.

Зміст:

• Як парсери використовуються в ціновій аналітиці
• Які дані збирають парсери
• Типи парсерів
• Файл-парсери
• Парсери за посиланнями
• Парсери категорій
• Парсери мобільних застосунків e-commerce
• In-house vs outsource: який підхід обрати

Як парсери використовуються в ціновій аналітиці

Парсери допомагають пришвидшити збір інформації про ціни й асортимент на онлайн-ринку. Обсяги даних, які людина опрацьовує впродовж 10–20 годин, парсер може зібрати за хвилини.

Хоча парсинг не нова технологія, досягти високого рівня якості під час збору даних з онлайн-магазинів доволі складно. Шаблонні рішення, наявні на ринку, можуть знайти 70–80% потрібних даних. Щоб збільшити точність, потрібно створювати або вдосконалювати парсер для кожного конкретного випадку, що потребує часу та бюджету на розроблення.

Платформи цінової аналітики поєднують парсинг (як технологію збору даних) з інструментами аналізу: ви отримуєте не «сирі» дані, а візуалізовану аналітику, з якою можна працювати як з готовими інсайтами.

Які дані збирають парсери

Парсери інтернет-магазинів можуть збирати різні типи даних. Загалом, серед них можуть бути:

1. Базова інформація про товар:

• код товару (артикул);
• назва товару;
• назва виробника/бренду;
• URL-посилання на картку товару;
• зображення (посилання на фотографії товару).

2. Ціна + наявність:

• звичайна ціна;
• промоціна;
• статус наявності;
• кількість штук у наявності.

Більшість парсерів збирають лише ці дані. Досконаліші інструменти мають ширші можливості й збирають додаткові дані, що впливають на продажі та позиціонування товару.

3. Розширені дані:

• кількість відгуків на товар;
• рейтинг товару;
• продавець товару (актуально для аналізу конкурентів на маркетплейсах);
• умови купівлі: кредит, оплата частинами;
• умови доставки: безплатна доставка, терміни;
• позиція товару в каталозі;
• активні промо (наприклад, назва акції: «Чорна п’ятниця», «Розпродаж»);
• лейбли: «Новинка», «Хіт продажів», «Суперціна».

У Pricer24 ми збираємо всі перераховані дані: стандартно — базову інформацію про товар, ціни та наявність, адже вони є основою якісної цінової аналітики. Крім того, можемо налаштовувати збір додаткових даних — під конкретні завдання клієнта.

Важливо: збір легальних даних і обмеження

Ми не збираємо дані, які захищені авторським правом і є інтелектуальною власністю інтернет-магазинів, наприклад текстові описи товарів та характеристики.

Чому ціни можна збирати? Тому що це інформація з відкритих джерел, яка не є інтелектуальною власністю. Ціна — це публічна пропозиція, а не унікальний контент.

Типи парсерів

Парсери можна класифікувати по-різному, але найпрактичніша класифікація — за джерелом збору даних:

• файл-парсери;
• парсери за посиланнями (парсери карток товарів);
• парсери категорій (+ парсери результатів пошуку);
• парсери мобільних застосунків.

Розглянемо кожен з них, почнемо з найпростішого.

Файл-парсери

Файл-парсери — це інструменти, які збирають дані з файлів, доступ до яких надають нам клієнти. Приклади: прайс-листи постачальників, список товарів у каталозі клієнта. Формати таких файлів — CSV, XLS (X), XML або JSON, тобто вони містять структуровану інформацію про товари: артикул, ціну, наявність, назву, бренд тощо. 

Файл-парсери дають змогу обробляти великі обсяги інформації дуже швидко. Дані  надходять у структурованому, зручному для аналізу форматі, що значно спрощує їх оброблення. 

Як це працює

1. Клієнт надає доступ до файлу або API. Це може бути регулярне оновлення прайс-листа чи одноразовий файл із даними про товари. Наприклад, ви можете надати стандартизовані фіди з даними про товари (Google Shopping, Hotline, Prom.ua тощо) або партнерський доступ до порталу через ключ авторизації. У такому разі API дає парсеру змогу отримувати дані безпосередньо із системи з мінімальною затримкою.
2. Парсер сканує файл і розпізнає структуру даних: колонки з артикулами, цінами, наявністю, назвами, брендами тощо.
3. Парсер зводить дані до єдиного формату. Це можуть бути, наприклад, однакові позначення наявності (In stock → «У наявності»).

Парсери за посиланнями

Парсери за посиланнями (парсери карток товарів) збирають дані безпосередньо з HTML-коду конкретного оферу на сайті конкурента. За один запит парсер отримує інформацію про товар — ціну, наявність тощо.

Як це працює

Більшість сервісів цінової аналітики збирають дані про товари конкурентів у такий спосіб: 

1. На старті співпраці проводять аналіз сайту конкурента: знаходять усі посилання на всі товари. 
2. Зіставляють пари: посилання на ваш товар до посилання на такий самий товар на сайті конкурента. 
3. Далі сканують тільки ті самі посилання і не шукають нових зв’язок.

Основне обмеження парсингу за посиланнями полягає в тому, що, скануючи старі посилання знову і знову, ви не враховуєте новинок у каталогах конкурентів.

Уявімо ситуацію: ви налаштували збір даних за посиланнями на 100 товарів за певною категорією, за трьома конкурентами. Упродовж першого місяця конкурент А додав 50 нових товарів, конкурент В — 30, конкурент С — 20. Ви нічого не знаєте про ці новинки, тобто фактично не бачите частину ринку, яка може впливати на ваші продажі. А тепер масштабуйте ці цифри на свій асортимент. Найгірше те, що, найімовірніше, ви дізнаєтеся про новинки конкурентів зі значним запізненням, коли вже доведеться аналізувати причини падіння продажів.

Щоб виявляти новинки в каталогах конкурентів, вам потрібно:

• регулярно заходити на сайт кожного конкурента;
• перевіряти кількість товарів за їхніми категоріями (добре, якщо вони і у вас, і в конкурента розміщені в одній категорії);
• порівнювати з вашим асортиментом;
• виявляти нові товари;
• додавати посилання в систему для моніторингу.

Друга проблема — деякі магазини можуть створювати дублікати карток товарів у своєму каталозі, знижуючи ціну в новоствореній картці. Це роблять для захисту від парсингу: ваш парсер продовжує збирати дані зі старої картки (де ціна вища), а реальні покупці бачать нову картку з нижчою ціною.

Іноді конкуренти також масово змінюють структуру URL і можуть не налаштувати редиректи.

Було: site.com/product/iphone-16-128gb.
Стало: site.com/products/smartphones/iphone-16-128gb.

Усі старі посилання припиняють працювати в один момент. Вам потрібно виявити проблему, знайти новий URL і оновити його в системі.

Ще один поширений кейс: ви додали посилання, а конкурент видалив цю картку. Парсер заходить на сторінку й бачить помилку 404. Він показує, що на цей товар у конкурента немає ціни, і ви думаєте, що він не продає його.

Коли цей спосіб має сенс

Парсинг за посиланнями виправданий, коли вам потрібно точково відстежувати конкретні товари. Наприклад, у вас у категорії лише 3 товари, а в конкурента — 3000. Збирати всю категорію недоцільно — ви платитимете за збір даних про 2997 непотрібних товарів. Значно ефективніше задати посилання лише на ті 3 товари, які вас цікавлять.

Парсери категорій

Парсери категорій збирають дані з усіх товарів у певній категорії на сайті конкурента або маркетплейсу.

До цього типу можна віднести й парсери результатів пошуку. Вони працюють аналогічно, але замість категорії обробляють сторінки, що формуються за конкретним пошуковим запитом.

Як це працює

Боту задається посилання на початкову сторінку категорії. Наприклад, категорія «Холодильники»: https:website.ua/refrigerators/.

Бот автоматично проходить по всіх сторінках категорії та збирає всю доступну інформацію про кожен товар у кожній картці.

Підвид цього типу парсерів — парсери за пошуковими запитами. Якщо вам потрібно відстежувати лише один бренд, зручніше використовувати саме такий парсер.

Приклад запиту: https://website.ua/ua/search/?text=ecoflow.

Парсер збиратиме все, що знайдеться на сайті конкурента за словом Ecoflow.

Це доволі зручно, але має певні обмеження:

• Якщо на сайті конкурента пошук або фільтри реалізовано некоректно, результати парсингу міститимуть багато «шуму». Ви шукаєте телефон, а вам видають навушники, зарядні пристрої, чохли й що завгодно, крім телефонів. 

Приклад: пошук за запитом «секатор» видає ножиці для кігтів тварин.

• Якщо бренд, за яким вам потрібно збирати дані, має неунікальну назву, ви також матимете «шум» у результатах. Приклад з нашої практики — бренд Grey: більшість сайтів видаватимуть у результатах пошуку товари сірого кольору (grey color); товари, у назві яких є слово grey; і десь серед цього всього — реальні товари бренду Grey.

Плюси парсерів категорій

1. Автоматичне виявлення новинок.

Це найголовніша перевага. Вчора у вашого конкурента ще не було товару, який є у вас, але вже сьогодні він додав цей товар і поставив на нього ціну, на 15% нижчу за вашу. Як ми згадували раніше, якщо ви відстежуєте лише конкретні посилання, то просто не помітите появи цього товару. Парсинг за всією категорією дає змогу вчасно фіксувати новинки та оперативно реагувати на ринкові зміни.

2. Аналіз усього ринку, а не лише перетину асортименту.

Парсер категорій дає змогу бачити товари, яких у вас ще немає. Це відкриває можливості для:

• Моніторингу унікальних оферів. Наприклад, конкурент має ексклюзивний товар. Якщо він продає його дуже дешево, це впливає на весь сегмент. Можливо, вам потрібно коригувати ціни на свої схожі товари, щоб залишатися конкурентоспроможними.
• Виявлення прогалин у вашому асортименті. Парсинг категорій дає змогу бачити, які товари активно продаються в конкурентів, але ще відсутні у вашому асортименті. Це цінний сигнал для розширення асортименту й визначення конкретних товарів, які варто додати для підвищення продажів.
• Виявлення порушень РРЦ. Це суперактуально для брендів та дистриб’юторів. Іноді партнери хитрують — створюють дві картки одного товару: одну — з нормальною назвою і правильною ціною (для показу бренду), другу — з неочевидною назвою та заниженою ціною (для реальних продажів). Парсер категорій знаходить усі картки, навіть ті, що приховані від очевидного пошуку. Ви бачите реальну картину ціноутворення вашого партнера.

Підводні камені парсингу категорій і як робити це професійно

1. Збір «зайвих» даних.

Наприклад, у вас у категорії 10 холодильників певного бренду, а в конкурента — 1000 від різних брендів. Ви хочете порівнювати лише свій асортимент, але система збирає в 100 разів більше інформації. Або інший приклад із практики: якщо на маркетплейсі Rozetka вас цікавлять тільки товари від магазину Rozetka, то збирати всю категорію з іншими продавцями недоцільно.

Як ми це вирішуємо: використовуємо додаткові фільтри за вашим брендом або за продавцем, як у прикладі з товарами Rozetka.

Так можна контролювати обсяг даних і оптимізувати бюджет: ми можемо обмежувати кількість даних, які збираємо, з огляду на специфіку та потреби клієнта. 

2. Хаотична категоризація на різних сайтах.

Мається на увазі ситуація, коли один і той самий товар на різних сайтах розміщений у різних категоріях.

Наприклад, пилососи:

• на сайті А — тільки в категорії «Пилососи»;
  
• на сайті Б — у категоріях «Роботи-пилососи», «Ручні пилососи», «Вертикальні пилососи», «Мийники вікон» тощо.

Ще один складний сегмент — аксесуари. В одному магазині 10 аксесуарів будуть у категорії «Аксесуари для ноутбуків», а в іншому ті самі товари можуть бути розкидані по категоріях: «Акумулятори для ноутбуків», «Сумки», «Чохли», «Периферія», «Зарядні пристрої».

З нашої практики, у нішах «Зоотовари» і «Автотовари» також доволі хаотична категоризація.

Як ми це вирішуємо: на етапі налаштування вручну перевіряємо товари без перетину. Якщо товар клієнта не знайдено, це сигнал про те, що, можливо, пропущено якусь категорію. Такий підхід забезпечує максимальне покриття.

3. Динамічне сортування.

Деякі сайти використовують динамічне сортування товарів у категорії за популярністю. Товар, який щойно був на першій сторінці, може миттєво переміститися на другу. Через це є ризик зібрати товар двічі або пропустити його зовсім.

Як ми це вирішуємо: система запам’ятовує товари, які були в наявності раніше. Якщо тепер їх не видно в категорії, система додатково перевіряє за прямим посиланням, чи є товар у наявності зараз, чи ні. Тобто ми або парсимо за попередніми запусками (перевіряємо, які товари раніше були в наявності, перевіряємо їх ще раз, і якщо впродовж певного часу вони не з’являються, припиняємо повторні перевірки), або збираємо дані про товари за брендами.

Парсер посилань чи парсер категорій: який обрати?

Якби всі інтернет-магазини мали однакову структуру, ринок був би значно простішим і можна було б обирати одне рішення. У наявній ситуації найкращий підхід — гібридний.

Для головних категорій, де ваш асортимент суттєво перетинається з конкурентами, найзручніше використовувати парсер категорій. Він автоматично збирає всі товари, дає змогу виявляти новинки на ринку й відстежувати прогалини у вашому асортименті.

Це особливо актуально, якщо:

• перетин асортименту з конкурентом ≥ 50%;
  
• ринок динамічний і постійно з’являються нові товари;
  
• потрібно бачити весь ринок, а не тільки свій асортимент;
  
• важливо відстежувати порушення рекомендованих цін (РРЦ) для брендів.

А от для специфічних товарів, які складно класифікувати, краще підійде парсинг за посиланнями. Він дає змогу точково відстежувати саме ті SKU, які вас цікавлять, і не збирати зайві дані.

Цей підхід особливо зручний, якщо:

• у вас вузька спеціалізація (наприклад, 3 товари проти 3000 у конкурента);
• потрібен точковий контроль конкретних SKU;
• бюджет обмежений, а асортимент стабільний.

Комбінуючи обидва підходи, ви отримуєте повну картину ринку й водночас не переплачуєте за непотрібні дані.

Під час вибору price intelligence рішення обов’язково з’ясуйте:

1. Які типи парсерів використовує постачальник?
2. Як він розв’язує проблему виявлення новинок?
3. Чи підтримується гібридний підхід?
4. Як часто оновлюються дані?
5. Який відсоток покриття вашого асортименту вони гарантують?

Парсери мобільних застосунків e-commerce

Часто інтернет-магазини пропонують різні ціни у вебверсіях та у своїх мобільних застосунках. Тому, якщо ви хочете мати повну й реалістичну картину ринку, вам необхідні дані з обох типів джерел.

Парсери мобільних застосунків в e-commerce — це спеціалізовані програмні інструменти, які автоматично збирають структуровані дані про товари, ціни, наявність, а також відгуки та іншу інформацію безпосередньо з мобільних застосунків магазинів і маркетплейсів.

Через специфіку мобільних застосунків такий парсинг технічно складніший, ніж збір даних з вебсайтів. Найпоширеніший метод — емуляція мобільного пристрою (Android/iOS) з автоматизованою взаємодією з інтерфейсом. Програма імітує дії користувача: завантажує розділи, гортає списки товарів, переходить у картки товарів і зберігає потрібні дані. Для застосунку це має такий вигляд, ніби він запущений на реальному пристрої.

Цей підхід потребує високої технічної експертизи. Сучасні мобільні застосунки борються з емуляторами, перевіряючи системні властивості, апаратні характеристики «пристрою» і поведінкові патерни користувача. Вони застосовують антибот-захист, вимагають авторизації чи верифікації, регулярно оновлюються та змінюють структуру інтерфейсу. Крім того, емулятори споживають багато ресурсів, що ускладнює масштабування під час збору великих обсягів даних. 

Pricer24 має можливість парсингу мобільних застосунків, долаючи всі ці технічні виклики. Наша платформа використовує передові технології емуляції та автоматизації, щоб збирати дані з мобільних версій маркетплейсів та інтернет-магазинів. Завдяки власній інфраструктурі та досвіду роботи з різними системами захисту, ми забезпечуємо клієнтів актуальними й точними даними з мобільних каналів конкурентів, що дає вам змогу ухвалювати рішення на основі повної ринкової аналітики.

In-house vs outsource: який підхід обрати

Часто парсинг хибно сприймають як разове технічне завдання: написав код — і він працює. Насправді кожен парсер потребує постійної підтримки та вдосконалення.

Сайти постійно змінюються: оновлюється структура каталогу, змінюється дизайн і HTML-розмітка, посилюється захист від ботів, з’являються нові механіки (наприклад, блоки з відкритими промокодами, які одразу дають знижку, або динамічне завантаження контенту).

Кожна така зміна потребує допрацювання парсера, щоб він міг збирати інформацію в нових умовах.

Проблема власної розробки (in-house)

Компанії рідко готові платити зарплату розробнику винятково за підтримку парсерів, адже це нестабільне завантаження. Якщо в компанії є внутрішній спеціаліст, йому будуть доручати й інші завдання з розробки з високим пріоритетом. Через це на практиці часто трапляються затримки на тиждень-два, коли парсер потребує уваги, а фахівець зайнятий іншими питаннями. У цей час очікування парсер працює некоректно або не працює зовсім, а ви не отримуєте дані. 

Крім того, якість роботи парсера значною мірою залежить від стратегії парсингу. 

• Що саме парсити? Які товари, яких конкурентів, які параметри?
• Як структурувати дані для вашої аналітики?
• Як перевіряти якість зібраної інформації?
• Як реагувати на зміни в асортименті конкурентів?

Компаніям часто бракує експертизи для розроблення грамотної стратегії парсингу, і їм немає де її отримати, тому парсер збирає неякісні дані з першого дня.

Особливості outsource-рішення

Спеціалізовані платформи цінової аналитики, такі як Pricer24, можуть дати кращий ефект, ніж власна розробка, завдяки спеціалізації на парсингових рішеннях для e-commerce. Проте щоб отримати максимум результату від підрядника на аутсорсі, вам також потрібно чітко пояснити завдання, зручний для вас формат роботи з даними та встановити критерії, за якими ви оцінюватимете ефективність збору даних. 

Серед таких критеріїв: 

• Discovery rate. Який відсоток від усіх товарів, що є і у вашому каталозі, і в каталозі, який ви парсите, було знайдено.
• Частота парсингу. Раз на день, раз на місяць або 10 разів на день — залежить від динаміки у вашій категорії.
• Частота перевірки посилань — у разі дублів карток у каталогах.
• Допустима кількість помилок під час метчингу, тобто в процесі зіставлення товарів («ваш товар» = «товар конкурента»), та інші критерії.

Вибір між in-house та outsource має бути економічно доцільним, адже впливає на ваші витрати. Проте якість даних — це теж важливий параметр, який визначає вже ваш прибуток у довгостроковій перспективі.

Висновок

На перший погляд парсинг може здатися простим: запустив ботів — й отримав дані. Але за 5+ років роботи з різними клієнтами, нішами та сегментами ми переконалися: висока якість потребує комплексного підходу.

Кожен тип парсера має свої переваги й обмеження, а успішний моніторинг цін конкурентів ґрунтується на:

• правильному виборі типу парсера під вашу специфіку,
• грамотній комбінації різних підходів,
• регулярній перевірці якості даних,
• оптимізації бюджету на їх збір.

У Pricer24 ми поєднуємо глибоку експертизу в e-commerce, гнучкий підхід до налаштування збору даних та високі стандарти якості й обслуговування, щоб кожен клієнт отримував саме ті дані, які йому потрібні для ухвалення стратегічних рішень.