Цінова аналітика зсередини: що потрібно знати про парсинг, порівняння цін і якість даних

Коли ви використовуєте автоматизовані інструменти для аналізу цін конкурентів, важливо усвідомлювати потенційні ризики, проблеми і небезпеки. Більшість із них пов’язані з якістю даних. У цьому матеріалі ми розберемо, що таке якість даних, якою вона має бути і як вам переконатися, що ви отримуєте точні, повні та актуальні дані про ціни конкурентів, на базі яких можна ухвалювати виважені рішення. 

Колишній міністр оборони США Дональд Рамсфелд сказав: «Є відомі відомі, відомі невідомі, але найнебезпечнішими є невідомі невідомі — те, про що ми навіть не здогадуємося, чого не знаємо».

Ось ваші типові невідомі невідомі, коли ви аналізуєте ціни й асортимент конкурентів через автоматизовані інструменти: 

• Ви отримуєте не всі ціни. Для розуміння масштабу: більшість інструментів на ринку знаходять лише 70–80% цін, які потрібно порівнювати.
• Ви бачите застарілі ціни. Більшість інструментів насправді не проводять звірку щодня, навіть якщо в системі показана сьогоднішня дата оновлення.
• Система порівнює не ті товари, які треба. Наприклад, не найкращий відповідник до вашого товару. Це типова історія. 

Найгірше те, що ви не бачите цих проблем, коли користуєтеся сервісом аналізу цін конкурентів. Розберімося, як влаштовані збирання та зіставлення товарів на платформах цінової аналітики, щоб ви розуміли, куди дивитися і як оцінювати результат.

Зміст:

• Що таке якість даних і як її вимірюють
• Як відбувається збирання даних із відкритих джерел і як працюють парсери
• Чому збирати відкриті дані точно — складно?
• Як відбувається автоматизований пошук товарів на сайтах конкурентів
• Як здійснюється зіставлення товарів
• Що може піти не так: випадки, коли проблеми з даними дорого коштують бізнесу

Що таке якість даних і як її вимірюють

Якість даних складається з трьох ключових аспектів: точності, повноти й актуальності.

У сфері цінової аналітики їх вимірюють через коефіцієнт виявлення, коефіцієнт точності та частоту оновлень.

Ключові метрики якості даних

1. Коефіцієнт виявлення

Коефіцієнт виявлення (discovery rate) — це показник ефективності системи моніторингу, який відображає, яку частку релевантних товарів вона змогла знайти та зіставити серед усіх товарів, наявних і у вашому асортименті, і в конкурентів. Цей коефіцієнт допомагає оцінити повноту зібраних даних.

Чому потрібно мати високий коефіцієнт виявлення:

• Низький discovery rate означає, що ви бачите неповну картину ринку.
• Ви можете пропустити ключові товари конкурентів або нові позиції.
• Рішення про ціноутворення базуються на частковій інформації.

2. Коефіцієнт точності

Коефіцієнт точності (accuracy rate) — вказує на те, яку частку ваших товарів система коректно зіставила з аналогічними товарами на сайтах конкурентів.

Наприклад, якщо точність зіставлення становить 95%, це означає 5% помилок. У масштабі 100 000 оферів 5% помилок — це 5000 оферів з неправильним зіставленням.

Чому це критично:

• Помилкове зіставлення означає, що ви порівнюєте «яблука з апельсинами».
• При цьому ви не знаєте, які саме товари зіставлено неправильно, бо не передивляєтеся кожну пару, і в результаті ухвалюєте хибні цінові рішення.

3. Частота оновлення

Від частоти оновлення даних залежить, наскільки актуальною є інформація, на яку ви спираєтеся в ухваленні рішень.

Чому це критично:

• Ціни та наявність товарів в e-commerce постійно змінюються. У динамічних категоріях (електроніка, побутова техніка та інших) вони можуть змінюватися по кілька разів на день.
• Поки ви ухвалюєте рішення на основі вчорашніх цін, конкуренти вже продають дешевше.

Як відбувається збирання даних із відкритих джерел і як працюють парсери

Усі рішення для збирання та аналізу цін конкурентів застосовують парсери — спеціальні програми, які копіюють поведінку людини-користувача: завантажують, «читають» вебсторінки або інші джерела даних, знаходять, ідентифікують і збирають потрібну інформацію (наприклад, ціни, опис товарів, наявність).

Автоматично збирати відкриті дані складно, адже парсер сприймає їх не так, як людина. Щоб робити це якісно, необхідно використовувати різні типи парсерів і методики збирання. Зараз розберемося, які саме.

Типи парсерів у Pricer24

Ми в Pricer24 застосовуємо різні типи парсерів, щоб забезпечити високу якість даних: 

• парсери категорій;
• парсери посилань;
• пошукові парсери;
• файл-парсери.

Парсери категорій збирають інформацію з усієї категорії товарів на сайті. Такий парсер заходить у задану категорію, проходить по всіх сторінках і збирає всі товари.

Парсери посилань завжди налаштовують індивідуально для конкретного клієнта. Їхнє основне завдання — збирати дані за списком URL-адрес, які клієнт хоче відстежувати. У Pricer24 є спеціальний модуль, у якому клієнт самостійно задає потрібні йому посилання вручну. Такий підхід дає йому змогу самостійно керувати тим, які саме товари чи сторінки він хоче моніторити. Це зручно для роботи з вибірковими SKU — наприклад, під час порівняння товарів-аналогів.

Файл-парсери використовують тоді, коли всі дані надходять в одному масиві — це може бути інтегрований фід з вашої внутрішньої системи або ціни постачальників у форматі файлів. У такому разі дані передаються скупчено й для їх збирання достатньо одного запиту. Ми налаштовуємо файл-парсер так, щоб система правильно «зчитувала» структуру, орієнтувалася в категоріях та автоматично витягувала всі потрібні поля: назви, ціни, наявність тощо.

Важливо: кожен парсер належить винятково одному клієнту, жоден інший клієнт не має доступу до його даних. Наша система надійно захищає інформацію своїх користувачів і ваші чутливі дані.

Джерела даних, які ми використовуємо для аналізу цін у Pricer24

• Відкриті джерела: сайти інтернет-магазинів, маркетплейсів, прайс-агрегаторів, мобільні застосунки.
• Excel-файли: у систему можна завантажувати прайси вручну або автоматично — через синхронізацію із зовнішніми джерелами (FTP, Google Drive тощо).
• B2B-портали постачальників: якщо клієнт надає нам логін і пароль до особистого кабінету на порталі постачальника, ми автоматизуємо збирання прайсів, наявності товарів або інших потрібних даних. Отже, клієнт отримує повний контроль над ціноутворенням і закупівлями в одному місці: бачить ціни конкурентів та постачальників одночасно, що дає змогу швидко ухвалювати оптимальні рішення без постійного перемикання між десятками вкладок.
• Telegram-чати: якщо постачальники клієнта надсилають прайси у форматі повідомлення у Telegram, ми можемо налаштувати автоматичне зчитування таких файлів. Pricer24 відстежує оновлення в чаті, витягує нові документи, обробляє їх і оновлює дані в системі — без ручного втручання з боку клієнта.
• Внутрішні системи клієнта: Pricer24 може інтегруватися з внутрішніми обліковими системами клієнта (наприклад, 1С, SAP чи іншими ERP), щоб регулярно отримувати дані про залишки на складах, закупівельні ціни, РРЦ або інше.

У такий спосіб відкриті дані про конкурентів та внутрішні дані клієнта консолідуються в одному середовищі — у нашій системі.

Які типи даних ми збираємо

Стандартно кожен парсер збирає інформацію про ціни й наявність товарів.

Ми можемо також збирати дані про промоакції, умови кредитування, розтермінування платежів, характеристики товарів, умови доставки, а також теги товарів та їхній рейтинг.

Крім того, у разі потреби, парсери можуть бути налаштовані на збирання інших даних: обсягів, кольорів, додаткових кодів, зображень, описів тощо. 

Як ми контролюємо актуальність даних

Кожен парсер у нашій системі має власний розклад запуску, який визначає, коли саме повинні оновлюватися дані. Наприклад, парсинг може стартувати о 7:00, 12:00 та 17:00 за київським часом (у налаштуваннях фіксується часовий пояс — актуально для клієнтів із широкою географією).

Для кожного запуску ми встановлюємо показник Desire Parsing Time — це часове вікно, упродовж якого система має встигнути зібрати дані (наприклад, з 7:00 до 9:00) і Critical Parsing Time — максимально допустимий час для збирання даних. Якщо парсер не встигає оновити дані за бажаний проміжок, вони отримують статус «Outdated».

Якщо таке стається часто або система перевищує максимальний допустимий час для парсингу, втручаються розробники, які виправляють цю проблему. 

Дуже мало провайдерів на ринку так роблять: зазвичай їхні парсери мають одну логіку та працюють так, як з усіма клієнтами.

Чому збирати відкриті дані точно — складно?

Парсинг цін конкурентів здається простим завданням, адже вся інформація відкрита й доступна на їхніх сайтах. Однак між «дані є у відкритому доступі» і «дані можна автоматично збирати» лежить прірва технічних складнощів. Парсер бачить сторінку сайту не так, як людина. Він зчитує код, а код сильно відрізняється від вигляду сайту для людей.

Процес парсингу можна умовно поділити на два етапи:

1. Пройти захист і отримати сторінку сайту. Сайти активно борються з ботами за допомогою капчі, перевірок на «людськість», блокування IP-адрес, динамічної зміни структури сторінок. Парсер потрібно «навчити» збирати дані попри ці заходи.
2. Знайти на сторінці саме ті дані, які потрібні. Навіть отримавши сторінку, знайти конкретні дані серед тисяч рядків коду — це як шукати голку в копиці сіна. Та сама ціна може називатися «price», «cost», «amount» або взагалі ховатися в JavaScript-коді. Кожен сайт має унікальну структуру, яка може змінюватися регулярно, і до цього треба підлаштовуватися.

Розгляньмо на прикладі — візьмемо звичайну картку товару на сайті Rozetka.

Коли ви як користувач завантажуєте цю сторінку, то бачите всю необхідну інформацію і характеристики.

А парсер «бачить» отакий HTML-код:

Якщо уважно подивитися на цей HTML-код, ви не знайдете в ньому ні ціни, ні рейтингу. Увесь контент, який бачить користувач, фактично «невидимий» для парсера.

Це відбувається тому, що багато сучасних інтернет-магазинів, крім статичного HTML-коду (який бачать пошукові роботи), використовують динамічний JavaScript, що завантажує контент після відкриття сторінки.

Тобто насправді, коли ви переглядаєте сторінку товару, спочатку завантажується «порожня» HTML-структура без назви товару, потім JavaScript виконує додаткові запити на сервер, отримує дані про товар (назву, ціну, опис) і динамічно вставляє їх у сторінку в красивому вигляді.

Як ми розв’язуємо цю проблему

Нам не потрібно скачувати всю сторінку, адже що менше інформації ми завантажуємо, то швидше це відбувається (далі ми пояснимо, чому швидкість важлива). Ми знаходимо алгоритм, який дасть змогу просканувати так, щоб зібрати з нього максимум інформації, але водночас не збирати зайвого, бо це збільшує вартість парсингу. Ми застосовуємо різні стратегії залежно від технічного завдання.

Основний виклик у цьому завданні — нестабільність структури даних. Якщо сайт змінює назви полів (наприклад, «самовивіз» → «delivery»), парсер продовжує шукати поле «самовивіз», не знаходить його та видає помилку.

Такі зміни на сайтах відбуваються постійно й потребують регулярного доналаштування парсерів. Змінюється структура, назви полів. Кожне таке оновлення може «зламати» парсер для конкретного сайту.

Що ми робимо:

• постійно моніторимо роботу парсерів і одразу бачимо сповіщення від системи, коли щось іде не так, як має бути;
• якщо парсер видає помилку, аналізуємо, що саме змінилося на сайті;
• переписуємо логіку парсера під нову структуру;
• тестуємо й запускаємо знову.

Щоб забезпечити високу якість даних, необхідна постійна технічна підтримка, а не разове налаштування.

Кожен сайт — це окрема головоломка. З досвідом у нас сформувалася умовна «книжка рішень»: які інструменти працюють, як діяти із захистом, де зазвичай «ховаються» ті чи інші поля.

Висновок: те, що здається простим завданням «скопіювати дані з сайту», насправді потребує постійної роботи цілої команди розробників, які щодня адаптують сотні парсерів до змін у структурах даних різних джерел.

Чим Pricer24 відрізняється від інших сервісів для аналізу цін?

• Ми не використовуємо шаблонних рішень. Кожен сайт аналізуємо окремо, щоб знайти оптимальний спосіб отримання максимуму потрібної інформації за мінімальної кількості запитів. Це означає вищу швидкість збирання даних і менше навантаження на сервери.
• Ми маємо накопичений досвід та глибоке розуміння різних технологій, що їх використовують під час створення сайтів, їхніх систем захисту й особливостей структури. І залежно від конкретного сайту обираємо відповідні інструменти для кожного випадку.
• Для кожного сайту ми кастомізуємо свої базові рішення, що дає змогу збирати дані максимально швидко — з тією частотою, яку обіцяли клієнту.

Як відбувається автоматизований пошук товарів на сайтах конкурентів

Парсер скопіював усі дані — і починається виявлення товарів-відповідників.

Важливо розуміти, як саме сервіси для моніторингу цін конкурентів знаходять серед тисяч позицій у чужих каталогах саме ті товари, що відповідають вашим. Адже це безпосередньо впливає на discovery rate, тобто повноту даних.

Як більшість сервісів для аналізу цін виконують це завдання? 

Традиційний підхід на ринку сервісів для моніторингу такий:

1. Підрядник бере каталог клієнта.
2. Шукає кожен товар на сайтах конкурентів.
3. Прив’язує посилання до знайдених товарів.
4. Збирає ціни за цими посиланнями.

Здається, що все логічно та просто. У чому ж тут проблема?

У реальності товар, який у вас називається, наприклад, 

Нашийник для котів шкіряний WAUDOG Glamour з QR паспортом без прикрас XXS ширина 9 мм довжина 22–30 см Блакитний (32482),

у конкурента має назву:

Нашийник котячий WAU DOG Glamour QR паспорт для малих котів (Blue). 

Автоматика не знайде його за назвою, і ви не знатимете, що в конкурента теж є цей товар. 

Кожен конкурент має свої правила найменування. Щоб якісно знаходити товари на десятках сайтів, потрібно знати правила неймінгу в кожній категорії кожного сайту.

Наш підхід — від загального до конкретного

Ми виконуємо це завдання навпаки:

1. Коли починаємо співпрацю з новим клієнтом, він передає нам свій каталог і перелік сайтів для моніторингу.
2. Ми узгоджуємо технічне завдання — у яких категоріях ці товари потрібно шукати.
3. Створюємо «Словник брендів», де задаємо відповідності брендів конкурентів до брендів в каталозі нашого клієнта.
4. Створюємо «Словник товарів конкурента».
5. Регулярно збираємо абсолютно всі товари, що є в потрібних категоріях на сайтах конкурентів.
6. Шукаємо в каталозі клієнта кожен зібраний товар конкурента, бо пошук на одному сайті ефективніший, ніж на багатьох (простіше запам’ятати структуру й орієнтуватися в ній).
7. Саме на основі відповідників у каталозі клієнта, а не конкурента, задаємо відповідність.

Наприклад, усі товари, що є в категорії «Ноутбуки» (категорії конкурентів можуть називатися «Ноутбуки», «Лептопи», і це прописано в технічному завданні) на сайтах конкурентів, потрапляють до нашого «Словника», і далі ми до товару конкурента задаємо відповідний товар у каталозі клієнта.

Якщо в клієнта малий асортимент у категорії: наприклад, 3 ноутбуки проти 3000 у конкурента, то збирати всю категорію конкурента неефективно. Тоді ми шукаємо товари так, як це роблять більшість сервісів, щоб зменшити ваші витрати.

Які переваги такий підхід дає клієнтам

• Оптимізація і точність. Коли ми виконуємо завдання зіставлення навпаки, то не повинні вивчати правила неймінгу на всіх сайтах конкурентів, а тільки знати логіку неймінгу свого клієнта. Це означає вищу точність зіставлення товарів.

• Щоденне виявлення новинок. Інші сервіси можуть не помічати нових товарів ваших конкурентів місяцями, а ми щодня аналізуємо категорії конкурентів і виявляємо всі нові товари, які в них з’являються. Щойно це стається, система фіксує новий товар, наша команда бачить його в «Словнику», шукає відповідник у каталозі клієнта та, якщо він є, робить зв’язку. Це також дає змогу отримувати актуальну інформацію і здійснювати повний моніторинг, коли конкурент свідомо створює дублі товарів з нижчою ціною. Отже, discovery rate залишається стабільно високим.

• Консистентність даних. Постійне відстеження змін як у вашому каталозі, так і на сайтах конкурентів дає змогу підтримувати дані в актуальному стані.

Пошук товарів із заплутаними або неповними назвами

Ми шукаємо товари за комплексом параметрів одночасно, причому набір цих параметрів формується відповідно до вашого технічного завдання.

Наприклад, для порівняння ноутбуків враховуються артикули/партномери, назви товарів, а в разі неочевидного зіставлення — загальні технічні характеристики: обʼєм оперативної памʼяті (RAM), процесор (модель CPU, покоління, частота), тип відеокарти (GPU) і місткість накопичувача, а також специфічні характеристики, які вказують на комплектацію товару.

Для парфумів у порівняння можуть додатково входити такі ознаки, як об’єм флакона, чи є продукт тестером, оригіналом, копією тощо.

Тож, навіть якщо продукт не збігається за назвою з вашим, ми все одно можемо його знайти.

Як здійснюється зіставлення товарів

Одна з головних складових якості будь-якого сервісу аналітики цін конкурентів — правильне зіставлення товарів. У професійній термінології цей процес називають метчингом (від англ. matching). Саме він відповідає за точність даних — accuracy rate.

Часто помилки в зіставленні пов’язані з різними назвами товарів, різними способами вказувати характеристики товару на двох сайтах або зміною фактичної адреси картки товару, коли система продовжує порівнювати ваш товар зі старим посиланням.

Сервіси для аналізу цін застосовують кілька підходів до зіставлення товарів:

• автоматичний метчинг — швидкий, масштабований, але з високим відсотком похибок;
• ручний метчинг — може бути доволі точним, але є ресурсомістким;
• AI-метчинг — порівняно новий підхід: зіставлення товарів відбувається на основі моделей штучного інтелекту, що намагаються «зрозуміти» дані й виокремити назви товарів та описи.

Метчинг товарів у Pricer24

Ми застосовуємо комбінацію трьох підходів у найвигіднішій для клієнта пропорції. Запускаємо декілька алгоритмів, кожен з яких порівнює товари за різними параметрами: назвою, артикулом, характеристиками, об’ємом, позиціонуванням у категорії тощо, з метою знайти якомога більше збігів між двома товарами.

• Результати кожного зіставлення проходять через систему оцінки надійності.
• Варіанти, які система оцінки надійності визначає як «сумнівні», потрапляють до списку на ручну перевірку.
• Якщо товар був зіставлений помилково, людина фіксує цю помилку, й алгоритм її більше не повторить. У результаті він стає розумнішим з кожною перевіркою.
• Крім того, у нас є кілька рівнів постфактум-перевірок, що забезпечує якісний контроль даних упродовж усієї співпраці з клієнтом.

Цей підхід дає нам змогу досягати високої точності навіть у складних випадках — і забезпечувати стабільну якість даних.

Що може піти не так: випадки, коли проблеми з даними дорого коштують бізнесу

За нашими оцінками, у більшості сервісів для аналізу цін discovery rate у складних категоріях не перевищує 50–60%, у простих категоріях — сягає 80-85%. Cередній показник на ринку — приблизно 70–75%. Це означає, що від чверті до половини конкурентних цін може бути не враховано в аналізі.

Ось приклади, якими ділилися з нами клієнти, які перейшли на Pricer24 після невдалого досвіду користування іншими платформами.

Антикейс 1. Неправильно зіставлені товари = неправильні рішення

Система автоматично зметчила ноутбук з Intel i3 у клієнта з ноутбуком з Intel i5 у конкурента — однакова діагональ, однаковий бренд, майже ідентичні назви. Менеджер вирішив, що конкурент знизив ціну, і теж зменшив її. Але насправді конкурент продавав дорожчу модель.

Втрати: –10% маржі за два тижні.

Антикейс 2. Неповні дані = сліпі зони

Клієнт отримував звіти з категорії «Смартгодинники». Конкурент додав до цієї категорії нову лінійку товарів, але категорійний менеджер не побачив появи дешевших аналогів і продовжив продавати стару модель за завищеним цінником.

Втрати: –15% у продажах у категорії впродовж 2 тижнів, поки проблему не було виявлено вручну.

Антикейс 3. Застарілі дані = запізнілі дії

Конкурент проводив акцію: популярні моделі смартфонів за акційною ціною на 48 годин. Але дані про ціни на цьому сайті оновлювалися 1 раз на 3 дні. Наслідок: у звіті не було видно знижки, а отже — не було реакції.

Втрати: пропущений момент для цінової відповіді, зменшення продажів за кількістю SKU на 23% за тиждень.