Parsery w monitoringu cen konkurentów: rodzaje i działanie

Parsery sklepów internetowych zbierają dane o produktach, ich cenach, dostępności, warunkach kredytowych i dostawy. Jest to przydatne do analizy konkurentów, ich cen, asortymentu oraz innych danych. Na rynku dostępnych jest wiele narzędzi oferujących taką usługę.

Jednak większość współczesnych sklepów online posiada ochronę przed parsingiem, dlatego nie wszystkie narzędzia działają skutecznie. Jeśli potrzebujesz dokładnych i aktualnych danych, masz dwie opcje: szukać odpowiedniego wykonawcy i testować jakość jego pracy albo rozwijać parsery samodzielnie (co prawie zawsze jest nieopłacalne biorąc pod uwagę koszty infrastruktury, oraz – co najważniejsze – utrzymania).

W tym artykule przedstawimy jakie są rodzaje parserów i na co warto zwracać uwagę przy wyborze takiego narzędzia do analizy konkurentów.

Spis treści:

• Jak parsery są wykorzystywane w analizie cen
• Jakie dane zbierają parsery
• Rodzaje parserów
• Parsery plików
• Parsery po linkach
• Parsery kategorii
• Parsery aplikacji mobilnych e-commerce
• In-house vs outsourcing: który sposób wybrać

Jak parsery są wykorzystywane w analizie cen

Parsery pomagają przyspieszyć zbieranie informacji o cenach i asortymencie na rynku online. Wolumen danych, który człowiek przetwarza w ciągu 10-20 godzin, parser może zebrać w kilka minut.

Chociaż parsing nie jest nową technologią, osiągnięcie wysokiej jakości podczas pozyskiwania danych ze sklepów internetowych jest dość trudne. Gotowe, szablonowe rozwiązania dostępne na rynku potrafią znaleźć 70-80% potrzebnych danych. Aby zwiększyć dokładność, należy tworzyć lub ulepszać parser dla każdego konkretnego przypadku, co wymaga czasu oraz budżetu na rozwój.

Platformy do analityki cenowej łączą parsing (jako technologię zbierania danych) z narzędziami analitycznymi: otrzymujesz nie „surowe” dane, lecz zwizualizowaną analitykę, z którą można pracować jak z gotowymi insightami.

Jakie dane zbierają parsery

Parsery sklepów internetowych mogą zbierać różne typy danych. Wśród nich mogą się znaleźć:

1. Podstawowe informacje o produkcie:

• kod produktu (SKU);
• nazwa produktu;
• nazwa producenta/marki;
• URL do karty produktu;
• zdjęcia (linki do fotografii produktu).

2. Cena i dostępność:

• cena standardowa;
• cena promocyjna;
• status dostępności;
• liczba sztuk w magazynie.

Większość parserów zbiera tylko te informacje. Bardziej zaawansowane narzędzia mają szersze możliwości i zbierają dodatkowe dane, które wpływają na sprzedaż i pozycjonowanie produktu.

3. Rozszerzone dane:

• ocena produktu;
• sprzedawca produktu (istotne przy analizie konkurencji na marketplace’ach);
• warunki zakupu: kredyt, płatność ratalna;
• warunki dostawy: darmowa dostawa, terminy;
• pozycja produktu w katalogu;
• aktywne promocje (np. nazwa akcji: „Black Friday”, „Wyprzedaż”);
• etykiety: „Nowość”, „Bestseller”, „Supercena”.

W Pricer24 zbieramy wszystkie wymienione dane: standardowo – kluczowe informacje o produkcie, ceny i dostępność, ponieważ stanowią one podstawę wysokiej jakości analizy cenowej. Dodatkowo możemy dostosować zbieranie danych do konkretnych zadań klienta.

Ważne: zbieranie legalnych danych i ograniczenia

Nie zbieramy danych chronionych prawami autorskimi ani stanowiących własność intelektualną sklepów internetowych, takich jak tekstowe opisy produktów czy ich cechy.

Rodzaje parserów

Parsery można klasyfikować na różne sposoby, ale najpraktyczniejsza klasyfikacja opiera się na źródle zbierania danych:

• parsery plików;
• parsery po linkach (parsery kart produktów);
• parsery kategorii (+ parsery wyników wyszukiwania);
• parsery aplikacji mobilnych.

Omówmy każdy z nich, zaczynając od najprostszych.

Parsery plików

Parsery plików to narzędzia, które zbierają dane z plików udostępnionych przez klientów. Przykłady: cenniki dostawców, lista produktów w katalogu klienta. Format takich plików to CSV, XLS(X), XML lub JSON. Zawierają one ustrukturyzowane informacje o produktach: SKU, cenę, dostępność, nazwę, markę itp.

Parsery plików pozwalają przetwarzać duże ilości informacji bardzo szybko. Dane są dostarczane w ustrukturyzowanym, wygodnym do analizy formacie, co znacznie ułatwia ich przetwarzanie.

Jak to działa

1. Klient udostępnia plik lub API. Może to być regularna aktualizacja cennika lub jednorazowy plik z danymi o produktach. Na przykład, można udostępnić znormalizowane feedy danych o produktach (Google Shopping, Hotline, Prom.ua itp.) lub partnerski dostęp do portalu poprzez klucz autoryzacyjny. W takim przypadku API umożliwia parserowi pobieranie danych bezpośrednio z systemu z minimalnym opóźnieniem.
2. Parser skanuje plik i rozpoznaje strukturę danych: kolumny z kodami SKU, cenami, dostępnością, nazwami, markami itd.
3. Parser normalizuje dane do jednego formatu. Mogą to być na przykład jednolite oznaczenia dostępności (In stock → „Dostępny”).

Parsery po linkach

Parsery po linkach (parsery kart produktów) zbierają dane bezpośrednio z kodu HTML konkretnej oferty na stronie konkurenta. Przy jednym zapytaniu parser otrzymuje informacje o produkcie – cenę, dostępność itd.

Jak to działa

Większość serwisów analizy cen konkurencji zbiera dane o produktach konkurentów w następujący sposób:

1. Na początku współpracy przeprowadza się analizę strony konkurenta: znajdowane są wszystkie linki do wszystkich produktów.
2. Dopasowuje się pary: link do Twojego produktu do linku tego samego produktu na stronie konkurenta.
3. Następnie skanuje się tylko te same linki i nie wyszukuje nowych powiązań.

Główne ograniczenie parserów po linkach polega na tym, że skanując stare linki wielokrotnie, nie uwzględnia się nowości w katalogach konkurentów.

Wyobraźmy sobie sytuację: skonfigurowaliście zbieranie danych po linkach dla 100 produktów w określonej kategorii u trzech konkurentów. W ciągu pierwszego miesiąca konkurent A dodał 50 nowych produktów, konkurent B – 30, konkurent C – 20. Nie macie żadnej wiedzy o tych nowościach, czyli w praktyce nie widzicie części rynku, która może wpływać na Waszą sprzedaż. A teraz przeskalujcie te liczby na swój asortyment. Najgorsze jest to, że najprawdopodobniej dowiecie się o nowościach konkurentów z dużym opóźnieniem, gdy będzie trzeba analizować przyczyny spadku sprzedaży.

Aby wykrywać nowości w katalogach konkurentów, należy:

• regularnie odwiedzać stronę każdego konkurenta;
• sprawdzać liczbę produktów w ich kategoriach (dobrze, jeśli są one takie same u Was i u konkurenta);
• porównywać je z Waszym asortymentem;
• identyfikować nowe produkty;
• dodawać linki do systemu monitoringu.

Drugi problem – niektóre sklepy mogą tworzyć duplikaty kart produktów w swoim katalogu, obniżając cenę w nowo utworzonej karcie. Robią to w celu ochrony przed parserami: Wasz parser nadal zbiera dane ze starej karty (gdzie cena jest wyższa), podczas gdy rzeczywiści klienci widzą nową kartę z niższą ceną.

Czasami konkurenci masowo zmieniają też strukturę URL-i i mogą nie skonfigurować przekierowań.

Było: site.com/product/iphone-16-128gb

Jest: site.com/products/smartphones/iphone-16-128gb

Wszystkie stare linki przestają działać w jednym momencie. Trzeba wykryć problem, znaleźć nowy URL i zaktualizować go w systemie.

Kolejny częsty przypadek: dodaliście link, a konkurent usunął tę kartę. Parser wchodzi na stronę i widzi błąd 404. Pokazuje, że dla tego produktu u konkurenta nie ma ceny, i myślicie, że nie sprzedaje tego produktu.

Kiedy ta metoda ma sens

Parsowanie po linkach jest uzasadnione, gdy potrzebujecie punktowo śledzić konkretne produkty. Na przykład, w Waszej kategorii są tylko 3 produkty, a u konkurenta – 3000. Zbieranie całej kategorii jest nieopłacalne – zapłacicie za zbieranie danych o 2997 niepotrzebnych produktach. Znacznie efektywniej jest ustawić linki tylko do tych 3 produktów, które Was interesują.

Parsery kategorii

Parsery kategorii zbierają dane ze wszystkich produktów w danej kategorii na stronie konkurenta lub marketplace’u.

Do tego typu można zaliczyć także parsery wyników wyszukiwania. Działają podobnie, ale zamiast kategorii przetwarzają strony generowane w odpowiedzi na konkretne zapytanie wyszukiwania.

Jak to działa

Botowi podaje się link do strony startowej kategorii. Na przykład, kategoria „Lodówki”: https://website.ua/refrigerators/.

Bot automatycznie przechodzi przez wszystkie karty w kategorii i zbiera wszystkie dostępne informacje o każdym produkcie w każdej karcie.

Podtypem tego typu parserów są parsery według zapytań wyszukiwania. Jeśli potrzebujecie śledzić tylko jedną markę, wygodniej jest użyć właśnie takiego parsera.

Przykład zapytanie: https://website.ua/ua/search/?text=ecoflow

Parser zbiera wszystko, co znajdzie się na stronie konkurenta pod słowem „Ecoflow”.

Jest to całkiem wygodne, ale ma pewne ograniczenia:

• Jeżeli na stronie konkurenta wyszukiwarka lub filtry są źle zaimplementowane, wyniki parsowania będą zawierać dużo „szumu”. Szukacie telefonu, a otrzymujecie słuchawki, ładowarki, etui i cokolwiek, tylko nie telefony.
• Jeżeli marka, według której musicie zbierać dane, ma nie unikalną nazwę, w wynikach również pojawi się „szum”. Przykład z naszej praktyki – marka “Grey”: większość stron w wynikach wyszukiwania pokaże produkty w kolorze szarym (grey color), produkty, w których nazwie znajduje się słowo „grey”, a gdzieś wśród tego wszystkiego – rzeczywiste produkty marki Grey.

Zalety parserów kategorii

1. Automatyczne wykrywanie nowości.

To największa zaleta. Wczoraj u Waszego konkurenta jeszcze nie było produktu, który sprzedajecie, a już dziś dodał go i ustawił cenę o 15% niższą od Waszej. Jak wspomnieliśmy wcześniej, jeśli śledzicie tylko konkretne linki, po prostu nie zauważycie pojawienia się tego produktu. Parsowanie całej kategorii pozwala w porę rejestrować nowości i szybko reagować na zmiany rynkowe.

2. Analiza całego rynku, a nie tylko pozycji wspólnych asortymentu.

Parser kategorii pozwala widzieć produkty, których jeszcze nie macie. Otwiera to możliwości do:

• Monitorowania unikalnych ofert. Na przykład gdy konkurent ma produkt ekskluzywny. Jeśli sprzedaje go bardzo tanio, wpływa to na cały segment. Możliwe, że musicie skorygować ceny swoich podobnych produktów, aby pozostać konkurencyjni.
• Wykrywania luk w asortymencie. Parsowanie kategorii pozwala zobaczyć, które produkty są aktywnie sprzedawane przez konkurentów, ale jeszcze nie znajdują się w Waszym asortymencie. To cenny sygnał do rozszerzenia asortymentu i określenia konkretnych produktów, które warto dodać, aby zwiększyć sprzedaż.
• Wykrywanie naruszeń sugerowanej ceny detalicznej. Jest to bardzo ważny temat dla marek i dystrybutorów. Czasami partnerzy próbują oszukiwać – tworzą dwie karty tego samego produktu: jedną z poprawną nazwą i prawidłową ceną (do prezentacji marki), drugą z nieoczywistą nazwą i zaniżoną ceną (do rzeczywistej sprzedaży). Parser kategorii znajduje wszystkie karty, nawet te ukryte przed oczywistym wyszukiwaniem. Dzięki temu widzicie rzeczywisty obraz polityki cenowej Waszego partnera.

Pułapki parsowania kategorii i jak robić to profesjonalnie

1. Zbieranie „zbędnych” danych.

Na przykład, w Waszej kategorii jest 10 lodówek określonej marki, a u konkurenta – 1000z różnych marek. Chcecie porównywać tylko swój asortyment, ale system zbiera 100 razy więcej informacji. Inny przykład z praktyki: jeśli na marketplace “Amazon” interesują Was tylko produkty ich marki, zbieranie całej kategorii z innymi sprzedawcami jest nieopłacalne.

Jak to rozwiązujemy: używamy dodatkowych filtrów według Waszej marki lub sprzedawcy.

Dzięki temu można kontrolować ilość danych i optymalizować budżet: możemy ograniczać liczbę zbieranych danych, uwzględniając specyfikę i potrzeby klienta.

2. Chaotyczna kategoryzacja na różnych stronach.

Chodzi o sytuację, gdy ten sam produkt na różnych stronach jest umieszczony w różnych kategoriach.

Na przykład odkurzacze:

• na stronie A – tylko w kategorii „Odkurzacze”;
• na stronie B – w kategoriach „Odkurzacze roboty”, „Odkurzacze ręczne”, „Odkurzacze pionowe”, „Myjki do okien” itp.

Inny trudny segment to akcesoria. W jednym ze sklepów 10 akcesoriów będzie znajdować się w kategorii „Akcesoria do laptopów”, a w innym te same produkty mogą być rozrzucone po kategoriach: „Baterie do laptopów”, „Torby”, „Etui”, „Peryferia”, „Ładowarki”.

Z naszej praktyki, w niszach „Artykuły zoologiczne” i „Artykuły motoryzacyjne” także występuje dość chaotyczna kategoryzacja.

Jak to rozwiązujemy: ręcznie sprawdzamy produkty bez matchingu na etapie konfiguracji. Jeśli produkt klienta nie zostanie znaleziony, jest to sygnał, że być może pominięto jakąś kategorię. Takie podejście zapewnia maksymalne pokrycie produktów.

3. Dynamiczne sortowanie.

Niektóre strony stosują dynamiczne sortowanie produktów w kategorii według popularności. Produkt, który do tej pory był na pierwszej stronie, może nagle przesunąć się na drugą. W związku z tym istnieje ryzyko zebrania danych produktu dwukrotnie lub całkowitego jego pominięcia.

Jak to rozwiązujemy: system zapamiętuje produkty, które były wcześniej dostępne. Jeśli teraz nie są widoczne w kategorii, system dodatkowo sprawdza bezpośrednim linkiem, czy produkt jest obecnie dostępny, czy nie.

Oznacza to, że albo parsujemy według wcześniejszych uruchomień (sprawdzamy, które produkty były wcześniej dostępne, weryfikujemy je ponownie, a jeśli przez pewien czas się nie pojawiają, przerywamy powtórne sprawdzanie), albo zbieramy dane o produktach według marek.

Parser linków czy parser kategorii: który wybrać?

Gdyby wszystkie sklepy internetowe miały taką samą strukturę, rynek byłby znacznie prostszy i można byłoby wybrać jedno rozwiązanie. W obecnej sytuacji najlepsze podejście to rozwiązanie hybrydowe.

Dla głównych kategorii, w których Wasz asortyment w dużym stopniu pokrywa się z konkurencją, najwygodniej jest używać parsera kategorii. Automatycznie zbiera wszystkie produkty, pozwala wykrywać nowości na rynku i monitorować luki w Waszym asortymencie.

Jest to szczególnie istotne, jeśli:

• pokrycie asortymentu z konkurentem wynosi ≥ 50%;
• rynek jest dynamiczny i stale pojawiają się nowe produkty;
• potrzebujecie monitorować cały rynek, a nie tylko swój asortyment;
• ważne jest śledzenie naruszeń sugerowanej ceny detalicznej dla marek.

Natomiast dla specyficznych produktów, które trudno sklasyfikować, lepiej sprawdzi się parsowanie po linkach. Pozwala ono punktowo śledzić te SKU, które Was interesują, bez zbierania zbędnych danych.

Ten sposób jest szczególnie wygodny, jeśli:

• macie wąską specjalizację (np. 3 produkty w porównaniu do 3000 u konkurenta);
• potrzebna jest punktowa kontrola konkretnych SKU;
• budżet jest ograniczony, a asortyment stabilny.

Łącząc oba podejścia, otrzymujecie pełny obraz rynku, a jednocześnie nie przepłacacie za zbieranie zbędnych danych.

Podczas wyboru rozwiązania price intelligence koniecznie dowiedzcie się:

1. Jakie typy parserów wykorzystuje dostawca?
2. Jak rozwiązuje problem wykrywania nowości?
3. Czy wspierane jest podejście hybrydowe?
4. Jak często aktualizowane są dane?
5. Jaki procent pokrycia Waszego asortymentu gwarantują?

Parsery aplikacji mobilnych e-commerce

Często sklepy internetowe oferują różne ceny w wersjach webowych i w swoich aplikacjach mobilnych. Dlatego, jeśli chcecie mieć pełny i realistyczny obraz rynku, potrzebujecie danych z obu typów źródeł.

Parsery aplikacji mobilnych w e-commerce to specjalistyczne narzędzia programistyczne, które automatycznie zbierają ustrukturyzowane dane o produktach, cenach, dostępności, a także recenzje i inne informacje bezpośrednio z aplikacji mobilnych sklepów i marketplace’ów.

Ze względu na specyfikę aplikacji mobilnych, takie parsowanie jest technicznie bardziej skomplikowane niż zbieranie danych ze stron internetowych. Najczęściej stosowaną metodą jest emulacja urządzenia mobilnego (Android/iOS) z automatyczną interakcją z interfejsem. Program imituje działania użytkownika: ładuje sekcje, przewija listy produktów, wchodzi w karty produktów i zapisuje potrzebne dane. Dla aplikacji wygląda to tak, jakby była uruchomiona na prawdziwym urządzeniu.

To podejście wymaga wysokiej wiedzy technicznej. Nowoczesne aplikacje mobilne przeciwdziałają emulatorom, sprawdzając właściwości systemowe, parametry sprzętowe „urządzenia” oraz wzorce zachowań użytkownika. Stosują ochronę antybotową, wymagają autoryzacji lub weryfikacji, regularnie aktualizują się i zmieniają strukturę interfejsu. Dodatkowo emulatory zużywają dużo zasobów, co utrudnia skalowanie przy zbieraniu dużych ilości danych.

Pricer24 umożliwia parsowanie aplikacji mobilnych, pokonując wszystkie wymienione wyzwania techniczne. Nasza platforma wykorzystuje nowoczesne technologie emulacji i automatyzacji, aby zbierać dane z mobilnych wersji marketplace’ów i sklepów internetowych. Dzięki własnej infrastrukturze i doświadczeniu w pracy z różnymi systemami ochrony zapewniamy klientom aktualne i dokładne dane z mobilnych kanałów konkurencji, co pozwala podejmować decyzje na podstawie pełnej analizy rynkowej.

In-house vs outsourcing: który sposób wybrać

Często parsowanie błędnie postrzega się jako jednorazowe zadanie techniczne: kod zostanie napisany – i działa. W rzeczywistości każdy parser wymaga ciągłego wsparcia i ulepszania.

Strony internetowe nieustannie się zmieniają: aktualizowana jest struktura katalogu, zmienia się design i kod HTML, wzrasta ochrona przed botami, pojawiają się nowe mechaniki (np. bloki z otwartymi kodami promocyjnymi, które od razu dają zniżkę, lub dynamicznie ładowane treści).

Każda taka zmiana wymaga modyfikacji parsera, aby mógł zbierać informacje w nowych warunkach.

Problem własnego rozwoju (in-house)

Firmy rzadko są gotowe płacić programiście wyłącznie za utrzymanie parserów, ponieważ jest to niestabilne obciążenie. Jeśli w firmie znajduje się wewnętrzny specjalista, zostaną mu przydzielone także inne zadania programistyczne o wysokim priorytecie. W praktyce często zdarzają się opóźnienia tygodniowe lub dwutygodniowe, gdy parser wymaga uwagi, a specjalista zajęty jest innymi sprawami. W tym czasie parser działa niepoprawnie lub wcale, a Wy nie otrzymujecie danych.

Ponadto jakość pracy parsera w dużej mierze zależy od strategii parsowania:

• Co dokładnie parsować? Jakie produkty, których konkurentów, jakie parametry?
• Jak strukturyzować dane dla Waszej analizy?
• Jak sprawdzać jakość zebranych informacji?
• Jak reagować na zmiany w asortymencie konkurencji?

Firmom często brakuje eksperckiej wiedzy potrzebnej do opracowania skutecznej strategii parsowania i nie mają gdzie jej zdobyć, dlatego parser od pierwszego dnia zbiera dane niskiej jakości.

Cechy rozwiązania outsourcingowego

Specjalistyczne platformy do analizy cen, takie jak Pricer24, mogą dać lepszy efekt niż własne rozwiązania in-house dzięki specjalizacji w tworzeniu parserów dla e-commerce. Jednak aby uzyskać maksymalny efekt od wykonawcy korzystając z outsourcingu, należy również jasno określić zadania, wygodny dla Was format pracy z danymi oraz ustalić kryteria, według których będziecie oceniać efektywność zbierania danych.

Do takich kryteriów należą:

• Discovery rate – jaki procent wszystkich produktów, które są zarówno w Waszym katalogu, jak i w katalogu, który parsujecie, został odnaleziony.
• Częstotliwość parsowania – raz dziennie, raz w miesiącu czy 10 razy dziennie, w zależności od dynamiki w Waszej kategorii.
• Częstotliwość sprawdzania linków – w przypadku duplikatów kart produktów w katalogach.
• Dopuszczalna liczba błędów przy matchingu, czyli w procesie dopasowywania produktów („Wasz produkt” = „produkt konkurenta”) i inne kryteria.

Wybór między in-house a outsourcingiem powinien być ekonomicznie uzasadniony, ponieważ wpływa na Wasze koszty. Jednak jakość danych to również istotny parametr, który w długiej perspektywie determinuje Wasz zysk.

Podsumowanie

Na pierwszy rzut oka parsowanie może wydawać się proste: uruchomiłeś boty – i masz dane. Jednak po ponad 5 latach pracy z różnymi klientami, niszami i segmentami przekonaliśmy się, że wysoka jakość wymaga kompleksowego podejścia.

Każdy typ parsera ma swoje zalety i ograniczenia, a skuteczny monitoring cen konkurencji opiera się na:

• właściwym doborze typu parsera do Waszej specyfiki,
• przemyślanej kombinacji różnych podejść,
• regularnej kontroli jakości danych,
• optymalizacji budżetu na ich zbieranie.

W Pricer24 łączymy głęboką ekspertyzę w e-commerce, elastyczne podejście do konfiguracji zbierania danych oraz wysokie standardy jakości i obsługi, aby każdy klient otrzymywał dokładnie te dane, które są mu potrzebne do podejmowania strategicznych decyzji.