Oorzaak 1: Server beveiliging blokkeert scraping
Het komt voor dat foutmeldingen verschijnen tijdens het scrapen van je website. Dit gebeurt meestal omdat je server automatisch onbekende bots blokkeert als beveiligingsmaatregel. Wat gebeurt er precies?- Je server detecteert scraping activiteit als potentieel verdachte traffic
- De ingebouwde beveiliging blokkeert automatisch toegang
- Hierdoor kunnen niet alle pagina’s succesvol gescraped worden
Oplossing: Server header toevoegen
1
Voeg header toe
Voeg de volgende header toe op je server:Dit zorgt ervoor dat je server Sleak herkent als vertrouwde bot en toegang verleent.
2
Opnieuw scrapen
Selecteer alle URLs met foutmeldingen in je databron en klik rechtsbovenin op ‘meer opties’ -> ‘Opnieuw scrapen’.
3
Verificatie
Het scraping proces zal nu zonder blokkering verlopen.
Weet je niet hoe je een header moet toevoegen?Neem contact op met je webouwer of hostingprovider. Zij kunnen je helpen met het toevoegen van de
sleak.chat scrape header aan je server configuratie.Oorzaak 2: Cloudflare blokkeert scraping
Foutmeldingen bij het toevoegen van sitemaps of productfeeds
Sommige websites gebruiken Cloudflare om verkeer te beveiligen. In dat geval kan het voorkomen dat onze scraper wordt geblokkeerd en dat sitemaps of productfeeds niet (opnieuw) kunnen worden ingelezen. Gelukkig is dit eenvoudig op te lossen door onze user agent toe te staan in Cloudflare.Oplossing: User agent toestaan in Cloudflare
1
Ga naar Cloudflare instellingen
Ga in Cloudflare naar Security → WAF → Firewall Rules
2
Maak nieuwe regel aan
Maak een nieuwe regel aan met de volgende expressie:
3
Stel actie in
Actie: Allow
4
Test de oplossing
Probeer de sitemap of productfeed opnieuw toe te voegen
Hulp nodig?Mocht er iets niet lukken of onduidelijk zijn? Neem gerust contact op met het team van Sleak, zodat we je verder kunnen helpen!