> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sleak.chat/llms.txt
> Use this file to discover all available pages before exploring further.

# Blocking tijdens scrapen

> Oplossing voor foutmeldingen tijdens het scrapen van je website

Er zijn **twee veelvoorkomende oorzaken** waarom het scrapen van je website kan falen. Beide hebben te maken met beveiligingsmaatregelen op je website die scraping blokkeren.

***

## Oorzaak 1: Server beveiliging blokkeert scraping

Het komt voor dat **foutmeldingen verschijnen tijdens het scrapen van je website**. Dit gebeurt meestal omdat je server automatisch onbekende bots blokkeert als beveiligingsmaatregel.

**Wat gebeurt er precies?**

* Je server detecteert scraping activiteit als potentieel verdachte traffic
* De ingebouwde beveiliging blokkeert automatisch toegang
* Hierdoor kunnen niet alle pagina's succesvol gescraped worden

### Oplossing: Server header toevoegen

<Steps>
  <Step title="Voeg header toe">
    Voeg de volgende header toe op je server:

    ```
    sleak.chat scrape
    ```

    Dit zorgt ervoor dat je server Sleak herkent als vertrouwde bot en toegang verleent.
  </Step>

  <Step title="Opnieuw scrapen">
    Selecteer alle URLs met foutmeldingen in je databron en klik rechtsbovenin op 'meer opties' -> 'Opnieuw scrapen'.
  </Step>

  <Step title="Verificatie">
    Het scraping proces zal nu zonder blokkering verlopen.
  </Step>
</Steps>

<Info>
  **Weet je niet hoe je een header moet toevoegen?**

  Neem contact op met je webouwer of hostingprovider. Zij kunnen je helpen met het toevoegen van de `sleak.chat scrape` header aan je server configuratie.
</Info>

***

## Oorzaak 2: Cloudflare blokkeert scraping

### Foutmeldingen bij het toevoegen van sitemaps of productfeeds

Sommige websites gebruiken **Cloudflare** om verkeer te beveiligen. In dat geval kan het voorkomen dat onze scraper wordt geblokkeerd en dat sitemaps of productfeeds niet (opnieuw) kunnen worden ingelezen.

Gelukkig is dit eenvoudig op te lossen door onze user agent toe te staan in Cloudflare.

### Oplossing: User agent toestaan in Cloudflare

<Steps>
  <Step title="Ga naar Cloudflare instellingen">
    Ga in Cloudflare naar **Security → WAF → Firewall Rules**
  </Step>

  <Step title="Maak nieuwe regel aan">
    Maak een nieuwe regel aan met de volgende expressie:

    ```
    (http.user_agent contains "sleak.chat scrape")
    ```
  </Step>

  <Step title="Stel actie in">
    **Actie:** Allow
  </Step>

  <Step title="Test de oplossing">
    Probeer de sitemap of productfeed opnieuw toe te voegen
  </Step>
</Steps>

**Resultaat**: Cloudflare staat verzoeken toe die onze scraper-user-agent bevatten.

***

<Note>
  **Hulp nodig?**

  Mocht er iets niet lukken of onduidelijk zijn? Neem gerust contact op met het team van Sleak, zodat we je verder kunnen helpen!
</Note>