Website scrape

Documentation Index

Fetch the complete documentation index at: https://docs.sleak.chat/llms.txt

Use this file to discover all available pages before exploring further.

Met een website scrape indexeert Sleak automatisch de inhoud van je website. De agent kan deze inhoud doorzoeken om vragen te beantwoorden op basis van jouw actuele webpagina’s. Geschikt voor:

• Productpagina’s en diensten
• Blogartikelen en nieuws
• Helppagina’s en FAQ’s
• Alle andere publiek toegankelijke pagina’s

Bij het aanmaken van een website databron geef je een URL op. Sleak indexeert de pagina’s op die URL en slaat de inhoud op zodat de agent er gebruik van kan maken. Er zijn twee manieren om pagina’s te ontdekken:

• Sitemap - Sleak leest de sitemap van je website. Dit is de aanbevolen optie.
• Crawl - Sleak volgt links op je website om pagina’s te ontdekken.

​

Automatische verversing

Je kunt een website scrape instellen als recurring databron. Sleak herindexeert de website dan automatisch elke dag, zodat de agent altijd werkt met actuele informatie.

​

Hoe het werkt

Recurring website scrapes worden dagelijks ververst tussen 01:00 en 02:00 . Zo is de agent altijd op de hoogte van de laatste wijzigingen op je website.

​

Auto-discovery van nieuwe pagina’s

Bij elke verversing controleert Sleak of er nieuwe pagina’s zijn toegevoegd aan de sitemap. Nieuwe pagina’s worden automatisch geïndexeerd - je hoeft de databron niet opnieuw in te stellen.

​

verversingsfrequentie

Als jouw sitemap een <lastmod> tag bevat, herkent Sleak welke pagina’s zijn gewijzigd sinds de vorige scrape. Hierdoor worden alleen de aangepaste pagina’s opnieuw geindexeerd - wat de verversing aanzienlijk efficiënter maakt. Hierdoor is dagelijkse verversing alleen ondersteund voor sitemaps die gebruikmaken van de <lastmod> tag. Voor andere scrapes is de verversingsfrequentie 7 dagen, en vindt er alleen op zondagnacht verversing plaats. Veel CMS-systemen zoals WordPress, Webflow en Shopify voegen de <lastmod> tag automatisch toe. Weet je niet zeker of jouw sitemap deze tag bevat? Vraag het na bij je webbouwer of bekijk de sitemap via jouwwebsite.nl/sitemap.xml.

---