Vindbaarheid in AI-assistenten (ChatGPT, Claude, Perplexity)
Steeds meer bezoekers zoeken niet alleen via Google, maar stellen hun vraag rechtstreeks aan een AI-assistent zoals ChatGPT, Claude of Perplexity. Die assistenten sturen daarvoor "crawlers" op pad: programma's die pagina's bezoeken om te bepalen wat erop staat, op dezelfde manier als een zoekmachine dat doet.
Elke website heeft een bestand robots.txt waarin staat welke crawlers welke pagina's mogen bezoeken. In de standaardinstelling van je webshop mogen de crawlers van ChatGPT, Claude, Perplexity en Google's AI Mode je productpagina's nu bezoeken. Daardoor kunnen deze assistenten je producten vinden, aanbevelen en de actuele informatie (zoals de prijs) rechtstreeks van je site ophalen wanneer een bezoeker daarnaar vraagt.
Waar vind je het?
Het bestand is voor iedereen te bekijken op jouwshop.nl/robots.txt. Je kunt de link ook terugvinden bij Instellingen > Zoekmachine optimalisatie (SEO), onder het kopje Robots.txt.
Hoe werkt het?
Welke crawlers zijn toegelaten
Zolang je bij Instellingen > SEO geen eigen tekst hebt ingevuld in het veld Robots.txt, gebruikt je shop de standaardinstelling. Daarin zijn naast de bekende zoekmachines (Google, Bing) ook de volgende AI-crawlers toegestaan:
- ChatGPT (OpenAI):
OAI-SearchBot,ChatGPT-User,GPTBot - Claude (Anthropic):
Claude-SearchBot,Claude-User,ClaudeBot - Perplexity:
PerplexityBot,Perplexity-User - Gemini / Google AI Mode:
Google-Extended
Microsoft Copilot gebruikt de crawler van Bing. Alle overige, niet met naam genoemde crawlers blijven geweerd: de standaardinstelling sluit af met een regel die voor "alle andere crawlers" toegang blokkeert.
Een eigen robots.txt gebruikt deze AI-crawlers niet automatisch
Heb je zelf een tekst ingevuld in het veld Robots.txt bij Instellingen > SEO, dan gebruikt je shop die eigen tekst in plaats van de standaardinstelling. De hierboven genoemde AI-crawlers staan dan niet automatisch toegelaten: je moet ze zelf toevoegen aan je eigen tekst als je ook wilt dat AI-assistenten je pagina's kunnen bezoeken.
AI-crawlers juist weren
Wil je niet dat AI-assistenten je content gebruiken? Vul dan bij Instellingen > SEO > Robots.txt een eigen tekst in waarin je de gewenste crawlers uitsluit. Er is geen aparte aan/uit-knop voor dit gedrag: het regelen gaat volledig via de inhoud van dit veld.
Veelgestelde vragen
Kost het bezoeken van deze crawlers mij iets, bijvoorbeeld extra serverbelasting?
Nee. Het gaat om dezelfde soort bezoeken als een zoekmachine al deed; de belasting is verwaarloosbaar vergeleken met normaal bezoekersverkeer.
Betekent dit dat mijn producten automatisch in ChatGPT of Claude verschijnen?
Nee, toegang is een voorwaarde, geen garantie. Of en hoe een AI-assistent jouw producten toont, bepaalt die assistent zelf op basis van de vraag van de bezoeker en de inhoud van je pagina's.
Ik heb al een eigen robots.txt ingesteld. Blokkeer ik AI-assistenten dan per ongeluk?
Mogelijk wel, als je eigen tekst nog dateert van vóór deze update. Controleer je tekst bij Instellingen > SEO > Robots.txt en voeg de bovenstaande crawlers toe als je wilt dat ze toegang krijgen.