Welke AI-robots bezoeken mijn website en moet ik ze toelaten?

Elke dag komen er robots langs op je website. Een deel is van zoekmachines, een deel van AI-diensten en een deel van gereedschap voor marketeers. Ze doen verschillende dingen, en één verkeerde regel in je robots.txt kan je uit de zoekantwoorden van ChatGPT houden. Hier staat welke robots er zijn, wat ze doen en wat ik op mijn eigen site zag. Het grotere verhaal over genoemd worden in ChatGPT staat in hoe je als bedrijf genoemd wordt in ChatGPT.

De vier robots van OpenAI

OpenAI gebruikt vier robots, en OpenAI beschrijft elk met een eigen doel in zijn uitleg over crawlers:

Voor vindbaarheid in ChatGPT telt dus één robot: OAI-SearchBot. OpenAI adviseert hem toe te laten in robots.txt en de IP-adressen die OpenAI zelf publiceert door te laten. Een wijziging in robots.txt werkt volgens OpenAI na ongeveer 24 uur door. GPTBot bepaalt niet of je in zoekresultaten verschijnt. OAI-AdsBot komt alleen langs als je zelf een advertentie in ChatGPT plaatst.

De robots van anderen

Daarnaast komen er SEO-crawlers langs, zoals die van AhrefsBot. Ze verzamelen gegevens voor de tools van marketeers en hebben niets met AI-antwoorden te maken.

Wat ik zag op mijn eigen site

Dit zijn de verzoeken die mijn hostingdienst in de 14 dagen tot 24 oktober 2026 registreerde, per robot. Het gaat om alle bestanden die ze opvroegen, dus ook afbeeldingen en robots.txt:

Wat opvalt: OAI-SearchBot haalde in die periode vooral robots.txt op, 98 keer, en weinig pagina's. ChatGPT-User kwam in 30 dagen 26 keer een pagina ophalen voor een gebruiker, waarvan 19 keer mijn homepage. GPTBot vroeg in 30 dagen 208 keer iets op. Bij een andere site die ik beheer, met veel meer pagina's en verwijzingen, zag ik OAI-SearchBot veel vaker en dieper langskomen. Een zoekrobot bezoekt een site met veel pagina's en veel links dus vaker.

Zoekrobots toelaten, trainingsrobots kiezen

Het onderscheid dat telt is dat tussen zoeken en trainen.

• Zoekrobots toelaten. OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot en Googlebot laten je site meedoen in antwoorden. Wie ze blokkeert, verdwijnt daar uit.
• Trainingsrobots zijn een keuze. GPTBot, ClaudeBot en Google-Extended gaan over of je tekst voor het trainen van modellen gebruikt mag worden. Dat bepaalt niet of je in zoekantwoorden komt. Op mijn eigen site laat ik ze toe. Wie zijn teksten als bedrijfsmiddel ziet, kan ze weigeren zonder iets te verliezen in de zoekantwoorden.
• Robots op verzoek van een gebruiker. ChatGPT-User, Claude-User en Perplexity-User halen een pagina op omdat iemand erom vroeg. Je kunt ze in robots.txt aanspreken, maar OpenAI en Perplexity zeggen zelf dat ze die regels niet altijd volgen. Wil je iets echt afschermen, zet het dan achter een inlog.

Zo controleer je wat je site nu doet

• Open jouwsite.nl/robots.txt in je browser. Zoek naar regels met Disallow: / onder User-agent: * of onder een van de namen hierboven. Eén zo'n regel is genoeg om een robot buiten te houden.
• Kijk in het dashboard van je hosting of je firewall. Sommige diensten blokkeren AI-robots standaard of bieden er een schakelaar voor. Zet die uit voor de zoekrobots die je wilt toelaten.
• Blokkeer geen IP-adressen van de zoekrobots. Anthropic schrijft dat dat een robot kan beletten je robots.txt te lezen. OpenAI en Perplexity raden juist aan hun gepubliceerde IP-adressen toe te laten.
• Kijk in de serverlogs welke robots komen en welke pagina's ze ophalen. Zo zie je of je instellingen werken. In hoe meet je of ChatGPT je bedrijf noemt staat hoe.
• Zet er geen bestand naast robots.txt in de verwachting dat dat de robots stuurt. Of een llms.txt iets doet, staat in heeft een llms.txt zin.