# Welke AI-robots bezoeken mijn website en moet ik ze toelaten?

Bron: https://meneermarketing.nl/vragen/ai-vindbaarheid/welke-ai-robots-bezoeken-mijn-website
Auteur: Meneer Marketing
Gepubliceerd: 2026-10-24
Bijgewerkt: 2026-10-24

> Kort antwoord: Wie in ChatGPT wil verschijnen, laat OAI-SearchBot toe in robots.txt: dat is de robot voor de zoekfunctie. GPTBot, ClaudeBot en Google-Extended gaan over het trainen van modellen en bepalen niet of je in zoekantwoorden komt. ChatGPT-User en Perplexity-User halen een pagina op omdat een gebruiker erom vroeg en volgen robots.txt niet altijd. Zoekrobots toelaten is voor bijna elk bedrijf verstandig, trainingsrobots zijn een keuze.

Elke dag komen er robots langs op je website. Een deel is van zoekmachines, een deel van AI-diensten en een deel van gereedschap voor marketeers. Ze doen verschillende dingen, en één verkeerde regel in je robots.txt kan je uit de zoekantwoorden van ChatGPT houden. Hier staat welke robots er zijn, wat ze doen en wat ik op mijn eigen site zag. Het grotere verhaal over genoemd worden in ChatGPT staat in [hoe je als bedrijf genoemd wordt in ChatGPT](https://meneermarketing.nl/vragen/ai-vindbaarheid/hoe-word-ik-genoemd-in-chatgpt).

## De vier robots van OpenAI

OpenAI gebruikt vier robots, en OpenAI beschrijft elk met een eigen doel in zijn uitleg over crawlers:

| Robot | Waarvoor | Volgt robots.txt? |
|---|---|---|
| OAI-SearchBot | De zoekfunctie van ChatGPT. Sites worden hiermee in de zoekantwoorden getoond. | Ja. Wie zich afmeldt komt niet in de zoekantwoorden, al kan een link nog verschijnen. |
| GPTBot | Inhoud verzamelen die voor het trainen van modellen gebruikt kan worden. | Ja. Blokkeren betekent dat je inhoud niet voor training mag worden gebruikt. |
| ChatGPT-User | Een bezoek op verzoek van een gebruiker, bijvoorbeeld om een pagina te lezen voor een antwoord. | Niet altijd. OpenAI schrijft dat de regels hier mogelijk niet gelden, omdat een gebruiker het verzoek doet. |
| OAI-AdsBot | Controleren of een pagina die als advertentie in ChatGPT is ingediend, veilig is en aan het beleid voldoet. | Niet genoemd. De robot bezoekt alleen pagina's die als advertentie zijn ingediend en de gegevens zijn niet voor training. |

Voor vindbaarheid in ChatGPT telt dus één robot: OAI-SearchBot. OpenAI adviseert hem toe te laten in robots.txt en de IP-adressen die OpenAI zelf publiceert door te laten. Een wijziging in robots.txt werkt volgens OpenAI na ongeveer 24 uur door. GPTBot bepaalt niet of je in zoekresultaten verschijnt. OAI-AdsBot komt alleen langs als je zelf een advertentie in ChatGPT plaatst.

## De robots van anderen

| Aanbieder | Robot | Waarvoor | Volgt robots.txt? |
|---|---|---|---|
| Google | Googlebot | Google Zoeken, inclusief Discover en andere Google-diensten. | Ja |
| Google | Google-Extended | Een instelling, geen aparte robot. Bepaalt of Google je inhoud mag gebruiken om Gemini te trainen en om antwoorden in Gemini-apps te onderbouwen. | Ja. Heeft geen invloed op je plek in Google Zoeken. |
| Microsoft | bingbot | De robot van Bing. In Bing Webmaster Tools zie je hoe vaak pagina's in Copilot en in AI-samenvattingen van Bing worden aangehaald. | Ja |
| Anthropic | Claude-SearchBot | Zoekresultaten van Claude verbeteren. | Ja |
| Anthropic | Claude-User | Een pagina ophalen als een gebruiker daarom vraagt. | Ja |
| Anthropic | ClaudeBot | Inhoud verzamelen die voor het trainen van modellen gebruikt kan worden. | Ja |
| Perplexity | PerplexityBot | Je site tonen en linken in Perplexity-zoekresultaten. Niet voor training. | Ja |
| Perplexity | Perplexity-User | Een pagina bezoeken omdat een gebruiker erom vraagt. | Meestal niet |

Daarnaast komen er SEO-crawlers langs, zoals die van AhrefsBot. Ze verzamelen gegevens voor de tools van marketeers en hebben niets met AI-antwoorden te maken.

## Wat ik zag op mijn eigen site

Dit zijn de verzoeken die mijn hostingdienst in de 14 dagen tot 24 oktober 2026 registreerde, per robot. Het gaat om alle bestanden die ze opvroegen, dus ook afbeeldingen en robots.txt:

| Robot | Verzoeken in 14 dagen |
|---|---|
| Googlebot | 521 |
| ClaudeBot | 458 |
| PerplexityBot | 367 |
| OAI-SearchBot | 290 |
| bingbot | 262 |

Wat opvalt: OAI-SearchBot haalde in die periode vooral robots.txt op, 98 keer, en weinig pagina's. ChatGPT-User kwam in 30 dagen 26 keer een pagina ophalen voor een gebruiker, waarvan 19 keer mijn homepage. GPTBot vroeg in 30 dagen 208 keer iets op. Bij een andere site die ik beheer, met veel meer pagina's en verwijzingen, zag ik OAI-SearchBot veel vaker en dieper langskomen. Een zoekrobot bezoekt een site met veel pagina's en veel links dus vaker.

## Zoekrobots toelaten, trainingsrobots kiezen

Het onderscheid dat telt is dat tussen zoeken en trainen.

- **Zoekrobots toelaten.** OAI-SearchBot, Claude-SearchBot, PerplexityBot, bingbot en Googlebot laten je site meedoen in antwoorden. Wie ze blokkeert, verdwijnt daar uit.
- **Trainingsrobots zijn een keuze.** GPTBot, ClaudeBot en Google-Extended gaan over of je tekst voor het trainen van modellen gebruikt mag worden. Dat bepaalt niet of je in zoekantwoorden komt. Op mijn eigen site laat ik ze toe. Wie zijn teksten als bedrijfsmiddel ziet, kan ze weigeren zonder iets te verliezen in de zoekantwoorden.
- **Robots op verzoek van een gebruiker.** ChatGPT-User, Claude-User en Perplexity-User halen een pagina op omdat iemand erom vroeg. Je kunt ze in robots.txt aanspreken, maar OpenAI en Perplexity zeggen zelf dat ze die regels niet altijd volgen. Wil je iets echt afschermen, zet het dan achter een inlog.

## Zo controleer je wat je site nu doet

- Open `jouwsite.nl/robots.txt` in je browser. Zoek naar regels met `Disallow: /` onder `User-agent: *` of onder een van de namen hierboven. Eén zo'n regel is genoeg om een robot buiten te houden.
- Kijk in het dashboard van je hosting of je firewall. Sommige diensten blokkeren AI-robots standaard of bieden er een schakelaar voor. Zet die uit voor de zoekrobots die je wilt toelaten.
- Blokkeer geen IP-adressen van de zoekrobots. Anthropic schrijft dat dat een robot kan beletten je robots.txt te lezen. OpenAI en Perplexity raden juist aan hun gepubliceerde IP-adressen toe te laten.
- Kijk in de serverlogs welke robots komen en welke pagina's ze ophalen. Zo zie je of je instellingen werken. In [hoe meet je of ChatGPT je bedrijf noemt](https://meneermarketing.nl/vragen/ai-vindbaarheid/hoe-meet-je-of-chatgpt-je-noemt) staat hoe.
- Zet er geen bestand naast robots.txt in de verwachting dat dat de robots stuurt. Of een llms.txt iets doet, staat in [heeft een llms.txt zin](https://meneermarketing.nl/vragen/ai-vindbaarheid/heeft-llms-txt-zin).

## Veelgestelde vragen

### Moet ik GPTBot blokkeren?
Dat is een keuze over je teksten en training, niet over zoeken. OpenAI schrijft dat blokkeren van GPTBot betekent dat je inhoud niet voor training gebruikt mag worden en dat GPTBot niet bepaalt of je in zoekresultaten verschijnt. Wil je geen training, blokkeer hem dan. Je vindbaarheid in ChatGPT blijft gelijk.

### Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?
Nee. Voor de zoekantwoorden telt OAI-SearchBot. Blokkeer je die wel, dan komt je site niet meer in de zoekantwoorden voor, al kan er nog een link verschijnen.

### Wat is het verschil tussen GPTBot en OAI-SearchBot?
GPTBot verzamelt inhoud voor het trainen van modellen. OAI-SearchBot leest pagina's voor de zoekfunctie van ChatGPT. Ze volgen elk hun eigen regels in robots.txt.

### Waarom bezoekt ChatGPT-User mijn site?
Omdat een gebruiker in een gesprek vroeg om een pagina te lezen, of omdat ChatGPT tijdens een antwoord een pagina opende. Het is een bezoek op verzoek en geen doorlopende crawl. Zo'n bezoek komt het dichtst bij een aanhaling in een antwoord.

### Wat is Google-Extended?
Een instelling in robots.txt waarmee je bepaalt of Google je inhoud mag gebruiken voor het trainen van Gemini en om antwoorden in Gemini-apps te onderbouwen. Volgens Google heeft het geen invloed op je opname in Google Zoeken en is het geen rankingsignaal.

### Hoe blokkeer ik een AI-robot?
Zet in je robots.txt een regel met de naam van de robot en daaronder een verbod, bijvoorbeeld `User-agent: GPTBot` en daaronder `Disallow: /`. Het bestand staat in de hoofdmap van je domein en geldt per subdomein. Anthropic en OpenAI beschrijven de namen en regels op hun eigen pagina's.

### Is blokkeren genoeg om mijn teksten te beschermen?
Nee. Robots.txt is een verzoek en geen slot. Robots op verzoek van een gebruiker negeren de regels soms, en niet elke robot houdt zich eraan. Echt afschermen doe je met een inlog.

### Hoe weet ik dat een bezoek echt van OpenAI komt?
Controleer het IP-adres. OpenAI publiceert de adressen van zijn robots en raadt aan verzoeken van die adressen toe te laten. Een bezoek dat alleen de naam van de robot noemt, kan door iedereen worden nagebootst.

### Hoe vaak komen AI-robots langs?
Dat hangt van je site af. Op mijn eigen site kwam OAI-SearchBot in 14 dagen 290 keer langs, vooral voor robots.txt. Bij een andere site van mij met veel meer pagina's en verwijzingen kwam hij veel vaker en dieper. Meer pagina's en meer verwijzingen betekenen meer bezoek.

## Bronnen

- [OpenAI: Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- [Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: Perplexity Crawlers](https://docs.perplexity.ai/guides/bots)
- [Google Crawling Infrastructure: Google's common crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
- [Microsoft Bing Webmaster Blog: Introducing AI Performance in Bing Webmaster Tools (10 februari 2026)](https://blogs.bing.com/webmaster/February-2026/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview)