Vindbaarheid
Robots.txt voor ChatGPT en Gemini: wie laat je binnen?
Zes robots bellen aan bij je site, van OAI-SearchBot tot Google-Extended. Maak je robots.txt met de generator en lees wat elke keuze doet voor ChatGPT, Gemini en Bing.
Elke dag staan er robots voor je deur. De ene komt kijken of jouw pagina in ChatGPT mag verschijnen. De tweede is door een klant gestuurd om iets na te lezen. De derde kopieert je tekst om er een taalmodel van te leren. Ze bellen op dezelfde bel, en je robots.txt is het bordje op de deur dat zegt wie binnen mag. Een bordje, geen slot. Dat verschil komt verderop nog van pas.
Wie belt er eigenlijk aan?
Zes namen, drie soorten bezoek. OpenAI legt in zijn overzicht van de robots uit dat elke robot een eigen instelling heeft die los staat van de andere. Daardoor kun je de ene robot toelaten en de andere weigeren zonder dat ze elkaar raken.
| Robot | Soort | Wat hij doet | Wat weigeren kost |
|---|---|---|---|
| OAI-SearchBot | Zoeken | Bouwt de zoekindex van ChatGPT | Je staat volgens OpenAI niet in de zoekantwoorden, hooguit als kale link |
| ChatGPT-User | Op verzoek | Opent een pagina omdat iemand in ChatGPT erom vroeg | Mogelijk niets: robots.txt hoeft hier volgens OpenAI niet te gelden |
| GPTBot | Training | Verzamelt tekst om modellen van OpenAI te trainen | Je tekst mag niet voor training dienen, je plek in de zoekantwoorden blijft |
| Googlebot | Zoeken | Leest je site voor Google Zoeken | Je valt weg uit Google en kunt geen fragment meer tonen |
| Google-Extended | Training | Instelling: mag Google je tekst gebruiken voor Gemini | Gemini mag je tekst niet trainen of gebruiken om antwoorden te onderbouwen |
| Bingbot | Zoeken | Leest je site voor Bing | Je valt weg uit Bing en uit wat Bing en Copilot kunnen aanhalen |
Er bestaat ook OAI-AdsBot. Die bezoekt alleen pagina's die jij zelf als advertentie in ChatGPT indient, dus die hoef je niet te regelen zolang je daar niet adverteert.
Hoe maak je je eigen gastenlijst?
Je zet per robot aan of hij binnen mag, en onderaan groeit de robots.txt mee. Drie knoppen bovenaan zetten alles in één keer: alles open, zoeken en ophalen open met training dicht, of alles dicht.
De gastenlijst
Wie mag er binnen?
Zet een robot uit en hij krijgt een Disallow. Onder de lijst staat de robots.txt die erbij hoort, klaar om te kopiëren.
OAI-SearchBot
Zoekt voor antwoorden
Bouwt de zoekindex van ChatGPT: weer je hem, dan staat je site volgens OpenAI niet in de zoekantwoorden, hooguit nog als kale link.
ChatGPT-User
Haalt een pagina op voor een gebruiker
Haalt een pagina op omdat iemand in ChatGPT erom vroeg, en OpenAI schrijft dat robots.txt hier mogelijk niet geldt, dus een Disallow is geen slot.
GPTBot
Verzamelt voor training
Verzamelt tekst om modellen van OpenAI te trainen en staat los van zoeken, dus weigeren kost je geen plek in de zoekantwoorden van ChatGPT.
Googlebot
Zoekt voor antwoorden
De robot van Google Zoeken: weer je hem, dan kan Google je pagina's niet lezen, terwijl je voor de AI-overzichten van Google geïndexeerd moet zijn.
Google-Extended
Verzamelt voor training
Een instelling in plaats van een robot: ze bepaalt of Google je tekst mag gebruiken om Gemini te trainen en antwoorden in Gemini-apps te onderbouwen, zonder invloed op je plek in Google Zoeken.
Bingbot
Zoekt voor antwoorden
De robot van Bing: weer je hem, dan staat je site niet in Bing en dus ook niet in wat Bing en Copilot kunnen aanhalen.
robots.txt 6 van 6 robots open
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: GPTBot Allow: / User-agent: Googlebot Allow: / User-agent: Google-Extended Allow: / User-agent: Bingbot Allow: / User-agent: * Allow: / Sitemap: https://www.jouwsite.nl/sitemap.xml
Zet dit bestand in de hoofdmap van je site, zodat het op jouwsite.nl/robots.txt staat. Een robots.txt is een verzoek: nette robots houden zich eraan, het is geen slot.
Lees wat eruit komt zoals een robot dat doet. Elke groep begint met User-agent en de naam van de robot. Daaronder staat Allow: / (de hele site mag) of Disallow: / (de hele site dicht). De groep met het sterretje onderaan is voor alle andere bezoekers, en de Sitemap-regel wijst elke robot de weg naar je pagina's. Het bestand hoort in de hoofdmap van je site. Hoe je het aanpast hangt van je platform af: in Next.js is het app/robots.ts, bij Shopify de template robots.txt.liquid.
Welke stand past bij jou?
De generator geeft je een bestand. Of het bij je past, hangt af van wat je met je teksten doet. Dit is mijn oordeel per stand, met het gevolg voor ChatGPT en Gemini erbij.
| Stand | Past bij | Gevolg voor ChatGPT en Gemini |
|---|---|---|
| Alles open | Een bedrijf dat zo vaak mogelijk genoemd wil worden | ChatGPT en Gemini mogen je lezen, ophalen en ervan leren. Dit laat ik zelf zo staan. |
| Zoeken en ophalen open, training dicht | Wie zijn teksten verkoopt, zoals een uitgever of een cursusmaker | Je blijft vindbaar in ChatGPT en Google. Modellen leren niet van je tekst. |
| Alles dicht | Een besloten site of een site in aanbouw | Je komt in geen enkel antwoord voor. Een Disallow houdt een pagina ook niet uit Google: daarvoor bestaat noindex. |
Welke robot bepaalt of ChatGPT je noemt?
Eén: OAI-SearchBot. OpenAI schrijft dat sites die hem weren niet in de zoekantwoorden van ChatGPT verschijnen en hooguit nog als kale link. OpenAI raadt aan hem toe te laten en de IP-adressen door te laten die het zelf publiceert, de lijst voor deze robot staat op openai.com/searchbot.json. Die IP-lijst is voor je host of firewall. Voor je robots.txt telt alleen de naam.
Toelaten betekent niet dat hij meteen komt. Bij Tafelhuys, een webwinkel voor eiken tafels die ik bouwde, haalde hij in de dertig dagen tot 13 november 74 keer alleen robots.txt op en verder niets, drie weken na de livegang van 149 pagina's. Een open deur is nog geen bezoek. Wat ik bij mijn eigen site zag: hij leest wat in het menu en de voet staat en volgt links. De sitemap haalde hij daar niet op. Zorg dus dat elke pagina een link heeft, en lees in het logboek van mijn eigen site hoe vaak welke robot echt kwam.
Houdt ChatGPT-User zich aan je robots.txt?
OpenAI schrijft dat robots.txt hier mogelijk niet geldt, omdat een gebruiker de actie start. De robot wordt volgens OpenAI niet gebruikt om het web automatisch af te struinen en ook niet om te bepalen of je in de zoekresultaten komt. Een Disallow voor ChatGPT-User is dus een verzoek dat OpenAI zelf niet belooft na te komen.
Ik laat hem toe. Hij kwam in de dertig dagen tot 15 november 117 keer op mijn site, waarvan 66 keer voor de homepage. Bij zo'n bezoek leest ChatGPT precies wat jij op die pagina zet, dus daar horen je feiten te staan.
Is robots.txt een slot?
Nee, en Google zegt het zelf. Een robots.txt is niet bedoeld om een pagina uit Google te houden: een geblokkeerd adres kan zonder beschrijving toch in de resultaten staan, en niet elke zoekmachine houdt zich eraan. Drie dingen die daaruit volgen:
- Wil je een pagina uit Google houden, gebruik dan noindex. Blokkeer dezelfde pagina niet ook in robots.txt, want dan komt Googlebot de noindex nooit tegen. In mijn eigen code staat die regel als les: pagina's met noindex blijven crawlbaar.
- Wil je echt afschermen, zet het achter een inlog. Een bordje houdt alleen beleefde bezoekers buiten.
- ChatGPT-User kan een Disallow negeren, zegt OpenAI zelf. Reken er dus niet op dat een regel voor die robot werkt.
Het nuttigste wat ik zelf in robots.txt zette, had niets met AI te maken
In Search Console zag ik dat 86 procent van de crawlverzoeken van Googlebot op mijn site naar adressen met ?_rsc= ging: 28.700 van 33.300 in 90 dagen, tegen 5 procent echte pagina's. Dat zijn losse gegevens die Next.js bij elke link alvast ophaalt en die de pagina zelf niet nodig heeft. Twee regels in robots.txt sluiten ze uit.
Verder blokkeert mijn bestand alleen /api/. De zes robots uit dit artikel mogen overal komen, ook GPTBot en Google-Extended. Dat is mijn keuze: ik wil dat modellen mijn naam en prijzen kennen en ik verdien mijn geld niet met losse teksten. Een uitgever of een fotograaf die dat wel doet, kiest de middelste stand uit de tabel hierboven en verliest daar niets mee in de zoekantwoorden.
Wat doet Google-Extended met Gemini?
Google-Extended is geen robot maar een instelling. Google beschrijft hem als een los token waarmee je bepaalt of Google je tekst mag gebruiken om Gemini te trainen en om antwoorden in Gemini-apps te onderbouwen. Het heeft volgens Google geen invloed op je opname in Google Zoeken en is geen rankingsignaal. Omdat hij geen eigen user agent heeft, zie je hem nooit in je logboek: er komt geen bezoeker met die naam, het is alleen een regel in je bestand.
Voor de AI-overzichten en de AI-modus van Google geldt iets anders. Google schrijft dat daarvoor geen extra eisen of speciale code gelden: je pagina moet geïndexeerd zijn en met een fragment getoond mogen worden. Wat je aan die kant kunt sturen, loopt via Googlebot en via nosnippet en noindex, niet via Google-Extended. Wat het blokkeren van Google-Extended precies doet met hoe vaak Gemini je noemt, heb ik niet gemeten en Google zegt het ook niet.
Wat verandert er bij Bing in 2027?
Microsoft kondigde op 30 oktober 2026 twee aparte voorkeuren aan. AI-training stel je in met het gedeelde robots.txt-signaal __usage_ai-training, voor je hele site of een pad. Grounding, het gebruiken van je pagina om een antwoord te onderbouwen, stel je per pagina in met een metatag. Vanaf 1 februari 2027 honoreert Bing ze en beide staan standaard op toestaan. Microsoft zegt er zelf bij dat je minder zichtbaar wordt in AI-antwoorden als je grounding weigert, zonder dat je plek in de gewone Bing-resultaten verandert. Google schrijft dat het hetzelfde trainingssignaal begin 2027 wil ondersteunen.
Hoe je Bing zelf instelt en nieuwe pagina's meldt, staat in Bing Webmaster Tools en IndexNow instellen.
Hoe ziet een robots.txt voor een gewone site eruit?
Drie voorbeelden, van saai tot ongelukkig. Een robot volgt maar één groep: de eerste, meest specifieke die op zijn naam past. Een groep met de naam OAI-SearchBot wint dus van de groep met het sterretje.
| Voorbeeld | Wat staat er | Wat gebeurt er |
|---|---|---|
| Gewone bedrijfssite | User-agent: * met Allow: / en Disallow: /api/, daarna Sitemap: https://www.jouwsite.nl/sitemap.xml | Alles open behalve techniek. Dit lijkt het meest op wat op mijn eigen site staat. |
| Training dicht | Daarbovenop User-agent: GPTBot met Disallow: / en User-agent: Google-Extended met Disallow: / | Zoekrobots blijven binnen, training niet. |
| Het ongelukje | User-agent: * met Disallow: / | Alles dicht, ook voor OAI-SearchBot. Deze regel hoort op een testsite. Staat hij na de livegang nog op je echte site, dan zie je ChatGPT, Google en Bing niet meer. |
Wat er nu op jouw site staat, zie je door jouwsite.nl/robots.txt in je browser te openen. Staat er onder User-agent: * ergens Disallow: /, dan is je hele site dicht voor elke robot zonder eigen groep.
Waarom helpt een open robots.txt niet als je host de deur dicht houdt?
Een robot die bij de poort wordt tegengehouden, leest je robots.txt nooit. Sommige hosts en CDN's hebben een schakelaar die AI-robots blokkeert of uitdaagt. Op mijn eigen site stond de firewall van Vercel uit en de instelling voor AI-robots op toestaan, gecontroleerd op 7 oktober 2026. Kijk dus eerst of er een poort dichtstaat voor je aan robots.txt gaat sleutelen, anders los je het verkeerde probleem op. Filtert je firewall op IP-adres, gebruik dan de lijsten die OpenAI publiceert.
Hoe weet je of het werkt?
Kijk in je logboek wie komt, niet in je robots.txt. Bij mijn eigen site telde ik in de dertig dagen tot 15 november 1.603 verzoeken van OAI-SearchBot, 149 van GPTBot en 117 van ChatGPT-User. De uitleg per robot staat in welke AI-robots je website bezoeken. Bedenk dat een naam in een logboek door iedereen na te maken is. Het IP-adres bewijst waar een bezoek vandaan komt.
Twijfel je welke stand bij je past, of wil je dat ik je robots.txt, je firewall en je logboek in één keer nakijk? Dat hoort bij vindbaarheid in ChatGPT en Google, en de rest van het verhaal staat in gevonden worden in ChatGPT en Gemini. Stuur me een berichtje, ik reageer meestal binnen 2 uur, zeven dagen per week.
Bronnen
- overzicht van de robotsdevelopers.openai.com
- is niet bedoeld om een pagina uit Google te houdendevelopers.google.com
- Google beschrijft hem als een los tokendevelopers.google.com
- geen extra eisen of speciale codedevelopers.google.com
- twee aparte voorkeurenblogs.bing.com
Veelgestelde vragen bij dit onderwerp
Welke robot moet ik toelaten om in ChatGPT te komen?
Moet ik GPTBot blokkeren?
Houdt ChatGPT-User zich aan mijn robots.txt?
Verdwijn ik uit Google als ik Google-Extended blokkeer?
Is robots.txt genoeg om een pagina uit Google te houden?
Waar moet robots.txt staan?
Heb ik een llms.txt nodig naast mijn robots.txt?
Hoe lang duurt het voordat een wijziging werkt?
Wat verandert er bij Bing in 2027?
Welke robots laat ik op mijn eigen site toe?
Dit artikel toepassen op jouw situatie?
In een gesprek vertaal ik dit soort inzichten naar concrete prioriteiten voor jouw kanalen en je site.
Vragen over dit onderwerp
Korte, uitgebreide antwoorden op de vragen die hierbij horen.
Welke AI-robots bezoeken mijn website en moet ik ze toelaten?
Wie in ChatGPT wil verschijnen, laat OAI-SearchBot toe in robots.txt: dat is de robot voor de zoekfunctie.
Lees het antwoordHeeft een llms.txt-bestand zin?
Een llms.txt is een tekstbestand dat een website klaarzet als overzicht voor AI-assistenten. Het kost weinig tijd, maar een bewezen effect is er niet.
Lees het antwoord



