Vindbaarheid
Welke AI-robots lezen een website? Dertig dagen uit mijn eigen logboek
Hoe vaak komen OAI-SearchBot, ChatGPT-User, GPTBot, Bingbot en Googlebot langs, wat lezen ze wel en wat laten ze liggen? Het echte logboek van meneermarketing.nl, met getallen en wat ik eruit leerde.
Elke dag belt er een robot aan bij meneermarketing.nl. Sommige komen voor ChatGPT, sommige voor Bing, een paar voor Google en een hele rij voor andere AI-diensten. Ik hield een maand bij wie er kwam, in welke kamers ze rondliepen en welke deuren dicht bleven. Dit is dat logboek, met de getallen en wat ik eruit leerde.
Eerst wie er aanbelde. Je ziet de robots van OpenAI, Bing en Google, en één staaf voor de zes robots van andere AI-diensten bij elkaar. Ter vergelijking: bezoekers deden in dezelfde 30 dagen 244.249 verzoeken, en daar telt elke afbeelding mee.
Eigen logboek
Wie belde er aan? Verzoeken per robot in 30 dagen
Uit het logboek van meneermarketing.nl bij mijn hostingdienst, de 30 dagen tot 15 november 2026. Een verzoek is één bestand: een pagina, een afbeelding of robots.txt.
- OAI-SearchBot1.603 verzoeken
De zoekrobot van ChatGPT. 225 keer voor robots.txt.
- ChatGPT-User117 verzoeken
Een pagina live geopend omdat iemand ChatGPT iets vroeg. 66 keer de homepage.
- GPTBot149 verzoeken
Verzamelt tekst om de modellen van OpenAI te trainen. Staat los van zoeken.
- Bingbot657 verzoeken
De robot van Bing, waar Copilot uit put.
- Googlebot2.758 verzoeken
De zoekrobot van Google.
- Andere AI-robots samen6.163 verzoeken
Zes robots van andere AI-diensten: zoekindexen, een robot die live een pagina opent en trainingsrobots.
Vercel-logboek van meneermarketing.nl (productie), 30 dagen tot en met 15 november 2026, uitgelezen op 15 november. Vercel geeft per robot niet alle adressen terug, dus aantallen gelezen pagina's zijn een ondergrens.
Wat meteen opvalt: Googlebot komt het vaakst van de drie grote zoekrobots, maar de zoekrobot van ChatGPT las ruim twee keer zo vaak als die van Bing. ChatGPT-User, de robot die een pagina opent omdat iemand het vraagt, is met 117 bezoeken de kleinste. Daarnaast kwam 41 keer een ChatGPT-agent die een site bedient en 35 keer een robot voor ChatGPT-acties. Welke pagina's die lazen, heb ik nog niet uitgezocht.
Drie robots met een breder doel tel ik bewust niet mee bij de AI-robots: een robot van een winkelbedrijf (3.965 verzoeken), een webarchief (167) en GoogleOther (1.134), de algemene robot die Google voor wisselende teams gebruikt. Van die drie weet ik niet of ze voor AI-antwoorden lezen. De 2.127 verzoeken van het inspectiegereedschap van Search Console laat ik ook weg.
| Robot | Wat hij doet | In 30 dagen |
|---|---|---|
| OAI-SearchBot | Leest pagina's voor de zoekfunctie van ChatGPT | 1.603 |
| ChatGPT-User | Opent live een pagina als iemand ChatGPT iets vraagt | 117 |
| GPTBot | Verzamelt tekst om modellen van OpenAI te trainen | 149 |
| Bingbot | Vult de zoekindex van Bing, waar Copilot uit put | 657 |
| Googlebot | Vult de zoekindex van Google | 2.758 |
| Andere AI-robots, zes samen | Zoekindex, live opzoeken of training bij andere AI-diensten | 6.163 |
In welke kamers kwam de zoekrobot van ChatGPT?
OAI-SearchBot haalde 225 keer robots.txt op, 14 procent van zijn verzoeken. Verder las hij vooral pagina's die één vraag beantwoorden. Dit is de top van zijn lijst, met de kanttekening dat Vercel niet alle adressen teruggeeft:
| Pagina | Keer gelezen | Soort |
|---|---|---|
| /vragen/adverteren/adverteren-op-bol-com | 18 | Vraagpagina |
| /vragen/webshop/hoe-start-je-een-webshop | 18 | Vraagpagina |
| /vragen/webshop/wat-kost-een-webshop-laten-maken | 18 | Vraagpagina |
| /vragen/webshop/betaalmethoden-voor-een-webshop | 16 | Vraagpagina |
| /kennisbank/php-lek-websites-wat-nu-doen | 8 | Kennisbankartikel |
| /vragen/adverteren/adverteren-in-chatgpt | 8 | Vraagpagina |
| /zoeken/online-marketing-bureau | 3 | Zoekpagina |
Van de 436 pagina's in mijn sitemap las hij er in die maand ongeveer 170 (een ondergrens), waarvan 160 precies één keer. Ongeveer 266 kreeg hij volgens het logboek niet te zien, onder meer /kennisbank zelf, /voor/tandartsen en /voor/yogastudios.
Ik controleerde op 14 november of afstand de reden is. Dat is het niet: alle 436 pagina's liggen binnen twee klikken van de homepage, 231 op één klik en 205 op twee. Waarom hij er 266 liet liggen, weet ik niet. Zijn tempo wisselt ook, zoals de tabel laat zien.
| Periode | OAI-SearchBot | Wat opviel |
|---|---|---|
| 14 dagen tot 24 oktober | 290 | 98 keer robots.txt, weinig pagina's |
| 16 tot 30 oktober | 400 | Vooral robots.txt en afbeeldingen, een paar vraagpagina's |
| 14 dagen tot 11 november | 1.153 | Bijna vier keer zoveel als de 14 dagen tot 24 oktober |
| 30 dagen tot 15 november | 1.603 | 225 keer robots.txt, 160 pagina's precies één keer |
De perioden zijn niet even lang en overlappen, dus lees dit niet als een groeicurve. Wel zie je dat het in 14 dagen van 290 naar 1.153 ging.
In welke kamers kwam ChatGPT-User?
ChatGPT-User kwam 117 keer, op 44 verschillende adressen, waarvan hij er 37 maar één keer las. De homepage kreeg 66 bezoeken, 56 procent. Verder las hij negen casepagina's, /feiten, /contact, /huidklinieken, tien pagina's onder /voor en ruim tien vraagpagina's. Dat past bij iemand die naar een bedrijf vraagt: eerst de voorpagina, daarna het bewijs. Dat is mijn lezing en geen bewijs.
Eén kanttekening: dit getal telt mijn eigen metingen mee. Elke keer dat ik zelf ChatGPT iets over mijn bedrijf vroeg, kon er een bezoek bij komen. Voor echte vragen van klanten is 117 dus een bovengrens. Hoe je eigen bezoek van echt bezoek scheidt, staat in bezoek uit ChatGPT meten. Wat die metingen opleverden, lees je in zes weken ChatGPT meten.
En wat deden Bing en Google?
Bingbot kwam 657 keer: 82 keer voor robots.txt, 64 keer voor de sitemap en 21 keer voor de homepage. Hij las 44 verschillende adressen, onder meer /feiten, /werkwijze en /faq. De sitemap haalde hij vaak op, de pagina's erin las hij maar zelden: 397 van de 436 zag ik niet terug. Voor Bing is Site Explorer in Bing Webmaster Tools de betrouwbaarste bron, dus kijk daar voor je een conclusie trekt. Copilot en de AI-samenvattingen van Bing putten uit die index, en wat ze van je site aanhalen zie je in het rapport AI Performance. Hoe je nieuwe pagina's bij Bing meldt, staat in Bing Webmaster Tools en IndexNow instellen.
Googlebot kwam 2.758 keer. De 1.134 verzoeken van GoogleOther tel ik er niet bij: Google omschrijft die robot als de algemene robot die verschillende teams kunnen gebruiken, los van Google Zoeken.
Hoe loopt een robot van een andere AI-dienst rond?
Heel anders. De zoekrobot van een andere AI-dienst las in dezelfde maand minstens 200 verschillende adressen, elk minstens vier keer, en 113 daarvan minstens tien keer. Daar zaten 33 dienstenpagina's en 38 branchepagina's bij, plus 438 keer mijn plaatje voor het delen van een link. Dat is een robot die het hele menu afloopt en steeds terugkomt. OAI-SearchBot koos bij mij een kleine kring van pagina's en las de rest maar één keer of niet. Dat verschil verklaar ik niet. Ik meld het, omdat je anders denkt dat alle zoekrobots hetzelfde doen.
Welke deuren bleven dicht?
- llms.txt: in oktober haalde niet één AI-robot hem op, en in de lijsten van de OpenAI-robots en Bing van de maand tot 15 november staat hij ook niet.
- De sitemap: OAI-SearchBot haalde hem niet op en las toch ongeveer 170 pagina's. Bingbot haalde hem 64 keer op en las 44 adressen.
- De kennisbank en veel branchepagina's: OAI-SearchBot las /kennisbank nooit, en ook /voor/tandartsen en /voor/yogastudios niet.
- Een groot deel van de sitemap: ongeveer 266 van 436 pagina's, zonder dat afstand de reden is.
Niet gelezen is niet hetzelfde als onbekend. OpenAI schrijft dat ChatGPT search soms met andere zoekaanbieders samenwerkt, dus een pagina die OAI-SearchBot liet liggen, kan ChatGPT nog via een andere weg kennen. Het blijft wel een reden om dit patroon in de gaten te houden.
Zo lees je je eigen logboek
Je hoeft geen gereedschap te kopen. Vraag bij je hosting het logboek op van de afgelopen 30 dagen, gesplitst per robot, en schrijf per robot zes dingen op:
- Hoeveel verzoeken er waren, en hoeveel daarvan robots.txt zijn.
- Op hoeveel verschillende adressen hij kwam, en hoeveel daarvan maar één keer.
- Welke pagina's hij het vaakst las. Die zeggen waar hij zijn tijd aan besteedt.
- Welke pagina's uit je sitemap hij nooit las, en of die ver van je homepage liggen.
- Bij een robot die live meekijkt: welk deel van de bezoeken je homepage is.
- Of de naam klopt. De naam van een robot is een mededeling van de robot zelf. OpenAI publiceert voor elke robot de IP-adressen waarmee je dat kunt controleren.
Wat zegt dit logboek niet?
- Het zegt niets over wat ChatGPT in een antwoord zet. Een pagina die vaak gelezen wordt, hoeft niet vaak genoemd te worden.
- Het is één site in één maand. Bij een andere site zag ik OAI-SearchBot in een week de hele site lezen, en bij weer een andere wekenlang alleen robots.txt. Meer verwijzingen en meer pagina's lijken hem vaker te trekken, maar dat kan ik niet bewijzen.
- Het telt verzoeken en geen mensen. Eén pagina laden kan tientallen verzoeken zijn.
- Vercel geeft niet alle adressen terug, dus 'nooit gelezen' kan soms toch 'gelezen' zijn.
Wat betekent dit voor jouw links?
- Zet je kernfeiten als gewone tekst op de homepage: wie je bent, waar, voor wie, wat het kost en hoe snel je reageert. Bij mij was 56 procent van de live bezoeken van ChatGPT de homepage.
- Link elke nieuwe pagina vanaf een pagina die de robots al lezen: je homepage, je menu, je voet. Zo kwam OAI-SearchBot volgens mijn lezing aan zijn 170 pagina's, zonder de sitemap te openen.
- Geef elke vraag een eigen pagina met het antwoord bovenaan. De pagina's die OAI-SearchBot het vaakst herlas, 16 tot 18 keer, zijn vraagpagina's die één vraag beantwoorden.
- Meld nieuwe en gewijzigde pagina's via IndexNow. Daarmee laat je zoekmachines weten dat een pagina nieuw of aangepast is, en de deelnemende zoekmachines delen wat je meldt.
- Laat OAI-SearchBot toe in robots.txt. OpenAI raadt dat aan voor wie in de zoekfunctie van ChatGPT wil staan en schrijft dat een wijziging ongeveer 24 uur duurt. Wat je met GPTBot doet, is een aparte keuze: robots.txt voor AI-robots.
- Maak geen aparte bestanden voor AI. Google schrijft dat je geen nieuwe machineleesbare bestanden, AI-tekstbestanden of markup nodig hebt om in AI-overzichten en AI-modus te komen.
De korte uitleg over wie welke robot is, staat in welke AI-robots je website bezoeken. Dit logboek is wat ik er op mijn eigen site van zag, met de datum erbij, want het verandert. De volgende meting staat gepland rond 22 november: dan kijk ik of de 266 pagina's die hij niet las er nog steeds uit liggen. Wil je dit voor jouw site laten uitzoeken? Stuur me een berichtje, ik reageer meestal binnen 2 uur, zeven dagen per week. Eerst zelf kijken kan met de gratis Gevonden-check.
Bronnen
- AI Performanceblogs.bing.com
- verschillende teams kunnen gebruikendevelopers.google.com
- OpenAI schrijfthelp.openai.com
- elke robot de IP-adressendevelopers.openai.com
- IndexNowindexnow.org
- geen nieuwe machineleesbare bestanden, AI-tekstbestanden of markup nodig hebtdevelopers.google.com
Veelgestelde vragen bij dit onderwerp
Welke AI-robots bezoeken een website?
Hoe zie ik welke robots mijn site bezoeken?
Hoe vaak komt de zoekrobot van ChatGPT langs?
Leest ChatGPT mijn sitemap?
Leest een AI-robot llms.txt?
Waarom leest ChatGPT-User vooral mijn homepage?
Wat is het verschil tussen ChatGPT-User en OAI-SearchBot?
Tellen mijn eigen bezoeken mee in de robotcijfers?
Moet ik robots blokkeren als ik veel verzoeken zie?
Waarom leest een robot een pagina niet die wel in mijn sitemap staat?
Dit artikel toepassen op jouw situatie?
In een gesprek vertaal ik dit soort inzichten naar concrete prioriteiten voor jouw kanalen en je site.
Vragen over dit onderwerp
Korte, uitgebreide antwoorden op de vragen die hierbij horen.
Heeft een llms.txt-bestand zin?
Een llms.txt is een tekstbestand dat een website klaarzet als overzicht voor AI-assistenten. Het kost weinig tijd, maar een bewezen effect is er niet.
Lees het antwoordWelke AI-robots bezoeken mijn website en moet ik ze toelaten?
Wie in ChatGPT wil verschijnen, laat OAI-SearchBot toe in robots.txt: dat is de robot voor de zoekfunctie.
Lees het antwoord



