Zo richt je robots.txt in (update 2026)

Robots.txt is een klein tekstbestand met grote gevolgen. Eén verkeerde regel en Google slaat je belangrijkste pagina's over. Goed ingericht helpt het zoekmachines juist efficiënt door je site. En sinds de opkomst van AI-zoekmachines bepaal je er ook mee of ChatGPT, Claude en Gemini je content mogen gebruiken. In deze gids lees je hoe je robots.txt in 2026 inricht.

Wat is robots.txt?

Robots.txt is een tekstbestand in de hoofdmap van je domein, bijvoorbeeld scherponline.nl/robots.txt. Crawlers van zoekmachines en AI-diensten lezen dit bestand voordat ze je site bezoeken. Je geeft er per bot mee aan welke delen ze wel en niet mogen crawlen.

Belangrijk om te weten:

• Het geldt per host. Een subdomein (blog.scherponline.nl) heeft een eigen robots.txt nodig. Hetzelfde geldt voor http en https, of een afwijkende poort.
• Het is een verzoek, geen slot. Betrouwbare bots zoals Googlebot houden zich eraan, kwaadwillende bots niet. Gebruik robots.txt dus nooit om gevoelige informatie af te schermen.
• Het is openbaar. Iedereen kan je robots.txt lezen. Zet er geen geheime paden in.

Crawlen vs. indexeren: het verschil

Bij crawlen bezoekt een bot je pagina en haalt hij de inhoud op. Bij indexeren slaat de zoekmachine die pagina op, zodat hij in de zoekresultaten kan verschijnen. Robots.txt regelt alleen het crawlen. Een geblokkeerde pagina kan dus nog steeds in Google verschijnen, bijvoorbeeld als er veel links naartoe wijzen. Je ziet dan een resultaat zonder omschrijving.

Is een robots.txt verplicht?

Nee. Zonder robots.txt mogen bots alles crawlen, en voor kleine sites is dat vaak prima. Een robots.txt wordt waardevol zodra je site groeit: denk aan filterpagina's in een webshop, interne zoekresultaten of een admin-omgeving. Daar wil je niet dat zoekmachines hun crawltijd aan verspillen. Meer over hoe je je site technisch optimaal vindbaar maakt, lees je in ons artikel over technische SEO.

Zo ziet een robots.txt eruit

# Regels voor alle bots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /zoeken/
Disallow: /*?filter=

Sitemap: https://www.jouwdomein.nl/sitemap.xml

• User-agent: voor welke bot de regels gelden. * betekent: elke bot waarvoor geen eigen groep bestaat. Let op: heeft een bot wél een eigen groep, dan volgt hij alleen die groep. De regels onder * gelden dan niet meer voor hem.
• Disallow: het pad dat niet gecrawld mag worden.
• Allow: een uitzondering binnen een geblokkeerd pad. Bij een conflict wint de meest specifieke regel. Zijn twee regels even specifiek, dan wint de minst beperkende.
• Sitemap: de volledige URL van je XML-sitemap. Je mag er meerdere opnemen.
• * en $: * staat voor elke reeks tekens, $ voor het einde van de URL. Disallow: /*.pdf$ blokkeert dus alle pdf's.
• #: alles na een hekje is een opmerking voor jou of je collega's. Bots negeren het.

Paden zijn hoofdlettergevoelig: /Blog/ is iets anders dan /blog/.

Welke regels ondersteunt Google niet?

Google kent maar vier velden: user-agent, allow, disallow en sitemap. Alles daarbuiten wordt genegeerd. Twee bekende misverstanden:

• Crawl-delay werkt niet bij Google, wel bij bijvoorbeeld Bing.
• Noindex in robots.txt wordt sinds 2019 niet meer ondersteund. Gebruik de meta-tag (zie hieronder).

Pagina's uit Google houden: gebruik noindex, niet Disallow

Wil je dat een pagina niet in de zoekresultaten verschijnt? Gebruik dan de noindex-tag in de <head> van de pagina:

<meta name="robots" content="noindex">

Dé valkuil: blokkeer die pagina dan níet ook in robots.txt. Google moet de pagina kunnen crawlen om de noindex-tag te zien. Staat er een Disallow op, dan blijft de pagina mogelijk gewoon in de index.

Robots.txt en AI-crawlers

Naast zoekmachines crawlen ook AI-bedrijven het web, om modellen te trainen of om live antwoorden te geven. Met robots.txt bepaal je per bot wat mag. De belangrijkste:

Ons advies: blijf zichtbaar in AI-zoekresultaten, maar werk niet mee aan training. Laat zoekbots zoals OAI-SearchBot en PerplexityBot dus toe en blokkeer de trainingsbots:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Google-Extended blokkeren heeft geen invloed op je posities in Google Search of op AI Overviews. Wil je niet in AI Overviews en AI Mode verschijnen, dan werkt Google aan een aparte instelling in Search Console. Die wordt nu gefaseerd uitgerold.

Nieuw: Google kondigde op 30 oktober 2026 aan dat het in 2027 een gedeeld signaal gaat ondersteunen, __usage_ai-training, waarmee je in één keer bezwaar maakt tegen AI-training bij alle deelnemende partijen. Tot die tijd blijven de regels per bot nodig.

Veelgemaakte fouten

• CSS en JavaScript blokkeren. Google heeft die bestanden nodig om je pagina goed te renderen.
• Een staging-Disallow laten staan na livegang. Disallow: / op een live site haalt je hele site uit Google.
• Robots.txt gebruiken tegen duplicate content. Gebruik daarvoor canonical tags.
• Een te groot bestand. Google leest maximaal 500 KiB, de rest wordt genegeerd.
• Een robots.txt die een serverfout geeft. Bij een 5xx-fout stopt Google tijdelijk met het crawlen van je hele site.

Robots.txt aanpassen in HubSpot en WordPress

• HubSpot: Instellingen → Content → Pages → kies je domein → tabblad SEO & Crawlers → Robots.txt.
• WordPress: via een SEO-plugin zoals Yoast of Rank Math, of door een robots.txt-bestand in de hoofdmap van je site te plaatsen.

Testen en controleren

Controleer in Google Search Console het robots.txt-rapport (Instellingen → robots.txt). Daar zie je welke versie Google het laatst heeft opgehaald en of er fouten in staan. Google bewaart je robots.txt tot 24 uur, dus een wijziging is niet altijd direct zichtbaar. Controleer je robots.txt in elk geval na elke migratie of livegang.

Hulp nodig bij je robots.txt?

Twijfel je of je robots.txt goed staat, zeker nu AI-crawlers erbij zijn gekomen? Onze SEO-specialisten kijken er graag naar.