Samenvatting
Een website kan twee instructiebestanden voor machines meekrijgen: robots.txt voor zoekmachines en llms.txt voor AI-taalmodellen. Je schrijft ze zelf, elk op een eigen tabblad van de code-instellingen van je website.
De twee gedragen zich verschillend. Er komt altijd een robots.txt op je website, ook als je niets invult. Een llms.txt bestaat alleen als je hem zelf vult.
Hieronder staan de route naar de twee tabbladen, wat er bij een publicatie werkelijk wordt weggeschreven, en hoe je het resultaat nakijkt.
Wanneer gebruik je dit?
Je gebruikt robots.txt als zoekmachines delen van je website moeten overslaan, of als je ze naar je sitemap wilt wijzen. Je gebruikt llms.txt als je wilt bepalen wat AI-taalmodellen over je website te weten krijgen.
Voor de meeste websites is dit niet nodig. Zonder eigen tekst krijgt je website al een robots.txt met een verwijzing naar je sitemap.
Hoe werkt dit in Mach3Blocks?
Waar de twee tabbladen staan
Beide bestanden schrijf je in de pop-in Website code-instellingen. Die pop-in heeft zes tabbladen, waarvan robots.txt het vijfde is en llms.txt het zesde.
Er zijn twee routes naar die pop-in. Je opent hem vanuit je website zelf, of vanuit het overzicht van al je websites.
Je typt in de code-editor gewone tekst, zonder kleuren en zonder opmaak. Tijdens het typen krijg je suggesties. In het tabblad robots.txt staat daar ook een regel bij die naar je sitemap verwijst.
Wat er bij een publicatie wordt weggeschreven
| Situatie | Wat er op je website komt |
|---|---|
| Het tabblad robots.txt is leeg | Een robots.txt met de standaardinhoud |
| Het tabblad robots.txt is gevuld | Een robots.txt met jouw tekst in plaats van de standaardinhoud |
| Het tabblad llms.txt is leeg | Geen llms.txt |
| Het tabblad llms.txt is gevuld | Een llms.txt met jouw tekst |
De standaardinhoud van robots.txt is één regel die naar je sitemap verwijst, met het woord Sitemap ervoor. Die inhoud is de standaard en geen garantie; je kijkt hem na op je eigen adres na een publicatie.
Het tabblad weer leegmaken
Haal je jouw tekst uit het tabblad robots.txt weg en sla je op, dan is het veld weer leeg. Bij de volgende publicatie krijgt je website de standaardinhoud terug.
Bij llms.txt werkt dat hetzelfde, met een ander resultaat. Een leeg tabblad betekent daar dat er helemaal geen bestand meer op je website staat.
Stappenplan
Je robots.txt schrijven
- Open het workspacemenu van je website.
- Kies Code-instellingen in de bovenste menugroep.
- Kies het tabblad robots.txt.
- Typ je eigen regels in het tekstvlak.
- Klik op Opslaan.
- Publiceer je website.
- Open het adres van je website met /robots.txt erachter.
Je llms.txt schrijven
- Open het workspacemenu van je website.
- Kies Code-instellingen in de bovenste menugroep.
- Kies het tabblad llms.txt.
- Typ je eigen tekst in het tekstvlak.
- Klik op Opslaan.
- Publiceer je website.
- Open het adres van je website met /llms.txt erachter.
Werk je vanuit het overzicht van al je websites? Dan kies je de actie Code-instellingen in het meer-menu op de rij. Dat vervangt stap 1 en 2.
Voorwaarden en rechten
Voor het openen en het opslaan van de code-instellingen heb je het recht Code-instellingen nodig. Een Beheerder en een Bouwer hebben dat recht standaard.
Om de bestanden op je website te zetten, heb je het recht Publiceren nodig.
Zit je website in een presentatiegroep, dan bestaan de twee tabbladen niet. Zo'n website krijgt een robots.txt die alle zoekmachines tegenhoudt, en die inhoud is niet te wijzigen.
Gevolgen en beperkingen
| Wat | Wat het betekent |
|---|---|
| Er is geen controle op je tekst | Een fout in je regels wordt niet gemeld en merk je pas op je gepubliceerde website |
| Een testpublicatie wijkt af | Boven jouw tekst komt dan een kop die zoekmachines tegenhoudt |
| Een afgeschermde website | Met Login aan komt geen van de twee bestanden mee. Lees Website afschermen |
| Een kopie in een presentatiegroep | Beide tabbladen worden op de kopie leeggemaakt |
Een objectwaarde in het tabblad robots.txt wordt bij het publiceren vervangen door de echte waarde. Zo staat er na het publiceren het echte adres in je bestand.
Er is nog geen aanbevolen inhoud voor llms.txt. Het bestand is bedoeld voor AI-taalmodellen, en Mach3Blocks vult er niets voor in.
Een website tijdens de bouwfase tegenhouden
Wil je een website die nog in de bouw is uit de zoekresultaten houden, dan zet je in robots.txt een regel die alles tegenhoudt. Haal die regel weg zodra de website klaar is en publiceer opnieuw.
Vergeet dat niet: zolang die regel er staat, blijft je website voor zoekmachines gesloten. Er gaat niets onomkeerbaar verloren, maar je website wordt in die tijd niet gevonden.
Als het niet lukt
Zie je jouw tekst niet op je website staan, dan is er meestal nog niet gepubliceerd. De twee bestanden worden alleen bij een publicatie weggeschreven.
Krijg je op het adres met /llms.txt erachter niets te zien, dan is het tabblad leeg. Zonder eigen tekst maakt Mach3Blocks dat bestand niet aan.
Staat er boven jouw robots.txt een kop die alles tegenhoudt, dan kijk je naar een testpublicatie. Publiceer je website naar je eigen domeinnaam om die regel weg te krijgen.
Is er geen van de twee bestanden en heb je wel gepubliceerd, controleer dan of je website is afgeschermd. Met Login aan komen deze bestanden niet mee.
Zoek je de twee tabbladen op het tabblad SEO van de website-instellingen, dan zoek je op de verkeerde plek. Zij staan in de code-instellingen van je website.