Wat is het bestand Robots.txt?

Wanneer u uw site maakt, wilt u waarschijnlijk dat het op Google of andere zoekmachines staat.Gelukkig hebben ze hun eigen bots of "crawlers"Die het internet doorzoeken naar index-sites. Deze bots kunnen worden gecontroleerd in hoe ze via een tekstbestand met uw site communiceren. Dit zou de robots.txt het dossier.Dit bestand bevat regels die de bots die uw site bezoeken worden gevraagd te volgen.Dit kan over het algemeen een goede zaak zijn, maar kan ook een slechte zaak zijn voor uw beoordeling indien verkeerd ingesteld.

Hoe ziet een robots.txt-bestand eruit?

Hier zijn een aantal verschillende voorbeelden van wat dit bestand er voor u kan uitzien.

Sta alle bots volledige toegang toe

User-agent: * Niet toestaan:

Blokkeer alle toegang voor bots

User-agent: * Niet toestaan: /

Stel de vertraging in op 10 seconden

User-agent: * Crawl-Delay: 10

Door een crawl-vertraging van 10 seconden in te stellen, beperkt u deze zoekmachines om uw website te indexeren.Als u een VPS heeft met een beperkt aantal middelen en uw pagina's niet geoptimaliseerd om een plotselinge spike van webverkeer aan te kunnen, kunt u overwegen om uw cloud VPS-server te upgraden om meer middelen te hebben en een crawl-vertraging op te nemen en een crawl-vertraging toe te voegen.

Dat zijn slechts een paar zeer algemene sjablonen voor het Robots.txt-bestand.U kunt het gebruiken om de toegang tot een enkele map of zelfs slechts één bestand te blokkeren indien gewenst is.Elke invoer binnen het bestand Robots.txt heeft een veld voor gebruikersagent met iets ernaast.Het asterisk geeft een jokerteken aan, waar het voor iedereen zou toepassen.Als u het voor een specifieke bot wilt instellen, zult u dit op dit gebied plaatsen.Elke regels daarna zijn van toepassing op die gebruikersagent totdat een nieuwe is opgegeven.In het onderstaande bestand, voor Google, blokkeert het bijvoorbeeld de / TMP-map op de site, maar voor alle andere bots zouden alle mappen worden toegestaan (inclusief de map / TMP).

User-agent: Googlebot Niet toegestaan: / TMP / User-agent: * Niet toestaan:

Zoals je kunt zien, kun je dit gebruiken om bots te voorkomen van het indexeren van privé-bestanden of zelfs onnodige mappen.Hoewel het onthouden van de bots die op internet bestaan, zijn verschillende bronnen beschikbaar om die uit te vinden.

Er zijn veel dingen die de robots.txt kan doen om de crawlers van de site te beïnvloeden, maar de toegang te voorkomen is de meest voorkomende.Andere opties omvatten de optie Crawl-Delay.U kunt deze optie gebruiken om de BT-vertraging tussen de pagina's op de site te kruipen.

Als u vragen moet hebben of hulp wilt, neem dan contact met ons op via livechat of door een ticket in te dienen met ons technische ondersteuningsteam.