Hoe u een bijgewerkt of nieuw Robots.txt-bestand opnieuw kunt indienen

robots txt

Ons bureau behandelt organisch zoekadvies voor verschillende SaaS-leveranciers in de branche. Een klant waarmee we onlangs zijn gaan samenwerken, had een vrij standaardpraktijk gedaan door hun applicatie op een subdomein te plaatsen en hun brochuresite naar het kerndomein te verplaatsen. Dit is een standaardpraktijk, omdat het zowel uw productieteam als uw marketingteam in staat stelt om indien nodig updates uit te voeren zonder afhankelijkheid van de ander.

Als eerste stap in het analyseren van hun organische zoekstatus, hebben we zowel de brochure als de toepassingsdomeinen in Webmasters geregistreerd. Dat is toen we een onmiddellijk probleem ontdekten. Alle applicatiepagina's werden geblokkeerd voor indexering door de zoekmachines. We navigeerden naar hun robots.txt-item in Webmasters en identificeerden het probleem onmiddellijk.

Tijdens de voorbereiding op de migratie wilde hun ontwikkelingsteam niet dat het subdomein van de applicatie door zoekopdrachten werd geïndexeerd, dus stond ze de toegang tot zoekmachines niet toe. Het robots.txt-bestand is een bestand dat in de root van uw site wordt gevonden - uwdomein.com/robots.txt - waarmee de zoekmachine weet of ze de site moeten crawlen. U kunt regels schrijven om indexering op de hele site of op specifieke paden toe te staan ​​of te verbieden. U kunt ook een regel toevoegen om uw sitemapbestand op te geven.

Het robots.txt bestand had de volgende vermelding waardoor de site niet kon worden gecrawld en geïndexeerd in de rangschikkingen van zoekresultaten:

Gebruiker-agent: * Niet toestaan: /

Het had als volgt moeten worden geschreven:

User-agent: * Allow: /

Deze laatste geeft elke zoekmachine die de site crawlt toestemming om toegang te krijgen tot elke directory of bestand op de site.

Geweldig ... dus nu de robots.txt bestand is perfect, maar hoe weet Google dat en wanneer zullen ze de site opnieuw controleren? Welnu, u kunt absoluut vragen dat Google uw robots.txt controleert, maar het is niet te intuïtief.

Navigeer naar de Google Search Console Search Console aan de Crawl> robots.txt-tester. U ziet de inhoud van het meest recent gecrawlde robots.txt-bestand in de tester. Als u uw robots.txt-bestand opnieuw wilt indienen, klikt u op Verzenden en verschijnt er een pop-up met een paar opties.

verzend robots.txt opnieuw

De laatste optie is Vraag Google om te updaten. Klik op de blauwe knop Verzenden naast die optie en navigeer vervolgens terug naar het Crawl> robots.txt-tester menuoptie om de pagina opnieuw te laden. U zou nu het bijgewerkte robots.txt-bestand moeten zien samen met een datumstempel die aangeeft dat het opnieuw is gecrawld.

Als u geen bijgewerkte versie ziet, kunt u op verzenden klikken en selecteren Bekijk de geüploade versie om naar uw daadwerkelijke robots.txt-bestand te navigeren. Veel systemen zullen dit bestand cachen. In feite genereert IIS dit bestand dynamisch op basis van regels die via hun gebruikersinterface zijn ingevoerd. U zult waarschijnlijk de regels moeten bijwerken en de cache moeten vernieuwen om een ​​nieuw robots.txt-bestand te publiceren.

robots-txt-tester

Wat denk je?

Deze site gebruikt Akismet om spam te verminderen. Ontdek hoe uw reactiegegevens worden verwerkt.