Hoe vinden, crawlen en indexeren zoekmachines uw inhoud?

Search Engine Optimization

Ik raad klanten niet vaak aan om hun eigen e-commerce- of contentmanagementsystemen te bouwen vanwege alle ongeziene uitbreidingsopties die tegenwoordig nodig zijn - voornamelijk gericht op zoeken en sociale optimalisatie. Ik schreef er een artikel over hoe u een CMS selecteert en ik laat het nog steeds zien aan de bedrijven waarmee ik werk, die in de verleiding komen om gewoon hun eigen contentmanagementsysteem te bouwen.

Er zijn echter absoluut situaties waarin een aangepast platform een ​​noodzaak is. Als dat de optimale oplossing is, moedig ik mijn klanten nog steeds aan om de nodige functies uit te bouwen om hun sites te optimaliseren voor zoeken en sociale media. Er zijn in principe drie belangrijke functies die noodzakelijk zijn.

  • robots.txt
  • XML Sitemap
  • Metadata

Wat is een Robots.txt-bestand?

robots.txt bestand - het robots.txt bestand is een gewoon tekstbestand dat zich in de hoofdmap van de site bevindt en de zoekmachines vertelt wat ze moeten opnemen en uitsluiten van zoekresultaten. In de afgelopen jaren hebben zoekmachines u ook gevraagd om het pad naar een XML-sitemap in het bestand op te nemen. Hier is een voorbeeld van mij, waarmee alle bots mijn site kunnen crawlen en ze ook naar mijn XML-sitemap kunnen leiden:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Wat is een XML-sitemap?

XML Sitemap - Net zoals HTML is om te bekijken in een browser, wordt XML geschreven om programmatisch te worden verteerd. Een XML-sitemap is in feite een tabel van elke pagina op uw site en wanneer deze voor het laatst is bijgewerkt. XML-sitemaps kunnen ook in serie worden geschakeld ... dat wil zeggen dat de ene XML-sitemap naar een andere kan verwijzen. Dat is geweldig als u de elementen van uw site logisch wilt organiseren en opsplitsen (FAQ's, pagina's, producten, enz.) In hun eigen sitemaps.

Sitemaps zijn essentieel, zodat u de zoekmachines effectief kunt laten weten welke inhoud u heeft gemaakt en wanneer deze voor het laatst is bewerkt. Het proces dat een zoekmachine gebruikt om naar uw site te gaan, is niet effectief zonder een sitemap en fragmenten te implementeren.

Zonder XML-sitemap, riskeert u dat uw pagina's nooit worden ontdekt. Wat als u een bestemmingspagina voor een nieuw product heeft die niet intern of extern is gelinkt? Hoe ontdekt Google het? Nou, simpel gezegd ... totdat er een link naar is gevonden, zul je niet ontdekt worden. Gelukkig zorgen zoekmachines ervoor dat contentmanagementsystemen en e-commerceplatforms een rode loper voor hen uitrollen!

  1. Google ontdekt een externe of interne link naar uw site.
  2. Google indexeert de pagina en rangschikt deze op basis van de inhoud en wat de inhoud en kwaliteit van de site van de verwijzende link is.

Met een XML-sitemap, u laat het ontdekken van uw inhoud of het bijwerken van uw inhoud niet aan het toeval over! Te veel ontwikkelaars proberen snelkoppelingen te maken die hen ook pijn doen. Ze publiceren hetzelfde rich snippet op de hele site en bieden informatie die niet relevant is voor de pagina-informatie. Ze publiceren een sitemap met dezelfde datums op elke pagina (of ze worden allemaal bijgewerkt wanneer een pagina wordt bijgewerkt), waardoor de zoekmachines wachtrijen krijgen dat ze het systeem aan het gamen zijn of onbetrouwbaar zijn. Of ze pingen de zoekmachines helemaal niet ... zodat de zoekmachine niet beseft dat er nieuwe informatie is gepubliceerd.

Wat zijn metagegevens? Microdata? Rich snippets?

Rich snippets zijn zorgvuldig getagde microdata die verborgen is voor de kijker maar zichtbaar is op de pagina voor zoekmachines of sociale mediasites om te gebruiken. Dit staat bekend als metadata. Google conformeert zich Schema.org als standaard voor het opnemen van zaken als afbeeldingen, titels, beschrijvingen… evenals een overvloed aan andere informatieve fragmenten zoals prijs, hoeveelheid, locatiegegevens, beoordelingen, enz. Schema zal de zichtbaarheid van uw zoekmachine aanzienlijk verbeteren en de kans dat een gebruiker zal klikken door.

Facebook gebruikt de OpenGraph protocol (ze kunnen natuurlijk niet hetzelfde zijn), heeft Twitter zelfs een fragment om je Twitter-profiel te specificeren. Steeds meer platforms gebruiken deze metadata om voorbeelden van embedded links en andere informatie te bekijken wanneer ze publiceren.

Uw webpagina's hebben een onderliggende betekenis die mensen begrijpen wanneer ze de webpagina's lezen. Maar zoekmachines hebben een beperkt begrip van wat er op die pagina's wordt besproken. Door extra tags toe te voegen aan de HTML van uw webpagina's (tags die zeggen: "Hé zoekmachine, deze informatie beschrijft deze specifieke film, of plaats, of persoon of video", kunt u zoekmachines en andere toepassingen helpen uw inhoud beter te begrijpen en het op een nuttige, relevante manier weergeven. Microdata is een set tags, geïntroduceerd met HTML5, waarmee u dit kunt doen.

Schema.org, wat is MicroData?

Deze zijn natuurlijk niet vereist ... maar ik raad ze ten zeerste aan. Als je bijvoorbeeld een link op Facebook deelt en er komt geen afbeelding, titel of beschrijving tevoorschijn ... maar weinig mensen zullen geïnteresseerd zijn en daadwerkelijk doorklikken. En als uw schemafragmenten niet op elke pagina staan, kunt u natuurlijk nog steeds in de zoekresultaten verschijnen ... maar concurrenten kunnen u verslaan als ze aanvullende informatie hebben weergegeven.

Registreer uw XML-sitemaps bij Search Console

Als u uw eigen inhouds- of e-commerceplatform heeft gebouwd, is het absoluut noodzakelijk dat u een subsysteem heeft dat de zoekmachines pingt, microdata publiceert en vervolgens een geldige XML-sitemap levert voor de inhoud of productinformatie die moet worden gevonden!

Zodra uw robots.txt-bestand, XML-sitemaps en rich snippets zijn aangepast en geoptimaliseerd voor uw hele site, vergeet dan niet u te registreren voor de Search Console van elke zoekmachine (ook bekend als de webmasterhulpprogramma), waar u de gezondheid en zichtbaarheid van uw site op zoekmachines. U kunt zelfs uw sitemap-pad specificeren als er geen wordt vermeld en zien hoe de zoekmachine het gebruikt, of er problemen mee zijn en zelfs hoe u deze kunt corrigeren.

Rol de rode loper uit naar zoekmachines en sociale media en u zult merken dat uw sitepositie beter is, dat uw vermeldingen op de resultaatpagina's van zoekmachines meer worden doorgeklikt en uw pagina's meer worden gedeeld op sociale media. Het klopt allemaal!

Hoe Robots.txt, Sitemaps en MetaData samenwerken

Het combineren van al deze elementen lijkt veel op het uitrollen van de rode loper voor uw site. Dit is het crawlproces dat een bot volgt en hoe de zoekmachine uw inhoud indexeert.

  1. Uw site heeft een robots.txt-bestand dat ook verwijst naar uw XML-sitemaplocatie.
  2. Uw CMS- of e-commercesysteem werkt de XML-sitemap bij met elke pagina en publiceert datum of bewerkt datuminformatie.
  3. Uw CMS of e-commerce systeem pingt de zoekmachines om hen te laten weten dat uw site is bijgewerkt. U kunt ze rechtstreeks pingen of RPC en een service zoals Ping-o-matic om naar alle belangrijke zoekmachines te pushen.
  4. De zoekmachine komt onmiddellijk terug, respecteert het Robots.txt-bestand, vindt nieuwe of bijgewerkte pagina's via de sitemap en indexeert de pagina vervolgens.
  5. Wanneer het uw pagina indexeert, gebruikt het rich snippet-microdata om de resultatenpagina van zoekmachines te verbeteren.
  6. Aangezien andere relevante sites naar uw inhoud linken, scoort uw inhoud beter.
  7. Aangezien uw inhoud wordt gedeeld op sociale media, kan de gespecificeerde rich snippet-informatie helpen om een ​​goed voorbeeld van uw inhoud te bekijken en deze naar uw sociale profiel te leiden.

2 reacties

  1. 1

Wat denk je?

Deze site gebruikt Akismet om spam te verminderen. Ontdek hoe uw reactiegegevens worden verwerkt.