Hoe vinden, crawlen en indexeren zoekmachines uw inhoud?
Ik raad klanten niet vaak aan om hun eigen e-commerce- of contentmanagementsystemen te bouwen vanwege de ongeziene uitbreidbaarheidsopties die tegenwoordig nodig zijn – voornamelijk gericht op zoek- en sociale optimalisatie. Ik heb er een artikel over geschreven het selecteren van een CMS, en ik laat het nog steeds zien aan de bedrijven waarmee ik werk die in de verleiding komen om hun contentmanagementsysteem te bouwen.
Hoe werken zoekmachines?
Laten we beginnen met hoe zoekmachines werken. Hier is een mooi overzicht van Google.
Er zijn echter absoluut situaties waarin een platform op maat noodzakelijk is. Als dat de optimale oplossing is, spoor ik mijn klanten nog steeds aan om de nodige functies uit te bouwen om hun sites te optimaliseren voor zoeken en sociale media. Drie belangrijke kenmerken zijn een noodzaak.
- robots.txt
- XML Sitemap
- Metadata
Wat is een Robots.txt-bestand?
robots.txt bestand - het robots.txt bestand is een tekstbestand in de hoofdmap van de site en vertelt de zoekmachines wat ze moeten opnemen in en uitsluiten van de zoekresultaten. De afgelopen jaren hebben zoekmachines ook gevraagd om het pad naar een XML-sitemap in het bestand op te nemen. Hier is een voorbeeld van mij, waarmee alle bots mijn site kunnen crawlen en ze ook naar mijn XML-sitemap kunnen leiden:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlWat is een XML-sitemap?
XML Sitemap - Leuk vinden HTML is voor weergave in een browser, XML is geschreven om programmatisch te worden verteerd. Een XML sitemap is een tabel van elke pagina op uw site en wanneer deze voor het laatst is bijgewerkt. XML-sitemaps kunnen ook in serie worden geschakeld, dat wil zeggen dat de ene XML-sitemap naar de andere kan verwijzen. Dat is geweldig als u de elementen van uw site logisch wilt ordenen en opsplitsen (Veelgestelde vragen , pagina's, producten, enz.) in hun eigen sitemaps.
Sitemaps zijn essentieel om de zoekmachines effectief te laten weten welke inhoud u heeft gemaakt en wanneer deze voor het laatst is bewerkt. Het proces van een zoekmachine om naar uw site te gaan, is niet effectief zonder een sitemap en fragmenten te implementeren.
Zonder XML-sitemap, loopt u het risico dat uw pagina's nooit worden ontdekt. Wat moet u doen als u een nieuwe productbestemmingspagina heeft die niet intern of extern is gelinkt? Hoe ontdekt Google het? Nou ja, totdat er een link naar wordt gevonden, zul je niet ontdekt worden. Gelukkig zorgen zoekmachines ervoor dat contentmanagementsystemen en e-commerceplatforms een rode loper voor hen uitrollen!
- Google ontdekt een externe of interne link naar uw site.
- Google indexeert de pagina en rangschikt deze op basis van de inhoud en de inhoud en kwaliteit van de site van de verwijzende link.
Met een XML-sitemap, laat u het ontdekken of bijwerken van uw inhoud niet aan het toeval over! Te veel ontwikkelaars proberen sluiproutes te nemen die hen ook schade toebrengen. Ze publiceren dezelfde rich snippet op de hele site en bieden informatie die niet relevant is voor de pagina-informatie. Ze publiceren een sitemap met dezelfde datums op elke pagina (of ze worden allemaal bijgewerkt wanneer één pagina wordt bijgewerkt), waardoor wachtrijen voor de zoekmachines ontstaan dat ze het systeem bespelen of onbetrouwbaar zijn. Of ze pingen de zoekmachines helemaal niet… waardoor de zoekmachine niet door heeft dat er nieuwe informatie is gepubliceerd.
Wat zijn metagegevens? Microdata? Rich snippets?
Rich snippets zijn zorgvuldig getagde microdata verborgen voor de kijker, maar zichtbaar op de pagina zodat zoekmachines of sociale-mediasites deze kunnen gebruiken. Dit staat bekend als metagegevens. Google voldoet aan Schema.org als standaard voor het opnemen van zaken als afbeeldingen, titels, beschrijvingen en een overvloed aan andere informatieve fragmenten zoals prijs, hoeveelheid, locatie-informatie, beoordelingen, enz. Schema zal de zichtbaarheid van uw zoekmachine en de waarschijnlijkheid dat een gebruiker doorklikt aanzienlijk vergroten.
Facebook gebruikt de OpenGraph protocol (ze kunnen natuurlijk niet hetzelfde zijn), X heeft zelfs een fragment om uw X-profiel te specificeren. Steeds meer platforms gebruiken deze metadata om ingebedde links en andere informatie te bekijken wanneer ze publiceren.
Uw webpagina's hebben een onderliggende betekenis die mensen begrijpen wanneer ze de webpagina's lezen. Maar zoekmachines hebben een beperkt begrip van wat er op die pagina's wordt besproken. Door extra tags toe te voegen aan de HTML van uw webpagina's (tags die zeggen: "Hé zoekmachine, deze informatie beschrijft deze specifieke film, of plaats, of persoon of video", kunt u zoekmachines en andere toepassingen helpen uw inhoud beter te begrijpen en het op een nuttige, relevante manier weergeven. Microdata is een set tags, geïntroduceerd met HTML5, waarmee u dit kunt doen.
Schema.org, wat is MicroData?
Deze zijn natuurlijk niet vereist ... maar ik raad ze ten zeerste aan. Als je bijvoorbeeld een link op Facebook deelt en er verschijnt geen afbeelding, titel of beschrijving ... maar weinig mensen zullen geïnteresseerd zijn en daadwerkelijk doorklikken. En als uw schemafragmenten niet op elke pagina staan, kunt u natuurlijk nog steeds in de zoekresultaten verschijnen ... maar concurrenten kunnen u verslaan als ze aanvullende informatie hebben weergegeven.
Registreer uw XML-sitemaps bij Search Console
Als u uw eigen inhouds- of e-commerceplatform heeft gebouwd, is het absoluut noodzakelijk dat u over een subsysteem beschikt dat de zoekmachines pingt, microdata publiceert en vervolgens een geldige XML-sitemap levert voor de inhoud of productinformatie die u kunt vinden!
Zodra uw robots.txt-bestand, XML-sitemaps en rich snippets op uw hele site zijn aangepast en geoptimaliseerd, vergeet dan niet om u voor elke zoekmachine te registreren Zoeken Console (Ook bekend als Webmaster tool) waarmee u de gezondheid en zichtbaarheid van uw site in zoekmachines kunt controleren. U kunt zelfs uw sitemappad opgeven als dit niet wordt vermeld en zien hoe de zoekmachine dit gebruikt, of er problemen mee zijn en zelfs hoe u deze kunt corrigeren.
Rol de rode loper uit naar zoekmachines en sociale media, en u zult merken dat uw site beter scoort, dat uw vermeldingen op de resultatenpagina's van zoekmachines vaker worden doorgeklikt en dat uw pagina's meer worden gedeeld op sociale media. Het klopt allemaal!
Hoe Robots.txt, Sitemaps en MetaData samenwerken
Het combineren van al deze elementen is als het uitrollen van de rode loper voor uw site. Hier ziet u het crawlproces dat een bot uitvoert en hoe de zoekmachine uw inhoud indexeert.
- Uw site heeft een robots.txt-bestand dat ook verwijst naar uw XML-sitemaplocatie.
- Uw CMS- of e-commercesysteem werkt de XML-sitemap bij met elke pagina en publiceert de datum of bewerkt de datuminformatie.
- Uw CMS- of e-commercesysteem pingt de zoekmachines om hen te informeren dat uw site is bijgewerkt. U kunt ze rechtstreeks pingen of RPC en een dienst als Ping-o-matic gebruiken om naar alle belangrijke zoekmachines te pushen.
- De zoekmachine keert onmiddellijk terug, respecteert het Robots.txt-bestand, vindt nieuwe of bijgewerkte pagina's via de sitemap en indexeert vervolgens de pagina.
- Bij het indexeren van uw pagina wordt gebruik gemaakt van de titel, metabeschrijving, HTML5-elementen, koppen, afbeeldingen, alt-tags en andere informatie om de pagina correct te indexeren voor de toepasselijke zoekopdrachten.
- Bij het indexeren van uw pagina worden de titel, de metabeschrijving en de rich snippet-microdata gebruikt om de resultatenpagina van de zoekmachine te verbeteren.
- Aangezien andere relevante sites naar uw inhoud linken, scoort uw inhoud beter.
- Wanneer uw inhoud wordt gedeeld op sociale media, kan de opgegeven rich snippet-informatie u helpen een goed voorbeeld van uw inhoud te bekijken en deze naar uw sociale profiel te leiden.
