Bing helpt met testen Robots.txt
Met een nieuwe functie in de Bing Webmaster Tools kun je nu nog gemakkelijker de Robots.txt van je website uitgebreid analyseren. Als er problemen zijn met het crawlen van je website, laat de tool deze ook zien. Vervolgens helpt de tool je met het aanpassen van het bestand. Makkelijker kan bijna niet.
Een richtlijn voor zoekmachines
Het klinkt heel ingewikkeld, Robots.txt. Maar eigenlijk is dat het niet. Je kunt het zien als een bestandje dat je aan zoekmachines als Google en Bing laat zien, zodat de crawlers weten welke pagina’s ze wel en niet moeten bekijken. Dit bestand is altijd het eerste wat de bots van de zoekmachines bekijken van een website. Als je bijvoorbeeld duplicate content hebt voor bepaalde pagina’s, dan kun je via dat bestand aangeven dat die “tweede” pagina niet gecrawld hoeft te worden. Dat maakt het voor Google en Bing anders alleen maar onoverzichtelijk.
Verwar Robots.txt niet met noindex
De instructies in Robots.txt zijn een richtlijn (waar sommige zoekmachines zich niet aan houden). Het is voornamelijk om het de zoekmachine gemakkelijker te maken en een meer gestructureerd beeld te krijgen van je website. Wil je per se niet dat een bepaalde pagina gevonden wordt in Google of Bing? Dan zul je deze een noindex-instructie moeten geven, buiten de Robots.txt om.
Checken en aanpassen van de Robots.txt in Bing
In de Webmaster Tool kun je vanaf nu een URL invullen die door de tool op dezelfde manier wordt gecrawld als de BingBot dat zou doen. De tool geeft vervolgens aan of er toestemming is om de pagina te crawlen en of er zich problemen voordoen.
In de editor van Bing Webmaster kun je vervolgens in real time kijken wat bepaalde wijzigingen in de Robots.txt zouden betekenen. Als de instellingen goed staan, kun je via de downloadbutton de wijzigingen in de Robots.txt downloaden om ze direct in de echte Robots.txt neer te zetten.
Wil jij werknemers laten omscholen?
Neem contact op met Joosje voor meer informatie over onze opleiding tot online marketeer en SEO-cursus. Bel of mail haar via 070 322 90 83 of info@dutchmarketingacademy.nl.