Klanten bezoeken je eCom shop met behulp van een zoekmachine zoals Google Search. Zij selecteren de link van je winkel uit de zoekresultaten. Om resultaten te kunnen geven, gebruiken zoekmachines webcrawlers om informatie over je eCom shop te verzamelen. Je robots.txt-bestand bestuurt webcrawlers.
Je hoeft je robots.txt-bestand niet te bewerken. Het is normaal dat je vanuit alle zoekmachines alle pagina‘s laat indexeren. Bewerk alleen het robots.txt-bestand als je ervaring hebt met het optimaliseren van zoekmachines. Hiermee kun je:
Zorgen dat zoekmachines niet je site indexeren. Bijvoorbeeld bij het bouwen van je eCom shop kan het zijn dat je niet afgemaakte content hebt die niet geïndexeerd moet worden.
Schakel de indexering van bepaalde pagina‘s van je eCom shop uit. Dat zijn bijvoorbeeld pagina‘s die je niet wil laten indexeren.
Blokkeer bepaalde zoekmachines zodat ze je site niet indexeren. Als bijvoorbeeld China buiten je doelmarkt valt, kun je Chinese zoekmachines blokkeren zodat ze je site niet indexeren.
Voor je huidige robots.txt-bestand kun je terecht op yourdomain.com/robots.txt. Lightspeed eCom biedt standaard een sitemap voor je zoekmachines en blokkeringen:
Het backoffice-inlogscherm - /admin
Pagina winkelwagentje - /cart
Pagina‘s vergelijken - /compare
Checkout-pagina‘s - /checkout
Wijzig je robots.txt-bestand in Lightspeed eCom:
Klik in het menu links van de backoffice op Instellingen en onder Website-instellingen klik je op Web-extra‘s.
In de sectie ROBOTS.TXT selecteer het vakje met het opschrift Status.
Voer de content van je robots.txt in het veld met het opschrift Robot in.
Het basisformaat van robots.txt is:
User-agent: [Naam van de webcrawler van de zoekmachine] Disallow: [URL wordt niet gecrawled]
User-agent identificeert een webcrawler. Bijvoorbeeld:
User-agent: Googlebot- Google SearchUser-agent: Bingbot- Microsoft Bing & YahooUser-agent: Baiduspider- Baidu, een toonaangevende Chinese zoekmachineUser-agent: *- Gericht op alle webcrawlers.
Disallow stelt de pagina in die je wil blokkeren. Voer de bestandslocatie in plaats van de URL in. Bijvoorbeeld:
Disallow: /Womens-apparel- Zorgt dat er geen content wordt geïndexeerd in de pagina yourdomain.com/Womens-apparel en in subpagina’s.Disallow: /Womens-apparel/- Zorgt dat er alleen geen content is in yourdomain.com/Womens-apparel. Alle subpagina’s worden nog altijd geïndexeerd.Disallow: /- Blokkeert het indexeren van alle pagina’s.Disallow:- Activeert het indexeren van alle pagina’s.
Voor meer informatie over het robots.txt-bestand kun je terecht op de Google-ondersteuningspagina
Probleemoplossing en ondersteuning voor robots.txt
Controleer goed je wachtwoord op streepjes/tekens.
Zorg dat er geen spaties zijn in het robots.txt-bestand .
Gebruik de robots.txt-tester in de Google Search console om te controleren of er waarschuwingen of fouten zijn.
Voor meer informatie over:
Ons ondersteuningsteam is bereid om je te helpen met je eCom shop. Het bewerken van je thema in robots.txt kan problemen geven met je kwalificatie in de zoekmachine. Wanneer dit gebeurt, is het mogelijk dat ons ondersteuningsteam niet de SEO-kennis heeft die nodig is om het probleem in je robots.txt-bestand op te lossen. In deze gevallen kunnen zij het volgende aanbevelen:
Neem contact op met een externe SEO-specialist om het probleem op te lossen.
Verwijderen van wijzigingen aan het robots.txt-veld om de standaardinstellingen te herstellen.
Crawl-delay 2
Als je fouten herziet in de Google Search console, hoef je je geen zorgen te maken als je een Crawl-delay 2 bericht ontvangt. Dit is niet ernstig en heeft geen invloed op de activiteiten van je webwinkel. Crawl-vertraging houdt in dat Google bots webwinkels bezoeken, zodat overbelasting van de server wordt vermeden. Dit kan tot vertragingen van de activiteiten van je webwinkel leiden.