Om een website te optimaliseren voor zoekmachines zijn er vele handige tools te vinden die veel werk voor je kunnen opknappen. Een vaak gebruikte tool van mij is de SEO Spider tool van Screaming Frog. Deze tool is een downloadbare tool voor zowel Mac, Windows en Linux. Eenmaal geïnstalleerd kun je met het invullen een de website url een crawl sessie starten waarbij de tool als een zoekmachine spider door de website loopt en de crawlresultaten direct in een tabel weergeeft.
SEO mogelijkheden
Op basis van de crawlresultaten in deze tabel kunnen een aantal onderdelen gecheckt worden die van belang zijn voor zoekmachineoptimalisatie.
Checken op Broken links (404 fouten).
Indien in de resultaat tabel een link terugkomt met de fout code 404 betekent dit dat dit bestand/url niet op de website gevonden kan worden. De oorzaak is meestal een oud bestand of een url die in de loop van de tijd is aangepast. Deze fout kun je oplossen door de link aan te passen of door deze permanent naar een nieuwe link te laten verwijzen (301 redirect). Door vervolgens de tool weer te laten crawlen kun je checken of de 404 fout is opgelost.
Overzicht van meta descriptions en titel instellingen.
Voor zoekmachines is het van belang dat elke pagina een unieke meta-description en titel heeft op de site. Met deze tool kun je deze informatie in 1 tabel nakijken.
Het vinden van zoekblokkades op de website en het testen van de website op doorzoekbaarheid.
De SEO Spider tool begint bij de ingegeven pagina en gaat op basis van de urls op deze pagina de website doorzoeken. Mocht dan blijken dat sommige pagina’s niet in het overzicht terecht komen dan zit er een zoekblokkade in de website. Door deze zoekblokkade kunnen zoekmachines de pagina niet bereiken en dus niet indexeren in een zoekmachine waardoor je niet gevonden wordt op deze pagina’s.
Fouten opsporen in de configuratie.
Mocht blijken dat een website slecht scoort in de zoekmachines dan is het handig om de site via de SEO Spider tool te doorlopen. Ik ben er regelmatig achtergekomen dat bijv. de WordPress indexerings instelling nog werd geblokkeerd of dat er een fout stond in de robots.txt bestand waardoor de zoekmachine niet door de website kan crawlen.
Instellen van 301 redirects
Ga je een website flink vernieuwen dan is de kans groot dat de url structuur van de website ook veranderd. Urls in de zoekmachines kunnen zo opeens linken naar een niet bestaande pagina. Als dit te vaak gebeurt dan verdwijnt de pagina na een tijdje uit de zoekresultaten en tevens de daarbij opgebouwde zoekpositie. Dit kun je echter voorkomen door een zogenaamde permanente redirect in te stellen (301 redirects). Je geeft dan op de site aan dat de oude url altijd moet doorverwijzen naar een nieuwe url. In WordPress kan je dit instellen met bijv. de plugin simple 301 redirects. Echter om een overzicht te krijgen welke links er dadelijk verdwijnen kun je de SEO Spider tool inzetten. Door de oude site en de nieuwe site hiermee te crawlen krijg je een goed overzicht welke links er dadelijk op de nieuwe site niet meer aanwezig zijn. Deze links kun je dan voordat de nieuwe website live wordt gezet instellen als 301 redirect en doorverwijzen naar de nieuwe pagina’s.
Gratis of betaald?
De tools is in 2 versies beschikbaar: Gratis of een betaalde versie.
De gratis versie heeft uiteraard een aantal beperkingen ten opzichte van de betaalde versie. Het maximum van het aantal crawl links is bijv. in de gratis versie gezet op 500. Daarna stopt de spider. Voor kleine websites is dit geen probleem maar voor website met veel content wel. Voor een overzicht van de verschillen tussen de versie zie https://www.screamingfrog.co.uk/seo-spider/pricing/
