Server logs

You Are What Googlebot Eats

Welke bots zijn er?

Wat is een “hit”

File request example: brochure_download.pdf

A request for /page-a.html will likely end up with multiple hits because we need to get the images, css and any other files needed to render

that page.

Wat doet de Google bot op de website;• Welke pagina’s worden gecrawld?

• Welke files worden gecrawld?• Wanneer komt de bot langs en hoe vaak?

Dagelijks/wekelijks• Crawlt de bot telkens dezelfde pagina’s en files?• Worden de mappen en pagina's die in de

robots.txt staan op noindex ook door Google gehonoreerd?

• Zijn er pagina’s die niet/nooit gecrawld worden?• Loopt de bot vast in loops?• Vult de bot formulieren in?• Welke pagina's vindt de bot belangrijk?• Krijgt de bot 404’s of andere errors bij pagina’s?• Hoe snel komt de bot langs bij een nieuwe

pagina?• En moeten er pagina’s/directories/files in de

robots.txt gezet worden?• Hoelang duurt de bot om de pagina te laden?

Voorbeeld Googlebot crawl

Errors!

Google mobile bot• Deze bot werkt als een mobiele gebruiker. Wat

kan de bot zien etc.• 1 van de meest voorkomende problemen is

“pagination”. Op een mobiel apparaat is het vaak lastig om een volgende pagina te kiezen 1-2-3-4-5-etc is vaak te klein en ondanks inzoomen is het nog steeds een gekloot. Het zou goed zijn om dit te achterhalen in de serverlogs, om te zien of de google mobile bot de gepagineerde pagina’s ook bekijkt. Uit een test van http://www.blindfiveyearold.com/crawl-optimization is gebleken dat paginatie uitzetten voor een mobiel apparaat er meer verkeer komt op de dieper liggende pagina’s.

Vaker crawlen, geeft meer verkeer

Mitul and his team were able to determine that content not crawled within ~14 days receives

materially less traffic. Not only that, but getting those same pages crawled more frequently produced an increase in traffic. (Think about

that for a minute.)

Interne links!

Bekijk welke interne links in GWT vermeld staan, zodat je weet welke pagina’s Google belangrijk vind.

Welke missen hier? Zorg voor meer interne links, zodat die pagina’s gecrawld worden. Vergelijk ze

met de serverlogs.

Vergelijk!

Maak een excel file met daarin de xml file, de landingspagina’s uit analytics en de serverlogs en kijk of alles verkeer krijgt, welke er gecrawld

worden.

Dubbelcheck met Screamingfrog en (kleine) website “site:”

HTML / XML sitemaps

Deze sitemaps worden redelijk vaak over het hoofd gezien, maar zijn erg handig om google

bots aan te sturen. Maak xml sitemaps van categorien , afbeeldings, videos etc, submit ze

en kijk in GWT welke geindexeerd zijn.

Zijn deze sitemaps “schoon”? Geen 301/302/404 etc, alleen 200! Status codes.

Staan alle pagina’s in de sitemaps?

Bing ea bots!

Kijk waarom Bing bijvoorbeeld meer crawld

dan Google.(in dit geval comment

links)

Bedankt!

Arjan Bakker nl.linkedin.com/in/arjanbakkerseo/www.twitter.com/arjanrbakker