brána do pekla botů (seo restart 2017)
TRANSCRIPT
Chyby v relativních URL
http://priklad.cz/a/
<a href="b/">odkaz</a>
http://priklad.cz/a/b/
http://priklad.cz/a/b/b/
http://priklad.cz/a/b/b/b/
...
http://priklad.cz/a/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/b/
Řešení chyb v relativních URL
Přesměrovávat na platné URL.
Nevytvářet dlouhé redirectovací řetězce,
ideálně vždy jen jedno přesměrování.
Variace Kombinace
345678910
Počet možností Všechny kombinace Všechny variace + permutace
1 2 2
2 4 5
3 8 16
4 16 65
5 32 326
6 64 1 957
7 128 13 700
8 256 109 601
9 512 986 410
10 1 024 9 864 101
11 2 048 108 505 112
12 4 096 1 302 061 345
13 8 192 16 926 797 486
14 16 384 236 975 164 805
15 32 768 3 554 627 472 076
Stránky, které crawler nenavštěvuje.Jaké status kódy vrací stránky. Intenzita a frekvence crawlování.Orphan pages.Referer spam v akci.
Nejlepší nejúplnější data, která máte k dispozici.
Access logy
66.249.64.244 - - [10/May/2017:00:00:11 +0200] "GET /pneu-dodavkove-bridgestone-215-60r16-c-103t-duravis-r-410 HTTP/1.1" 200 19230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
IPTimestamp
URLStatus kódUser-Agent
Screaming Frog Log Analyser
Výhody
• Příznivá cena
• Propojení dat z crawlu
• Drag & Drop
• Jednoduché rozhraní
Nevýhody
• JAVA
• Pomalé zpracování dat
• Pomalé načítání
• Absence vlastních user-agents
OnCrawl Log Analyser
Výhody
• Dostupný i zdarma
• Rychlost a přehlednost
• Jednoduché rozhraní
• ELK
Nevýhody
• Technicky náročný setup
• Komplikovaná customizace
• Horší práce s daty
• Není možnost porovnat crawl data
Logz.io Log Analyser
Výhody
• Cloud + ELK
• Plně customizovatelné
• Community driven
• Velké množství druhů logů
Nevýhody
• Technicky velmi náročné
• Cena
• Omezená doba uchování dat
• Vhodné spíše pro velké weby