3. программные аспекты коледа олег
DESCRIPTION
TRANSCRIPT
![Page 1: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/1.jpg)
Школаdigital-маркетингаШколаdigital-маркетинга
Коледа ОлегРуководитель службы тестирования «Артокс Лаб»
![Page 2: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/2.jpg)
2
Внутренняя оптимизация сайта. Программные аспекты.
Занятие 2
![Page 3: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/3.jpg)
3
Задачи программной оптимизации:
Создание файла robots.txtСоздание и модификация файла .htaccessПодготовка и размещение sitemapТранслитерация URL-ов страницДругое
![Page 4: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/4.jpg)
4
назначение файла robots.txt
robots.txt предназначен для ограничения доступа роботам к сайту.каждый робот находит свою секцию (если она есть), а также общую секцию.Официальный сайт: http://www.robotstxt.org/, но удобнее Вебмастер Яндекса.некоторые «несознательные» роботы не учитывают robots.txt. Поможет .htaccess
![Page 5: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/5.jpg)
5
назначение файла robots.txt
![Page 6: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/6.jpg)
6
структура файла robots.txt
1. Основные поля файла: User-agent: * (GoogleBot, Yandex) Allow: <шаблон> Disallow: <шаблон> Sitemap: http://www.site.by/sitemap.xml Crawl-delay: 10 Host: www.site.by
*Поле host является обязательным для Яндекса
![Page 7: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/7.jpg)
7
структура файла robots.txt
2. Варианты шаблонов для секций Allow и Disallow:Disallow: - нет запретовDisallow: / - запрет всего сайтаDisallow: /name* - запрет name, name.html, name/…Disallow: /name - аналогично предыдущемуDisallow: /*.htm$ - запрет всех htm но не html
3. Робот смотрит порядок директив Allow и Disallow
![Page 8: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/8.jpg)
8
Различные роботы Яндекса
'YandexBot' — основной индексирующий робот; 'YandexMedia' — робот, индексирующий мультимедийные данные; 'YandexImages' — индексатор Яндекс.Картинок;'YandexCatalog' — «простукивалка» Яндекс.Каталога, используется для временного снятия с публикации недоступных сайтов в Каталоге;'YandexDirect' — робот Яндекс.Директа, особым образом интерпретирует robots.txt; 'YandexBlogs' — робот поиска по блогам, индексирующий посты и комментарии; 'YandexNews' — робот Яндекс.Новостей; 'YandexPagechecker' — валидатор микроразметки; ‘YandexMetrika’ — робот Яндекс.Метрики;‘YandexMarket’— робот Яндекс.Маркета;‘YandexCalendar’ — робот Яндекс.Календаря.
![Page 9: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/9.jpg)
9
структура файла robots.txt
4. Пример готового файла:
User-agent: *Allow: /text/page.htmlDisallow: /text/ User-agent: YandexDisallow:Host: www.site.by
![Page 10: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/10.jpg)
10
валидация файла robots.txt
Использование инструмента Yandex: http://webmaster.yandex.ru/robots.xmlИспользование инструмента Google в панели Вебмастера.Анализ логов веб-сервера для проверки IP-адресов и юзер-агентов, сканирующих сайт
![Page 11: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/11.jpg)
11
.htaccess поддерживается только Apachemod_rewrite: преобразование URL. Подключение и основы регулярных выражений.
Создание и модификация .htaccess
![Page 12: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/12.jpg)
12
Подключение mod_rewrite
Включение механизма mod_rewrite:RewriteEngine OnRewriteBase /2. Основные операторы регулярных выражений:
^ (ограничение слева) $(ограничение справа)
+(1 и более символов) * (0 и более символов)
.(любой символ) \ (экранирование)
( ) (переменная) [] (диапазон значений)
3. Примеры регулярных выражений:
^page page*\.html^page$ page[1-9]\.html^page.+ ^page(.+)
![Page 13: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/13.jpg)
13
Переменные окружения
Переменные записываются в виде %{ИМЯ_ПЕРЕМЕННОЙ}
REQUEST_URI (строка запроса без имени хоста и параметров запроса)HTTP_HOST (имя хоста веб-сайта) REMOTE_ADDR ( IP -адрес посетителя)
т.е. %{REQUEST_URI}%{HTTP_HOST}%{REMOTE_ADDR}
![Page 14: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/14.jpg)
14
Примеры директив mod_rewrite1. Использование редиректов: внутренний, 301, 302:
RewriteRule ^kontakt.* contacts.php [L] – внутреннийRewriteRule ^kontakt.* http://www.site.by/contacts/ [L] – внеш 302.RewriteRule ^kontakt.* http://www.site.by/contacts/ [R=301,L]Внешний 301
2. Склейка site.by и www.site.by: RewriteCond %{HTTP_HOST} ^site\.by$ [NC]RewriteCond %{REQUEST_URI} !^/robots\.txtRewriteRule ^(.*)$ http://www.site.by/$1 [R=301,L]
3. Закрытие веб-сайта в рабочее время:
RewriteCond %{TIME_HOUR}%{TIME_MIN} >900
RewriteCond %{TIME_HOUR}%{TIME_MIN} <1800
RewriteRule .* - [ F ]
![Page 15: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/15.jpg)
15
Установка и подключение sitemap
Для чего нужен sitemap?быстрая индексация сайта (новых страниц сайта);Как сделать sitemap?вручную или автоматически (www.xml-sitemaps.com)многие популярные CMS автоматически могут генерировать sitemap.Как сообщить ПС о sitemap?
webmaster.yandex.ru (для Яндекса)
google.com/webmasters (для Google)
![Page 16: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/16.jpg)
16
Установка и подключение sitemap
Пример секции файла sitemap.xml:<url><loc>http://www.relax.by/</loc><lastmod>2010-09-09T00:00:00+00:00</lastmod><changefreq>daily</changefreq><priority>1</priority></url>
![Page 17: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/17.jpg)
17
Транслитерация URL-ов страниц
Транслитерация — передача одной письменности средствами другой письменности;Автоматическая транслитерация большинством CMS;ЧПУ (Человеко-Понятный URL), названия доменов;Легко индексируются ПС;Проверка транслитерации с помощью запроса к yandex.ru
![Page 18: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/18.jpg)
18
Русская таблица транслитерацииКириллица Латиница Кириллица Латиница
а a р rб b с sв v т t / thг g у u / ooд d ф fЕ ye / e (после согл.) х h / ch / kh
Ё yo / io (после согл.) ц z / tzЖ zh / j ч chз s ш shи i щ shй y / i (перед гласной) ъ -к k / c ы i / yл l ь -м m э eн n ю yu / iu (после согл.)
о o я ya / ia (после согл.)п p - -
![Page 19: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/19.jpg)
19
Практический кейс 1: robots.txt
Как разные роботы будут обрабатывать этот файл?
User-agent: *Allow: User-agent: YandexDisallow:Host: www.site.by
![Page 20: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/20.jpg)
20
Практический кейс 2: robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: GoogleBotAllow:Host: www.site2.by User-agent: YandexDisallow:Host: www.site2.by
![Page 21: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/21.jpg)
21
Практический кейс 3: robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: YandexDisallow: /info.htmlAllow: /Host: www.site.by
![Page 22: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/22.jpg)
22
Практический кейс 4: robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: YandexAllow: /Disallow: /info*Host: www.site.by
![Page 23: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/23.jpg)
23
Практический кейс 5: robots.txt
Как роботы будут обрабатывать этот файл?
User-agent: YandexAllow: /info*Disallow: /Host: www.site.by
![Page 24: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/24.jpg)
24
Уникальность изображений
Проверка: http://www.tineye.com/
![Page 25: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/25.jpg)
25
Уникальность изображений
1. Переворот, зеркальное отображение
2. Добавление элементов (водяных знаков)
3. Добавление второго изображения
![Page 26: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/26.jpg)
26
Отличия нашего сео и западного
1. Наши цели, их цели2. Покупка ссылок3. SMM двигатель4. Контент ресурса5. Ключевые слова
![Page 27: 3. программные аспекты коледа олег](https://reader033.vdocuments.net/reader033/viewer/2022061118/5461fef7af79597f0b8b5424/html5/thumbnails/27.jpg)
27
Выводы