Всем привет, сегодня хочу поговорить о том, как настроить сайт для правильной индексации поисковыми системами. Наверно некоторые уже встречали файл, представленный ниже, на своих серверах.

.htaccess - это служебный файл для дополнительной настройки веб-сервера. Давайте рассмотрим на примерах, что он дает и как им воспользоваться.

Настраиваем файл .htaccess для правильной индексации сайта

Каждый раз, когда приходится провести технический аудит сайтов клиентов, я начинаю смотреть, что попало в индекс поисковых систем. Зачастую в поиск попадают дубли страниц, а Яндекс и Google видят один и тот же сайт, как два разных.

Что бы активно заняться продвижением, покупкой ссылочной массы и сэкономить бюджет вашей компании, необходимо заранее привести сайт в порядок и настроить служебный файл .htaccess.

Рассмотрим по порядку, что нам необходимо прописать. Есть множество всяких настроек, я расскажу о том, что я использую. Со временем, буду дополнять новые проверенные настройки.

Настраиваем основное зеркало сайта

 Основной ошибка, когда сайт доступен по двум адресам, с www или без:

• www.site.ru
• site.ru

Точной информации, что лучше использовать, я не нашел. Но чаще склонен использовать название домена без www. Считаю, что использование www в названии, чаще актуально в off-лайне, для рекламы, баннерах, визитках. Визуальное видение названия с www подразумевает, что речь идет о сайте в интернете.

Смотрим, что нужно прописать:

• главное зеркало с www

RewriteEngine On
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]

• главное зеркало без www

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC]
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Убираем дубль главной страницы /index.php

 Далее, сайт может быть доступен как:

• site.ru/index.php

Убираем /index.php из индексации: 

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://site.ru/ [R=301,L]

Исправляем слэш в URL адресе

Например страница доступна со слэшем и без него:

• site.ru/catalog
• site.ru/catalog/

Необходимо выбрать что-то одно. Честно, не уверен насколько это серьезно для продвижения сайта, будет ли вес страницы разбиваться пополам? Но есть один отрицательный момент, когда страница без слэша на конце, или наоборот, отдает ответ сервера 404. Посмотрим решение.

• Убираем слэш на конце URL адреса:

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.+)/$ /$1 [R=301,L]

• Добавляем слэш в конец URL адреса:

RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?)
RewriteRule .* %1/ [R=301,L]

301 Редирект с одной страницы на другую

Если адрес вашей страницы поменялся и вам необходимо сделать перенаправление на новую, используем следующий формат записи:

Redirect /old.php http://site.ru/new.php

Как проверить ответ сервера?

В процессе настройки файла .htaccess или после всех проделанных операций на сайте, необходимо убедиться в правильности работы вашего ресурса. Есть различные интернет-сайты для проверки, я использую сервис Яндекса - "Проверка ответа сервера". Для проверки необходимо добавить сайт в панель Яндекс.Вебмастер.

Надеюсь данная статья поможет вам с помощью служебного файла .htaccess добиться правильной индексации сайта. Не забывайте включать директиву модуля RewriteEngine On!