Сессии в url и индексация Яндексом
Yandex ввел новый параметр для robots.txt — Clean-param. Он позволяет «вычищать» из ссылок ненужные параметры, такие как рефералы и идентификаторы сессий.
Как известно, в phpBB есть параметр sid в путях ссылок. Расшифровывается он как session-id, и нужен для идентификации сессии. При правильной настройке форума sid появляется всего один раз при первом заходе пользователя на форум. Однако и этого бывает достаточно, чтобы оставить где-нибудь ссылку со своим sid, которую впоследствии проиндексирует поисковый бот. Либо же сам бот получит при заходе на форум свой sid.
Теперь же, благодаря новому параметру, у нас появилась возможность избавиться от повторной индексации одних и тех же страниц, но с разными sid. Правда только для Яндекса.
Для этого нам придется отредактировать наш robots.txt. Он находится в корне сайта/форума — например http://fladex.ru/robots.txt. Открываем файл на редактирование и добавляем такие строки:
Clean-param: sid /путь_к_форуму/index.php
Clean-param: sid /путь_к_форуму/viewforum.php
Clean-param: sid /путь_к_форуму/viewtopic.php
Clean-param: sid /путь_к_форуму/faq.php
Clean-param: sid /путь_к_форуму/memberlist.php
Clean-param: sid /путь_к_форуму/ucp.php
Где путь_к_форуму — это путь к папке с форумом. То есть если у вас форум находится непосредственно в корне фтп, то ничего писать не нужно, если же, к примеру, в папке forum, то «путь_к_форуму» меняете на «forum».
Более подробно почитать о директиве clean-param можно на сервисе Яндекс.Вебмастер.