Yandex ввел новый параметр для robots.txt — Clean-param. Он позволяет "вычищать" из ссылок ненужные параметры, такие как рефералы и идентификаторы сессий.

Как известно, в phpBB есть параметр sid в путях ссылок. Расшифровывается он как session-id, и нужен для идентификации сессии. При правильной настройке форума sid появляется всего один раз при первом заходе пользователя на форум. Однако и этого бывает достаточно, чтобы оставить где-нибудь ссылку со своим sid, которую впоследствии проиндексирует поисковый бот. Либо же сам бот получит при заходе на форум свой sid.

Теперь же, благодаря новому параметру, у нас появилась возможность избавиться от повторной индексации одних и тех же страниц, но с разными sid. Правда только для Яндекса.

Для этого нам придется отредактировать наш robots.txt. Он находится в корне сайта/форума — например http://fladex.ru/robots.txt. Открываем файл на редактирование и добавляем такие строки:

Clean-param: sid /путь_к_форуму/index.php
Clean-param: sid /путь_к_форуму/viewforum.php
Clean-param: sid /путь_к_форуму/viewtopic.php
Clean-param: sid /путь_к_форуму/faq.php
Clean-param: sid /путь_к_форуму/memberlist.php
Clean-param: sid /путь_к_форуму/ucp.php

Где путь_к_форуму — это путь к папке с форумом. То есть если у вас форум находится непосредственно в корне фтп, то ничего писать не нужно, если же, к примеру, в папке forum, то "путь_к_форуму" меняете на "forum".

Более подробно почитать о директиве clean-param можно на сервисе Яндекс.Вебмастер.