Боты с поисковиков
Добавлено: 04-июн, 12:48
Недавно нашел интересный сайтик: http://adv.keyb.ru/stat и оказалось что гугл и яндекс меня не знают, а рамблер знает почти все темы.. как это понимать?
Edward писал(а):Site-Auditor
fireball-777 писал(а):гугл и яндекс меня не знают, <...> ...как это понимать?
User-agent: *
Disallow: /all_emoticons.php
Disallow: /archive.php
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /index.php?c=
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /viewforum.php
Disallow: /viewtopic.php
Disallow: /modcp.php
Disallow: /post_report.php
Disallow: /reputation.php
Disallow: /admin
Disallow: /admin/
Disallow: /go.php
User-agent: Yandex
Disallow: /