Страница 1 из 3

Вопрос про поисковики

Добавлено: 10-май, 17:54
Veteran
Вот сегодня приобрел домен. Вопрос, поисковики будут саминаходить форум или его придется добавлять к ним в каталоги?

Добавлено: 10-май, 18:31
Edward
Они мысли читать не умеют, поэтому находят сайты по ссылкам.

Добавлено: 12-май, 13:54
Petro
Адрес http://***.flyfolder.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.


Регистрация Яндексом была запрещена на нашем сервисе в файле robots.txt?

Добавлено: 12-май, 14:22
Владимир

Добавлено: 12-май, 16:36
rustones
Владимир, Вы зря всех отправляете читать ту тему: там нет ответа на эти вопросы! Индексация многих форумов (в том числе, например -- моего) действительно невозможна из-за запрещения в robots.txt. Обещания снять эти ограничения для "адекватных" сайтов прозвучали ещё месяца три назад, но вот сейчас (только что!) проверил -- опять то же самое...
Хотелось бы, чтобы этот вопрос был уже решён.
Если нужно сделать какую-то заявку на то, чтобы снять этот запрет -- сообщите, куда и как нужно сделать эту заявку.

Или мой форум (тематический, при сайте, с полусотней активных пользователей и почти двумя тысячами сообщений, без спама, без мата и т.д.) -- "неадекватный"? Тогда объясните, в чём же его неадекватность, раз он запрещён к индексации...

Лично я работой форума вполне доволен -- посетители приходят с заглавной страницы моего сайта, и в какой-то особой "раскрутке" форум не нуждается... Но мне обидно за пользователей рунета, которым могли бы быть интересны темы, обсуждаемые на форуме, но поисковики мой форум не находят -- и, следовательно, люди лишаются той информации, которую они ищут...

Добавлено: 12-май, 16:45
Edward
rustones
На одном Яндексе свет клином не сошёлся...

Добавлено: 12-май, 16:47
Veteran
Edward писал(а):
rustones
На одном Яндексе свет клином не сошёлся...


да, но извините, Яндекс - самая популярная система рунета, с которой приходит 60 или больше % людей и терять с нее лишних пользователей, вообще нехорошо!!!

Добавлено: 12-май, 17:12
rustones
Edward писал(а):
На одном Яндексе свет клином не сошёлся...

Согласен; однако в данном конкретном случае проблема не в Яндексе, а в действиях (или бездействии?) администрации нашего сервиса. Файл robots.txt разве Яндексом составлен? :roll:
А запрещает индексацию он, между прочим, не только Яндексу, но и остальным поисковикам...

Повторяю: если есть объективные причины, по которым мой форум не заслуживает того, чтобы он был разрешён к индексации -- то по крайней мере хотя бы скажите, что же это за причины...

Добавлено: 12-май, 17:25
Edward
rustones писал(а):
А запрещает индексацию он, между прочим, не только Яндексу, но и остальным поисковикам...

Ваш форум:
Рамблер
Google
Yahoo!
MSN

Если бы вы посмотрели свой robots.txt, то заметили бы, что там стоит запрет только для Яндекса:
Код: Выделить всё
User-agent: Yandex
Disallow: /

Добавлено: 12-май, 19:12
rustones
Уважаемый Edward,
извините за нудность... но ответа я так и не получил.

В теме, ссылку на которую давал выше Владимир, рекомендуется внести форум в каталог Яндекса. Но, во-первых, я не вижу смысла это делать, так как в каталоге Яндекса уже есть сайт, при котором существует форум; а во-вторых, внесение в каталог всё равно не даст роботу Яндекса возможность проиндексировать форум из-за этой строки в robots.txt (в который я, каюсь, действительно не заглядывал, полагая, что он выглядит как "User-agent: * Disallow: /").

Всё, о чём я прошу -- это дать ответ: что нужно сделать для того, чтобы строчка о Яндексе была убрана из robots.txt.
Причём желательно дать этот ответ не только и не столько мне, а всем остальным, чьи форумы расположены на хостинге flyboard.

(PS Я-то и без Яндекса переживу -- свой форум я привёл просто в качестве примера... Я влез в этот разговор в основном потому, что вопросы на эту тему задаются уже не один месяц, а ответа на него так и нет, и людям, извините, просто морочат голову: "регистрируйтесь в каталоге" и т.п. А на самом деле никто так и не дал ответа на простой вопрос:
Что нужно сделать, чтобы из robots.txt был убран запрет на индексацию Яндексом?)

Добавлено: 12-май, 23:22
Владимир
rustones писал(а):
Владимир, Вы зря всех отправляете читать ту тему: там нет ответа на эти вопросы!

rustones Здесь ответ есть если вам было лень почитать, то объясню вам здесь.

Запрет индексации Яндексом большинства форумов временный!
Как только администрация flyboard удостоверится, что Яндекс индексирует (избранные для теста форумы) корректно то администрация flyboard откроет доступ для индексации всех остальных форумов. Сразу хочу оговорится (высказать мнение) Некоторые форумы (неадекватные) скорее всего не будут индексироваться Яндексом

Когда администрация flyboard примет решение открыть доступ для индексации Яндексом лично мне неизвестно.

Добавлено: 13-май, 00:21
rustones
Владимир, спасибо Вам за ответ.

Ту тему мне не было лень читать -- наоборот, я читал её очень внимательно. В частности, процитирую Вас:

Владимир писал(а):
Это тест! Если Яндекс будет грамотно индексировать данные форумы, то будет открыт доступ для индексации и остальных форумов.


Дата размещения этого сообщения -- 29 марта.
Сегодня уже 12 мая. Прошло полтора месяца. Вроде бы из сообщений пользователей (чьи форумы разрешены к индексации) понятно, что Яндекс всё грамотно индексирует. Но --
Владимир писал(а):
Когда администрация flyboard примет решение открыть доступ для индексации Яндексом лично мне неизвестно.


Вот в этом и вопрос, и проблема. Или полтора месяца мало -- и "обещаного три года ждут"?
Да, все в курсе, что никаких обновлений не предвидится до выхода phpbb3. (Кстати, меня вполне и нынешний движок устраивает). Но я не вижу никакой связи между выходом нового движка и запретом на индексацию Яндексом. У меня лично создаётся впечатление, что администрация попросту забыла об этой проблеме...

Добавлено: 13-май, 00:41
rustones
Кстати, ещё одно.
Запрет на индексацию, насколько помню, был сделан после наплыва спама в форумах. После замены картинки поток спама практически прекратился.

В период наплыва спама и я, и модераторы буквально "не вылезали" из форума, удаляя из него спам. Могу предоставить нехилый список заблокированных IP и адресов электронной почты, а также запрещённые имена наиболее активных спамеров...
Теперь же получается, что из-за тех, кто допустил в своих форумах завал спама, а также из-за тех, кто попросту забросил свой форум, заблокированы и те, кто со спамом боролся?

Добавлено: 13-май, 09:10
Владимир
rustones писал(а):
Теперь же получается, что из-за тех, кто допустил в своих форумах завал спама, а также из-за тех, кто попросту забросил свой форум, заблокированы и те, кто со спамом боролся?

Совершенно верно. Только первоначально все форумы заблокировал Яндекс и только потом чтобы выйти из бана Яндекса администрация flyboard запретила индексацию всех форумов, но открыла для нее доступ нескольким адекватным (популярным) на тот момент форумам. Это было сделано, чтобы Яндекс перестал считать наш сервис помойкой, и относился к нам более серьезно.

Если вам в данный момент нужна индексация Яндекса то воспользуйтесь новым предложением от flyboard ЧИТАТЬ ЗДЕСЬ.

То что администрация flyboard не торопится открыть доступ Яндексу вполне нормальная реакция. Лучше перестраховаться и все проверить, чем открыть всем доступ сразу и все потерять.

Но хочу вам сказать, что администрации flyboard очень выгодно то, что форумы индексируются поисковыми машинами так как именно с них и приходит основной приток посетителей на ваши форумы в результате идет больший показ рекламы на ваших форумах. Так что лично я думаю, что ждать осталось не так долго.

Добавлено: 13-май, 10:14
Petro
Вот я про это и говорю....и не надо винить Яндекс... в том то он запретил регистрацию...., запретил админ сервиса....
а то что много спама...это чушь...потомучто яндекс... регистрирует форумы где всё состоит из спама....

Только первоначально все форумы заблокировал Яндекс и только потом чтобы выйти из бана Яндекса администрация flyboard запретила индексацию всех форумов, но открыла для нее доступ нескольким адекватным (популярным) на тот момент форумам.


значит яндекс и продолжал их индексировать....

просто поймите тоже правильно....с Яндекса поток пользователей намного выше чем с Рамблера....
и лично мне нехочеться терять пользователей