Шаг №47.Как избавиться от дублирования контента на сайте?Создаем файл Robots.txt для блога.

Привет ребят.Сегодня я Вам предлагаю ознакомиться со статьей, которая поможет избавиться от дублирования контента и создать корректный файл Robots.txt для сайта или блога на wordpress.

Всю статью я могу разбить на несколько частей:

  • Что такое дублированный контент?
  • Откуда берется дублированный контент?
  • Санкции поисковых систем в случае обнаружения дублей страниц.
  • Как найти дублированный контент на сайте?
  • Как избавиться от дублей страниц на сайте?

Что такое дублированный контент?

Дублирование контента – это проблема для Веб мастеров. Что за странное утверждение? Может возникнуть резонный вопрос.А вот и не странное.Обычно дублирование контента возникает вследствие неправильно настроенной CMS.Также дублирование контента может возникнуть вследствие кражи материала с Вашего сайта, и последующее размещение краденного контента на другом сайте.

Давайте для начала разберемся с самим термином дублирование контента, после чего посмотрим как найти дублированный контент на сайте, и в завершение попробуем решить как не допустить появления дублей на Вашем сайте.

Дублирование контента — простыми словами это можно объяснить, когда один и тот же материал на сайте встречается под различными адресами веб страниц.

Существует два вида дублирования контента — это четкие дубли и нечеткие дубли.Давайте рассмотрим каждый из этих вариантов.

Четкие дубли могут возникнуть на сайте если у странички есть несколько ее копий, например страница для печати, или страничка адаптированная для просмотра с мобильных устройств. Что объединяет все эти странички? Одна и та же информация, доступна по различным URL адресам. Представьте ситуацию когда посетителю Вашего сайта понравилась информация на Вашем сайте, и он решил поставить на Ваш сайт ссылочку.

Нечеткие дубли – появляются вследствие устройства движка WordPress.Например когда Вы пишите статью на сайт и впоследствии ее публикуете, на главной странице появляется анонс статьи,и как Вы уже догадались нечеткий дубль(Часть текста присутствует и на главной страничке и на странице оригинала статьи). Также большинство новичков начитавшись материалов в интернете спешат делать анонсы своих статей в социальных сетях, и социальных закладках, тем самым создавая дополнительный дублированный контент в виде нечетких дублей.

Также дублирование можно еще классифицировать как:

Внутренние дубли – дубли страниц в пределах Вашего сайта.

Внешние дубли – соответственно часть Вашего контента, может присутствовать на сторонних сайтах.

Откуда берется дублированный контент?

После того как мы рассмотрели какие виды дублированного контента существуют предлагаю ознакомиться со схемой откуда берется дублированный контент.

Дублирование контента на сайте

Смотрите, все дубли которые появляются на главной странице сайта, на странице тегов,рубрик,архивов, в поиске,  также в постраничной навигации можно отнести к нечетким внутренним дублям, так как только часть статьи дублируется, и весь контент размещен в пределах Вашего сайта.

А вот дубли отмеченные жирными стрелочкам – это внешние дубли, и они могут разделяться на четкие дубли (в результате кражи статьи) и нечеткие дубли (если статью Вы про анонсировали на сервисах анонсах или в социальных сетях.

Санкции поисковых систем в случае обнаружения дублей страниц.

Поисковые системы очень тщательно следят за наличием уникального контента на сайтах занимающих топовые места в результатах поисковой выдачи.

Санкции поисковых систем могут быть неутешительными, начиная от занижения позиций Вашего сайта в самих поисковых системах,и вплоть до полного выкидывания из индекса целых страниц Вашего сайта.

Как показано на схеме выше, если не избавляться от дублирования контента, тогда можно получить 9 копий одного и того же контента, и вследствие чего нарваться на санкции поисковых систем.А оно нам надо?Абсолютно нет! Следовательно нам необходимо найти дублирование контента, и исключить дубли страниц на сайте.

Как найти дублированный контент на сайте?

Вот,вот он вопрос,который я уже не раз видел в письмах приходящих ко мне на почту. Спешу поделиться одной технологией, при помощи которой я нашел дублированный контент на своем сайте.

Открываем поисковую систему, неважно Google или Yandex, и вводим часть предложения из Вашей статьи, желательно которая уже проиндексирована поисковыми системами.И смотрим, если в результатах поиска появляется только одна ссылка на Ваш сайт, значит проблемы дублирования на Вашем сайте нет.Так как я 2 месяца назад провел комплексную работу над сайтом, и позакрывал все дубли страниц,теперь в поисковой выдаче присутствует только одна ссылка на мой блог.

Дублирование контента на сайте

Ну а если у Вас не так, и в поисковой выдаче появляется 2 и больше ссылки,значит пора срочно переходить к следующему шагу и запрещать дублированный контент в файле robots.txt

Как избавиться от дублей страниц на сайте?

Переходим к самому интересному,сейчас я расскажу как я избавился от дублей страниц.Первым делом  необходимо создать файл robots.txt .

Файл robots.txt необходим поисковым системам для того, что бы они знали какую информацию на Вашем сайте можно индексировать, а какую следует обходить стороной.

Создайте у себя на диске файл robots.txt и откройте его на редактирование.Добавьте вот эти строки:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: впишите сюда свой адрес сайта
Sitemap: http://путь к вашему сайту/sitemap.xml.gz
Sitemap: http://путь к вашему сайту/sitemap.xml

Это самый стандартный файл robots.txt для wordpress.Но я свой файл robots.txt немного модифицировал и исключил архивы,теги,страницы поиска,категории и рубрики директивой Disallow.

Директива Disallow говорит поисковым системам, что этот раздел не нуждается в индексировании, и исключает уже существующие страницы из поиска.

Теперь мой файл robots.txt выглядит так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /step/.....
Disallow: /go
Disallow: /goto
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Host: wpcreate.ru
Sitemap: http://wpcreate.ru/sitemap.xml.gz
Sitemap: http://wpcreate.ru/sitemap.xml

После сохранения файла robots.txt загрузите по ftp на сервер в корень сайта.После загрузки он должен быть доступен по адресу http://адрес-сайта/robots.txt .Теперь для того что бы проверить осталась ли проблема дублирования контента, заходим на страничку где могут возникать дубли, например рубрики или категории.Например у меня категория Хостинг, и копируем ссылку на данную категория.И если Вы все еще не зарегистрировались в сервисе Яндекс.Вебмастер то очень срочно регистрируемся, добавляем свой сайт. Ну а если зарегистрированы  переходим на вкладку Настройка индексирования->Анализ robots.txt

Дублирование контента на сайте

И нажимаем кнопку загрузить Robots.txt с сайта.

Дублирование контента на сайте

Нажимаем на кнопочку (добавить/скрыть) и добавляем адрес URL который мы будем проверять.Жмем проверить.

Дублирование контента на сайте

И наблюдаем результат:

Дублирование контента на сайте

Вот таким образом можно избавиться от дублей страниц на сайте.Кстати после закрытия от индексации дублей заметил не слабый рост посещаемости, а значит польза от моих действий есть.Спасибо за внимание, надеюсь статья для Вас полезна и актуальна.И в конце как обычно небольшое голосование.

Полезна ли для Вас статья о дублировании контента?

  • Майя

    Артем, спасибо, дождалась наконец этого урока. И сразу вопрос: как будет лучше, сделать стандартный файл robots.txt или такой как у Вас? От чего это зависит?

    • http://wpcreate.ru Артем Петрусенко

      Можно как у меня, главное все проверять в Яндекс.Вебмастер ,для того что бы лишнее ничего не закрыть от индексации.А ну и поменять на свои значения HOST И SITEMAP.

      • http://www.mip4you.ru i4

        =) эй! а не проще в ПС набирать не «дрататень всякую с сайта типа текста», а прописать в ПСе следующее site:mip4you.ru ( на примере моего сайта http://www.mip4you.ru),- т.е. www не прописывать. По этой команде сразу можно увидеть дублежи =) и да! мне нравятся дубляжи сайта… Это увеличивает трафик посещаемости сайта, если таковой написан на хтмл-е… т.к. ПСроботы знают только хтмл,икс_хтмл,икс_мл и т.д. ини не индексируют ни джаву, ни пхп!… У меня по три счетчика на каждой страници от каждого каталога-типа 3штуки от Яметрики и Рамблера и т.д. Один только Гугл понимает, что все это дубляж и корректно работает и показывает «правильный» трафик сайта. СПС всем!

        • http://wpcreate.ru Артем Петрусенко

          Да, конечно проще! Ну а по поводу того как могут дубли увеличить посещаемость я даже не знаю.У каждого есть свои причины считать по своему, мои причины основаны на моих наблюдениях.

          • Миха

            Тоже слышал, что когда есть дубли, посещаемость чуть больше. но в глазах пс сайт выглядит хуже. Такой парадокс ❗

  • http://profstocker.ru Александр Профстокер

    Артем, спасибо за урок, но я не очень силен в сайтостроении, поэтому вопрос:
    А сколько будет стоить, если вы сделаете робот.тхт? (можно на почту ответить)

    • http://wpcreate.ru Артем Петрусенко

      Я могу помочь бесплатно)

    • http://subge.narod.ru Геннадий Павлович

      Уважаемый, Артем!!! Огромное спасибо !!! Но дело в том, что я настоящий старый (73 года) чайник, а взялся за такое сложное дело, как раскрутка сайта. Захотелось быстрее довести до людей информацию о том, как избавиться от 150 заболеваний без медикаментов — и сел в «лужу». Наделал много сайтов и рекламировал везде , где было возможно. А результат? Страница «Остеохондроз» не индексируется, да и другие страницы тоже, кроме главной страницы. Прошу помощи. По образованию я электромеханик и очень тяжело и трудно разбираться со всеми препонами. которые возникают по пути к цели. Может сделаете это файл robots.txt и общими усилиями мы доведем до людей эту информацию. Если надо уплачу по возможности пенсионера.Геннадий Павлович

  • Майя

    Как исправить ошибку: код 404 вместо кода 200, которая появляется при проверке яндексом прав на сайт? Без этой процедуры сайт не добавляют.

    • http://wpcreate.ru Артем Петрусенко

      404 код — это ошибка возникает когда адреса по которому Вы ссылаетесь не существует, нужно проверить ссылки на сайте, и удалить ссылки которые ссылаются на несуществующие страницы.
      Код 200 — это когда загрузка страницы произведена успешно.

  • Майя

    Нашла ссылку на несуществующую страницу, проверила URL в яндексе — «Анализ robots.txt», и вот такой результат: этот URL не принадлежит вашему домену. Но у меня есть эта страница, так почему она не пренадлежит?
    Поставила плагин Broken Link Checker, он нашел еще одну ссылку, но уже другую, удалила, а ошибка при проверке прав в яндексе таже. Причем адресс страницы ошибка 404 http://адресс сайта /yandex_5131fc54546c9c83.html., где yandex_5131fc54546c9c83.html. — это название файла HTML, который я скачала в яндексе и загрузила в FTP. Уже пробовала и в текстовом файле, но результат тот же.

    • http://wpcreate.ru Артем Петрусенко

      Извиняюсь, я немного не про то подумал, тот файл что дал яндекс необходимо загрузить в корень сайта.Тогда все будет ок.Вы наверное тот файл загрузили не в корень, прошу отписаться получилось или нет.

      • Майя

        А в корень это в какую?

        • Майя

          Кажется, поняла, на хостинге «Украина» эта папка называется www. Сейчас попробую загрузить туда.

          • Майя

            Артем, спасибо, все получилось!

  • Майя

    Аретм, что делать если дублируеться описание сайта (это то, которое расположено на главной), например у Вас это: Создание и продвижение сайта на WordPress с нуля для новичка. Это считается дублированием?

  • http://remontnik.freeiz.com Fed

    А мне вот что пишет после проверки в яндексе
    7:

    Синтаксическая ошибка

    8:

    Обнаружена неизвестная директива

  • http://islandlife.ru Sorus_Nomad

    Здравствуйте! У меня сложилась проблемка (ну пока не проблемка, а просто ситуация) с частичным внутренним дублем инфы. Может один абзац дубля (в 2-3 катеориях) еще не повод волноваться? В инструкции от Гугла сказано, что ПС может сам выбрать ОДИН вариант. Но у меня пока все три варианты…
    Заранее спасибо за ответ! Спасибо за публикацию!

    • http://wpcreate.ru Артем Петрусенко

      Ну я закрыл от индексации все категории, теги, архивы, у меня в индексе только главная и страницы, и записи.

      • Sorus_Nomad

        Тег «каноникал» может помочь? Как праильно его использовать и где именно прописывать (сори если не совтем по теме). Просто не часто отзываються помочь — а я в этом «зеленый»

        • http://www.tea-coffe.com Дмитрий

          тег каноникал указывает гуглу каноническую (главную) страницу. Что бы гугл обращал внимание только не нее. Его прописывают в коде на странице, которую не нужно учитывать ПС.
          Вот, например у меня есть 2 страницы http://dec-edu.com/about-77.html и http://dec-edu.com/page.php?id=77
          я хочу что бы гугл учитывал только эту http://dec-edu.com/page.php?id=77
          В коде этой страницы http://dec-edu.com/about-77.html я прописываю

  • http://www.tea-coffe.com Дмитрий

    А авторов закрыть?
    Disallow: /author/*

    • http://wpcreate.ru Артем Петрусенко

      Совершенно верно!

  • http://uristko.ru Александр

    Добрый день, Андрей!
    Не пойму в чем дело — загружаю файл robots.txt с примерно Вашими настройками в корневую папку, а при загрузке страницы http://uristko.ru/robots.txt пишет:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: http://uristko.ru/sitemap.xml.gz

    и яндекс также определяет. В чем дело?

  • http://uyutnidom.com Валентина

    Здравствуйте, Артем. Судя по всему у меня дублирующихся страниц рекордное количество. Я провела анализ, по вашей подсказке и на статью пришлось 7 штук. Кроме того, гугл быстрее всего индексировал сайт по используя разные url. Выставляю без www, зайду опять в веб- мастер, опять все по старому. Вопрос: если я установлю ваш robots.txt то страницы пропадут из индекса? Или нужно после этого пройти оптимизацию базы данных? Так же меня интересует, за что отвечают в вашем файле
    Disallow: /go
    Disallow: /goto
    Disallow: /step/…..
    При проверке в веб-мастере яндекса, мне было написано, что термин /step/….. взят ошибочно.
    Вы правильно заметили, что новички, к которым отношусь и я, занимаются распространением своего контента для привлечения на сайт. Получается, что борясь за посещаемость, мы подталкиваем свой сайт к бану. Как же тогда быть? И почему, такие разноречивые советы мы получаем. Хотелось бы хоть какой ясности.

  • Денис

    вопрос на засыпку, а как будет обстоять дело с тем, что статья расположена в двух, а то и трёх рубриках одновременно?

    • Денис

      как-то мой вопрос, остался без внимания(((

  • Ирина

    Здравствуйте, большое спасибо за статью, очень полезная и информативная. Скажите, пожалуйста, я на блоге в ВордПресс хочу создать страничку с цитатами известных людей. Будут ли поисковики их рассматривать как дублирование контента или нет? Дублированный контент — это сколько — одно предложение, три , абзац, страница? Ведь наверняка с Инет пронизан одинаковыми предложениями на различных сайтах и НЕ потому, что кто-то что-то у кого-то перекопировал. Просто многие простые фразы могут повторятся разными людьми (типа за мир вл всем мире), а они даже не подозревают об этом. Спасибо заранее

  • http://schrack-technik.com.ua Кирилл

    Доброе утро Артем, хорошего настроения.
    Успехов в ваших начинаниях.
    У меня вопрос мне понадобилось, вернутся к этому уроку:
    но о ужас возникла проблема не смог найти ваш вариант robots.txt,
    так как часть статьи была нагло спрятана. ГОВОРЮ ВАМ СРАЗУ ЭТО НЕ УДОБНО, И ОТПУГИВАЕТ ПОСЕТИТЕЛЕЙ: К ПРИМЕРУ МЕНЯ.

    • http://wpcreate.ru Артем Петрусенко

      Приветствую Кирилл, мой файл robots.txt можно посмотреть по адресу http://wpcreate.ru/robots.txt а какая часть статьи была спрятана?

  • http://ncuxolog.astrakraft.ru/ Светлана

    Добрый день, Артем. Загрузила файл как у Вас. Проверяю в яндексе — разрешен, возможно был использован недопустимый символ Disallow: /step/�..
    Вернулась сейчас к Вашей статье по причине того, что программа Плагиат выдает на мои статьи нулевую уникальность, которая изначально была высокой. Вот я думаю: проблема в дубляжах или скопировали тексты. Относительно скопировали есть сомнения, потому что у сайта очень низкая посещаемость, практически нулевая.
    А пробовала вставлять текст в поиск, он не выходит, появляются другие по совпадению в некоторых словах.
    Пробовала также, как написал гражданин i4, выдает 12 страниц с ссылками на сайт.
    Может, я что-то не так сделала?

    • http://wpcreate.ru Артем Петрусенко

      Светлана, ну для начала попробуйте сделать как я описал в уроке, как не допустить кражу контента

      • http://ncuxolog.astrakraft.ru/ Светлана

        Это я уже сделала в гугле, в яндексе индекс меньше 10. За этот урок спасибо.

  • http://ncuxolog.astrakraft.ru/ Светлана

    Нашла я все-таки дубль страницы одной по тексту.
    Извините за назойливость, Артем, но как избавиться от дублей, если файл robots загружен, а в поиске выходят 2 ссылки?

    • http://wpcreate.ru Артем Петрусенко

      Светлана, не совсем понятен вопрос. 😐

      • http://ncuxolog.astrakraft.ru/ Светлана

        Копирую небольшую часть текста на одной из страниц, вставляю в поиск, выходит 2 одинаковые ссылки — то, что Вы писали в этом уроке, хотя если файл robots загружен такого быть не должно, как я понимаю. Получается robot разрешает дублирование?

  • http://domohozjaiki.ru Людмила

    Здравствуйте, Артём! У меня такая проблема: в Яндекс Вебмастере, в исключенных страницах, в ошибках 404 появилось неделю назад 14 ссылок — сайт/статья/admin Скажите,пожалуйста, откуда могли появиться ссылки такого вида и как избавиться от этих ошибок? В robots.txt прописала Disallow: */admin ещё неделю назад, сразу же после появления ошибок. А сегодня появилось ещё больше таких ссылок. Как мне от них избавиться? Возможно, вы уже сталкивались с такой проблемой?

  • http://uyutnidom.com Валентина

    Артем, а у меня сложилась такая ситуация. Ситемап запрещен роботом, хотя как это может быть не пойму. Так как яндекс мне об этом не пишет, а только гугл. Кроме того, при проверке есть ссылки, которые не находит гуглбот. Удалить эти ссылки?

  • http://ncuxolog.astrakraft.ru/ Светлана

    Артем, добрый день. Сделала файл как у Вас. С тех пор количество проиндексированных страниц яндексом у меня не изменяется, хотя я опубликовала уже достаточно статей. С чем это может быть связано?

    • http://wmrzarabotok.ru/ роман

      Здраствуйте, Артем, у меня дублированых страниц появилось много из за того что перешел на ЧПУ адреса страниц. Оно со временем пройдет(старые выпадут из индекса) или нужно что то делать? И много дублей с словами архив. Это поможет исправить? http://otvetnayti.ru/internet/saitostroenie/wordpress/kak-ubrat-stroku-arxiv-v-wordpress-dly-rubrik.html

  • http://burvodpolimer.ru Михаил

    при проверки робота вставлял и обычного и вашего но в итоге в яндексе в поле результат все равно светиться «разрешен» 😐 что делать ? или так и должно быть ??

  • http://www.genapa.ru Мария

    Артем, огромное тебе спасибо за статью. Вот уже несколько месяцев я искала как же все-таки правильно составить robots.txt файл. Перечитала много статей на эту тему. Но только сегодня я нашла именно то что нужно. 😉

  • http://lyublyu-shit.ru/ Людмила

    Артем, захожу к вам на сайт и нахожу очень много полезного для себя. Некоторое время назад я скопировала ваш файл роботс (с заменой на название своего сайта). У меня были дубли страниц в поисковике. Через время все мои проиндексированные страницы, которых было немало на двух сайтах вылетели из индекса гугла и яндекса, т.к. страницы были закрыты файлом роботс (об этом было написано в вебмастере). Об этом я узнала только 2 дня назад. Ваш роботс только для ЧПУ ссылок? У меня урл остались по умолчанию. Сейчас я роботс заменила. Как мне быстрее вернуть свои страницы в индекс?

  • http://prostvkus.ru/ Анна

    Здравствуйте, Артем! Добавила вчера файл robots.txt, такой же как у вас. Но сегодня все равно — ввожу одно и то же предложение из своей статьи — Яндекс вообще мой сайт не видит, а в Гугл вылезает сразу 4 страницы, хотя, по идее, я две из них — страницы тегов, а я их закрывала… Какое-то время должно пройти, чтобы все заработало, или я что-то неправильно сделала?

    • http://wpcreate.ru Артем Петрусенко

      Здравствуйте Анна, ну конечно же должно пройти определенное время пока Ваш сайт переиндексируется поисковой системой, и это как правила занимает определенное время, ну уж точно не 1 день или 2.

  • http://yoga-kiev.com/ Ярослав

    Артем, скажи пожалуйста, есть ли разница в том случае, когда после команды стоит / или его там нету (как в твоем случае)? И что означают:
    Disallow: /step/…..
    Disallow: /go
    Disallow: /goto

    Спасибо

  • http://www.receptisfotkami.ru Sanya

    Артём привет! Подскажи, будет ли данный роботс актуален для кулинарного сайта? http://www.receptisfotkami.ru/robots.txt Спасибо

  • http://tmb-city.ru Sasha

    Как больше года назад скопировала шаблон файла роботс.ткст. у одной не сильно хорошей школы блоггеров, так и забыла про него. А теперь вот начинают поисковые системы ругаться. Переискала уже материалы многих сеошников по теме удаления. Все пишут одно и то же и никакой конкретики, что-то через Вебмастера пытаются искать и удалять, а дело-то наверняка в роботсе. Только у вас по-человечески написано. Проверила: категорию точно не скрыты, оказывается… Н-да, не СтартАп, а полное фуфло, хотя я это уже через месяц занятий там поняла:).
    Артем, большое спасибо за отличную статью. Надеюсь, ваш роботс.ткст избавит меня от дублей и хорошо повлияет на продвижение

  • http://israel-eilat.ru/ Сергей

    Уже несколько раз решение вопросов по своему сайту нахожу именно на Вашем блоге. Толково, по делу, без воды. Вот и в этот раз благодаря Вам получилось быстро побороть дубли. Спасибо!

  • http://1000-k.ru/op/1680 Михаил

    Здравствуйте, Артем! Вы затронули очень важную и очень актуальную тему на сегодняшний день.

    У большенства блоггеров возникает сейчас проблема с тем, что сайт продвигается в поисковиках до определенного момента, а потом все — ступор! Пишем, пишем статьи, а результата не видим. Как была посещаемость, например, в 500 чел, так и осталось. А то еще хуже — падать начинает.

    В чем же дело? А все дело оказывается в дублях. Вот и на Вашем сайте, Артем, есть дубли replytocom, которые ОЧЕНЬ портят жизнь блогу. Посмотрите в своих комментариях на ссылку «Ответить» в новом окне. Вы увидите что там адрес статьи с НЕНУЖНЫМ хвостом. Этот хвост говорит о том, что это страница-дубль.

    Как избавиться от этой заразы очень подробно и четко написал один очень популярный блоггер. Если автор пропустит, то вот ссылка на эту статью: http://1000-k.ru/op/1605. Эта очень убойная информация, которая откроет глаза ОЧЕНЬ многим блоггерам.

    Я не хочу ничего и ни кого пиарить, но тема очень важная, поэтому и пишу об этом. Но это еще не все причины, которые мешают нормально развивать блог. Кроме названной есть еще как минимум две. Обо всем в комментарии не напишешь, лучше посмотреть первоисточник.

  • Сергей

    Здравствуйте,
    проблема следующая.
    Как запретить индексирование директорию /archive

    Пробовал прописать в файл robots.txt /archive но при проверке url в webmaster — разрешает индексацию.

    • Сергей

      +
      стоит -ли закрывать от индексации директории
      /page/
      /2010/
      /2011/
      /2012/

      итд?

      • http://opa4ki.ru vektor48

        page закрывать стоит а вот 2011 2012 2013 2014 не стоит….пропадут из поиска все записи в блоге по годам

  • http://behoof.ru анна

    подскажите делаю все по инструкции но робот выдает разрешен а не запрещен правилом, а SITEMAP. отдельно надо создавать??