Советы по заработку в интернете на сайте и не только:

  • Лучший заработок 2017 года на Бирже Криптовалют №1 RU - купить/продать Bitcoin
  • Лучший заработок 2017 года на Бирже Криптовалют №2 RU - купить/продать Bitcoin
  • Лучший заработок 2017 года на Бирже Криптовалют №3 RU - купить/продать Bitcoin
  • Выгодная регистрация доменов, хостинг, скидки.
  • Купить Уникальный контент для сайта оТ 7 Рублей 1000 знаков
  • Купить домены - с Тиц 20+ и PR 3+ от 300 Рублей 1 Шт.
  • Заработать на продаже ссылок в MainLink
  • Заработок на бирже Etxt, без сайта.
  • Заработать на продаже ссылок в Linkfeed
  • Заработок на биржах статей без сайта
  • Надежный хостинг для сайта!
  • Заработать на ссылках в Setlinks
  • ПОЧЕМУ ЧЕРТОВ ЗВЕРЬ ROBOTS.TXT ДОЛЖЕН БЫТЬ ПРАВИЛЬНЫМ?

    Сегодня я бы хотел Вам рассказать про чужеродный новичкам файл robots.txt. Почему я решил вам написать про него? Да потому что когда сам с ним столкнулся (точнее с его отсутствием), получил дозу геморроя на ближайшие полчаса. Поясню проблему:

    Так как у меня не было файла robots.txt, я ввел в поиск запрос следующего типа: “где взять файл robots.txt” и “как создать файл robots.txt”. Самое удивительное то, что на всех первых сайтах, которые мне выдал поисковик, я нашел все что связано с файлом robots.txt, но никак не ответ на мой вопрос!

    В связи с этим хочу внести ясность для тех, кто также столкнулся с подобной проблемой. Хотя файл robots.txt и должен находиться в корневой папке вашего сайта (если точнее, то в той папке,  где находятся папки wp-admin, wp-content, wp-includes и т.д.), это не означает, что это так и есть. Чтобы его в эту папку поместить, нужно его для начала создать. Для каждого пользователя он свой и редактируют его исходя из своих целей, но можно создать образцовый, так сказать эталонный файл robots.txt с помощью любого текстового редактора с расширением txt, к примеру Notepad++ либо стандартного Блокнота. Robots.txt работает просто великолепно. Но для начала поясню, для чего, собственно, этот файл нужен.

    ROBOTS.TXT ДЛЯ WORDPRESS

    Зачем же нужен файл robots.txt? Его функция как никогда полезна – это продвижение сайта в поисковых системах? улучшение индексации сайта. Т.е. составление robots.txt – это одна из составляющих поисковой оптимизации сайта.

    Одна из функций этого файла запрещает индексации бесполезных страниц сайта. Помимо этого в нем задается адрес карты сайта sitemap.xml и прописывается главное зеркало сайта (сайт с www или без www).

    Хочу отметить, что для поисковых систем один и тот же сайт с www и без www – это абсолютно разные ресурсы. Но проштудировав и поняв, что содержимое этих сайтов одинаковое, поисковики как бы объединяют их. Чтобы такого не происходило,  важно прописать главное зеркало вашего сайта в robots.txt. Чтобы узнать, какое зеркало у вас считается главным , введите адрес своего сайта в браузере с www, если вас автоматически перекинет на тот же сайт без www, значит главным зеркалом вашего сайта будет являться зеркало без www.

    Пример:

    Мы вводим в адресатку название сайта с www.

     

    Если главное зеркало без www, то при переходе на сайт надпись www автоматом удалится.

     

    Правильный файл robots.txt вы можете увидеть ниже.

    Правильный Robots.txt для WordPress:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: gde-dohod.ru
    Sitemap: http://gde-dohod.ru/sitemap.xml.gz
    Sitemap: http://gde-dohod.ru/sitemap.xml

     

    Ваша задача:

    • скопировать вышеупомянутый код и вставить в ваш созданный в текстовом редакторе файл txt;
    • не закрывая файл, сразу же изменить адрес gde-dohod.ru на адрес своего собственного сайта (в последних трех строчках файла) и сохранить;
    • далее обозвать этот файл словом “robots”, чтобы цельное название получилось robots.txt;
    • теперь перенесите этот файл в корневую папку вашего сайта (ее путь я уточнил в начале статьи).

    Все, готово. Надеюсь, вы без проблем справились с этой задачей.

    Как вариант, для ускорения сего процесса вы можете просто скачать robots.txt  и также там изменить последние три строки.

    ВАЖНО: этот вариант подходит только для тех пользователей, кто поставил на свой блог ЧПУ! Чтобы было понятнее, ЧПУ – это система Числового Программного Управления, созданная для удобства восприятия веб-адреса человеком (а также систем и методов построения таких адресов). Проще говоря, с помощью этой системы URL-адреса выглядят более дружелюбными в наших глазах, а также в глазах поисковых систем. В последнее время практически все ставят ЧПУ на свой сайт. Если же вы об этом слышите впервые, то советую вам поскорее ее поставить.

    КАК ПОСТАВИТЬ НА СВОЙ БЛОГ ЧПУ?

    Делается это следующим образом:

    • заходите в панель управления WordPress – Параметры – Постоянные ссылки;
    • вместо стандартной настройки “По умолчанию” выбираете поле “Произвольно” и вставляете туда код: /%category%/%postname%.html;
    • сохраняете изменения.

    Чтобы проверить правильность файла robots.txt, зайдите на сайты Google и Яндекс и следуйте их дальнейшим инструкциям. Думаю, что никаких осложнений там возникнуть не должно.

    На этом пока все. Если возникнут вопросы, оставляйте их в комментариях.

    Навигация

    Свежие записи
    Яндекс.Метрика

    © 2017 Онлайн-журнал "Территория инфобизнеса".