Як выкарыстоўваць файл robots.txt з WordPress

1. Віртуальная Файл robots.txt на WordPress
2. Як рэдагаваць Robots.txt з WordPress
3. Як усталяваць WP Robots.txt Plugin
4. Паляпшэнне кантэнту для вашага Robots.txt
5. небяспечны файл
6. Анекдот для SEO падрыхтунчыкаў
7. Як Fine Tune або сінтаксісе robots.txt
8. Адключэнне дынамічнага URL індэксаванне
9. Screencast аб Robots.txt для WordPress карыстальнікаў
10. карысныя спасылкі
11. выснову

Не ведаеце, як выкарыстоўваць файл robots.txt? Верце ці не, гэта адзін з самых важных файлаў з пункту гледжання SEO. Вы павінны выкарыстоўваць файл, каб вызначыць, якія раздзелы сайта павінны і якія не павінны быць даступныя для пошукавых сістэм. Напрыклад, вам не патрэбны каталог WP-адміністратара для сканавання і індэксавання пошукавымі сістэмамі, так як ён прызначаны толькі для ўнутранага выкарыстання. Robots.txt файл звычайны тэкст (.txt), якія павінны быць змешчаны ў каранёвай каталог на сэрвэры, а гэта значыць, што вам трэба, каб змясціць яго ў тую ж тэчку, дзе ў вас ёсць свой вэб-сайт файлы і тэчкі на серверы. Вам трэба канкрэтна называць яго robots.txt. У адваротным выпадку ён не будзе працаваць.

Віртуальная Файл robots.txt на WordPress

WordPress выкарыстоўвае віртуальны файл robots.txt. Гэта азначае, што вы не знойдзеце яго на FTP-серверы, калі вы спрабуеце атрымаць доступ да яго для рэдагавання, так як ён ствараецца дынамічна кожны раз, калі карыстальнік наведвае ваш сайт. Хоць гэта відаць, калі дадаць /robots.txt на свой сайт URL, ён не даступны на сэрвэры, калі вы спрабуеце знайсці яго з дапамогай мэнэджара перадачы файлаў, такія як CuteFTP, FileZilla ці Cyberduck.

Як рэдагаваць Robots.txt з WordPress

У выпадку, калі вы хочаце, каб мець магчымасць канкрэтна рэдагаваць файл robots.txt ўручную, вы павінны ўсталяваць WP Robots.txt убудова , Гэта збіраецца дазволіць вам рэдагаваць файл robots.txt прама ў панэлі кіравання WordPress. Такім чынам, давайце ўсталяваць убудова і паглядзець, як гэта працуе.

Як усталяваць WP Robots.txt Plugin

1. У той час як у прыборнай панэлі WordPress, перайдзіце Убудовы і абярыце Дадаць.
2. Увядзіце WP Robots.txt у тэкставым полі Пошук і націсніце кнопку Пошук убудоў.
3. Выявіўшы убудова, проста націсніце на спасылку Усталяваць зараз. Вы павінны мець ўсплывальнае акно цяпер, што двайныя праверкі, калі вы сапраўды хочаце, каб усталяваць убудова. Проста націсніце кнопку OK.
4. Зараз абярыце опцыю Актываваць убудова.
5. На дадзены момант, вы можаце проста пашырыць выпадальнае меню Налады і абярыце Чытанне адтуль.
6. Цяпер проста знайсці тэкставае змесціва поля Robots.txt. Тое, што поле ўтрымлівае гэты ўтрыманне вашага фактычнага файла robots.txt.

Ўтрыманне вашага WordPress файла robots.txt

Вы павінны мець аднолькавае ўтрыманне па змаўчанні:

User-Agent: * Disallow: / WP-адміністратара / Disallow: / WP-уключае /

Такім чынам, код вышэй проста забараняе ўсе шукальнікі зазьзяў / WP-адміністратара / і / WP-уключае / каталогаў на вашым серверы.

Паляпшэнне кантэнту для вашага Robots.txt

Хоць налады па змаўчанні выканальныя, а таксама, гэта лепшыя практыкі WordPress SEO, каб змяніць іх няшмат, каб ваш файл robots.txt выглядае наступным чынам:

User-Agent: * Disallow: / корм / Disallow: / Trackback / Disallow: / WP-адміністратара / Disallow: / WP-ўтрыманне / Disallow: / WP-уключае / Disallow: /xmlrpc.php Disallow: / WP- Allow: / смецце-ўтрыманне / даданні / Карта сайта: http://example.com/sitemap.xml

Першы радок паказвае, якія менавіта поўзаюць робат або робат вы хочаце мэтавыя. * Ці азначае, што вы нацэленыя на ўсе робаты. Іншымі словамі, вы кажаце: "Гэй, вы ўсё пошукавым робатам, дзейнічаць наступным чынам:».

У якасці альтэрнатывы, вы можаце паказаць на канкрэтныя пошукавыя робат, такія як Googlebot, Rogerbot і г.д. Вы хочаце зрабіць гэта, калі выкарыстоўваюць * зорачку не будзе прызначацца для пэўнага робата для той ці іншай прычыны.

Я асабіста была такая праблема з Roberbot. Вы можаце таксама павінны быць арыентаваны на тое explicitly.So, замест таго, каб:

Агент карыстальніка: *

Вы можаце наладзіць таргетынг на Мос Rogerbot а менавіта:

Агент карыстальніка: Rogerbot

Большая частка коды вышэй проста забараняе доступ да паказаных каталогам (/ трекбек /, / WP-адміністратар /, і г.д.), так як змест гэтых каталогаў не цікавіць ні для наведвальнікаў вашага сайта, ні пошукавых сістэм.

Disallow: / корм / Disallow: / Trackback / Disallow: / WP-адміністратара / Disallow: / WP-ўтрыманне / Disallow: / WP-уключае / Disallow: /xmlrpc.php Disallow: / WP-

Так як вы хочаце, каб мець магчымасць ранжыраваць ў пошукавых сістэмах з кантэнтам, які знаходзіцца ў тэчцы для запампаваных файлаў (такіх як выявы і таму падобных), другі апошнюю радок дазваляе атрымаць доступ да / смеццю-кантэнт / дата загрузкі / каталогу.

Дазволіць: / WP-ўтрыманне / даданні /

І апошняя радок проста паказвае на размяшчэнне файла sitemap.xml, які Google і іншыя пошукавыя сістэмы выкарыстоўваюць для правільнага сканавання вашага сайта.

Карта сайта: http://example.com/sitemap.xml

небяспечны файл

Няправільная канфігурацыя вашага файла robots.txt можа прывесці да быць цалкам нябачным для пошукавых сістэм. Найгоршая канфігурацыя будзе выглядаць наступным чынам:

Disallow: /

Код вышэй забараняе доступ да ўсяго вашаму сайту. Такім чынам, пошукавыя сістэмы будуць індэксаваць НІЧОГА. Проста майце на ўвазе, што вы не хочаце гэтага правіла ў файле robots.txt.

Анекдот для SEO падрыхтунчыкаў

Зірніце на гэты SEO-всезнайка жарт. Зразумела? Гэта сапраўды выдатна! 🙂

Гэты птушаня забараняе ўвесь хлопец. Гэты жарт можа рэальна дапамагчы вам лепш зразумець, як забараніць: / працу. Добра, давайце рухацца далей.

Як Fine Tune або сінтаксісе robots.txt

У выпадку, калі вы хочаце, каб сапраўды наладзіць robots.txt налады, вы можаце ведаць наступнае.

Каб наладзіць таргетынг на пэўны каталог, проста складзеце яго імя з касой рысай. напрыклад / WP-ўтрыманне /.

Disallow: / WP-ўтрыманне /

У мэтах выяўлення канкрэтнага файла, вам проста трэба паказаць шлях да гэтага файла разам з яго імем:

Disallow: /wp-content/your-file.php

Вы можаце паказаць, як, што ўсе віды файлаў:

Disallow: /wp-content/your-file.html Disallow: /wp-content/your-file.png Disallow: /wp-content/your-file.jpeg Disallow: /wp-content/your-file.css

Адключэнне дынамічнага URL індэксаванне

Хутчэй за ўсё, вы натыкнецеся на гэта сапраўды шырока распаўсюджанай праблеме. Вам можа спатрэбіцца адключыць дынамічную індэксацыю URL. Дынамічны URL з'яўляецца той, які змяшчае? пытальнік. Такія URL-адрас могуць прывесці да рознага роду пытанні SEO (дублікат кантэнту, копія тытульнага ліста, і г.д.) і вы хочаце адключыць пошукавыя сістэмы ад індэксацыі старонак з такой URL. Вы можаце лёгка зрабіць гэта з дапамогай robots.txt. Проста дадайце наступны радок:

Disallow: / *?

Screencast аб Robots.txt для WordPress карыстальнікаў

Гэта скринкаст ўзор курсу SEO, што я ў цяперашні час працую. Курс мае права SEO паскораны курс для WordPress карыстальнікаў. Калі вы хочаце быць у курсе, калі ён запушчаны, не забудзьцеся падпісацца на маю рассылку ў канцы паста.

карысныя спасылкі

Robots.txt: Ultimate Кіраўніцтва

выснову

Вы проста не можаце назваць сябе SEO або інтэрнэт-маркетолага па гэтым пытанні, калі вы не знаёмыя з файлам robots.txt, паколькі ён вызначае, як пошукавыя сістэмы бачаць ваш сайт. Абавязкова адрэдагаваць файл robots.txt, толькі калі вы ведаеце, што вы робіце. У адваротным выпадку ваш сайт можа проста знікнуць з Інтэрнэту, і вы нават не будзеце ведаць, чаму.

Там шмат WordPress убудоў, якія дазваляюць апрацоўкі вашага файла robots.txt. Вы ведаеце, што любую працу лепш, чым убудова WP Robots.txt, што я ахоплены на гэтай пасадзе?