獵搜網絡:提供整站SEO外包、百度優化推廣、關鍵詞按天扣費、網絡推廣等服務,堅持白帽SEO化,排名穩定【不到首頁不收費】 QQ:1485754722 電話:153-1216-2151

SEO優化細節之詳解robots的寫法

seo優化 admin 瀏覽 評論
  網站只有上線后,讓搜索引擎收錄后才會有排名,但是如何上線前一些細節沒做好的話,就會產生很多不好的影響,上線前要對根目錄的文件robots,寫好協議,就是其中的一個細節,無錫seo帶你來了解一下。
SEO優化細節之詳解robots的寫法

  robots是什么呢?

 
  百度蜘蛛在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件(蜘蛛爬行網站的第一個要訪問的文件),這個文件用于指蜘蛛在你網站上的抓取范圍。
 
  如果你未對robots.txt文件進行修改,那么蜘蛛在爬行網站時,也會爬行你的后臺。包括你的JS、CSS文件也就等于說你的網站在蜘蛛面前就是一個透明的。
 
  爬行了后臺,有什么后果呢?有不懂的小伙伴可能會問到
 
  如果蜘蛛爬行了你的網站后臺,那么就收錄了的網站后臺的地址了。
 
  然后在百度搜索的時候,搜索引擎有可能把你的后臺搜索出來,后果可想而知。稍稍有點駭客技術的朋友,分分鐘攻入你的后臺,這還不可怕嗎?
SEO優化細節之詳解robots的寫法

  robots一般格式

 
  User-agent: * 定義禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。
 
  *號代表全部搜索引擎
 
  Disallow:不允許抓取收錄
 
  例:后臺名稱為 dede,那么我不想蜘蛛訪問就這樣寫:/dede/
 
  "/" "/ "精準匹配
 
  "/ " 廣泛匹配
 
  "$" 匹配行結束符
 
  "*" 匹配0或多個任意字符
 
  Allow(準許抓取,一般不會寫,默認就可以了,當然有特殊要求可以去寫)
 
  #:注釋
 
  升級知識
 
  屏蔽目錄禁止抓取
 
  屏蔽蜘蛛抓取根目錄下的inc文件夾及里面的所有內容,根目錄下的wap目錄下的index.html文件。
 

  robots.txt寫法:

 
  User-agent: *
 
  Disallow:/inc/ (禁止抓取inc文件夾里面的內容)
 
  Disallow:/wap/index.html(禁止抓取wap目錄下的index.html文件)
 
  屏蔽某個目錄,但要抓取目錄下的某個文件
 
  1.屏蔽所有蜘蛛抓取根目錄下的wap文件夾,但抓取里面后綴名為html的文件
SEO優化細節之詳解robots的寫法
 

  robots.txt寫法:

 
  User-agent: *
 
  Disallow:/wap/ (禁止抓取wap文件夾里面的內容)
 
  Allow::/wap/ *.html(準許抓取wap下面的后綴為html文件)
 
  2.禁止抓取根目錄下所有帶“wap”字符的文件夾及文件,這里我們就需要用到(/ 廣泛匹配)這個寫法
 
  User-agent: *
 
  Disallow:/wap (一個“/”就可以了)
 
  3.保護隱私文件夾或文件
 
  在寫禁止搜索引擎抓取某些私密文件夾的同時,也暴露了網站的目錄結構,猜出網站后臺管理系統、后臺等。(這點基本上一般網站用不上),我們可以用廣發寫法來,保護重要文件。
 
  比如:禁止抓取/inli,就可以寫成如下,當然前提是你的根目錄里面沒有前面帶這些字符的文件夾或文件給蜘蛛抓取。
 
  User-agent: *
 
  Disallow:/inli
 
  屏蔽動態URL
 
  有時候動態頁面可能會和靜態頁面相同,造成重復收錄。(影響蜘蛛友好度)
 
  屏蔽動態URL
 
  User-agent:*
 
  Disallow:/*?*
 
  僅允許訪問“.html”為后綴的URL
 
  User-agent:*
 
  Allow:.html$
 
  Disallow:/
 
  屏蔽死鏈接
 
  向提交百度站長平臺提交死鏈
 
  robots禁止蜘蛛抓取死鏈,寫法同上,最好帶完整路徑
 
  User-agent:*
 
  Disallow:(網站域名)
 
  屏蔽不參與排名的頁面鏈接
 

  寫法:

 
  直接在不需要排名的頁面鏈接,添加nofollow便簽
 
  >a rel="nofollow" href="網站地址"<登陸>/a<
 
  sitemap索引在robots.txt的位置
 
  sitamap(網站地圖)位置最好放在robots.txt的最下面,蜘蛛先遵循前面的原則爬去。
 
  Sitemap:“網站地址”+“sitemap.xml”
 
  Sitemap:“網站地址”+“sitemap.html”

    與本文相關的文章

    發表我的評論
    取消評論

    表情

    您的回復是我們的動力!

    • 昵稱 (必填)
    • 驗證碼 點擊我更換圖片

    網友最新評論

    久久线看在观草草青青