<noscript id="wp4ox"><object id="wp4ox"></object></noscript>
<dd id="wp4ox"></dd>
      1. <wbr id="wp4ox"><legend id="wp4ox"></legend></wbr>
          惠州網絡公司

          Robots.txt文件的作用及寫法

          發布日期:2021-07-26 作者: 點擊:

          搜索引擎優化的工作者對于Robots.txt文件,應該說并不陌生。因為在有些情況下,我們并不想讓網站的全部文件都讓搜索引擎收錄。比如說一些網站后臺管理目錄、會員隱私信息、沒有價值的網頁等,我們都不打算讓搜索引擎的蜘蛛爬取。在這種情況下,我們就有必要會用到Robots.txt文件,來與搜索引擎溝通。


          具體的方式是通過在網站根目錄創建名為:Robots.txt的文件,你就可以阻止蜘蛛來索引網站的某些內容,如動態的搜索結構頁面(比如說,青青電商禁止搜索引擎收錄我們的搜索結構頁面。http://www.gogo168.com.cn)、404頁面、圖片目錄、登陸頁面等。


          所有的搜索引擎蜘蛛自動在網站根目錄中尋找這個文件,因此,你需要做的只是創建它并上傳,然后等待蜘蛛來閱讀。Robots.txt文件沒有以任何方式來保護你的內容,只是阻止搜索引擎索引。


          下面,青青電商主要說明下Robots.txt文件的寫法。


          1.如果你站點中的所有文件,都可以讓蜘蛛爬取、收錄的話,那么語法這樣寫:


          User-agent: *

          Disallow:


          當時,如果你網站中全部的文件都可以讓搜索引擎索引的話,你也可以不管這個文件。


          2.完全禁止搜索引擎來訪的Robots.txt文件寫法:


          User-agent: *

          Disallow: /


          2.1.要禁止掉某個搜索引擎來訪的Robots.txt文件寫法:


          User-agent: Googlebot

          Disallow: /


          3.網站中某個文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:


          User-agent: *

          Disallow: /admin/

          Disallow: /images/


          4.禁止Google抓取網站中的圖片文件:


          User-agent: Googlebot

          Disallow: /*.gif$


          Robots.txt文件,是網站與搜索引擎溝通的比較重要的一個方式。如果你對此還有疑問的話,歡迎通過郵件的方式,與我們溝通交流。cyz(#)seo.com.cn


          相關標簽:惠州網絡公司

          最近瀏覽:

          在線客服
          分享
          歡迎給我們留言
          請在此輸入留言內容,我們會盡快與您聯系。
          姓名
          聯系人
          電話
          座機/手機號碼
          人人爱天天做夜夜爽2020_正在播放四川肥熟妇_可以触碰你的深处吗百度网盘_最新精品国偷自产在线美女足