解讀robots文件與優(yōu)化的關系 文章來源：周口中原傳媒有限公司     瀏覽次數(shù)：1641次     發(fā)布日期：2012.12.19     首先我們要明白什么是robots是什么？其實說白了robot文件和瀏覽者沒有任何的關系，這個文件時放在網站程序的根目錄的，是針對蜘蛛而做的一個文件，在這個文件里設置的有蜘蛛可以抓取的頁面，可以訪問的頁面，不可以訪問的頁面，等等都是在這個文件里面設置的，比如說，Disallow: /目錄名1/ 這就是不允許爬行蜘蛛不能訪問目錄名1文件夾面的所有文件，在這文件夾里面所有的文件都不會被百度蜘蛛抓取，同樣的我們也可以設置多個這樣的文件，比如說：Disallow: /目錄名1/ ，Disallow: /目錄名1/ ，Disallow: /目錄名2/ ，Disallow: /目錄名3/ 這里的設置就是說不允許蜘蛛抓取目錄名1、目錄名2、目錄名3、等等，我們這里設置了不能抓取一個文件夾的內容，那么我們怎么設置不讓他抓取一個網站的內容呢？那么我們可以設置百度蜘蛛不能訪問，比如說：User-agent: Baiduspider，這里的設置就是說不允許百度蜘蛛抓取網站的所有內容，除了這樣的設置以外我們換可以設置網站只能訪問那個根目錄,比如說：Allow：/目錄名/運行訪問“目錄名”，以上就是robot與優(yōu)化的關系 下一篇: 關于召開2013年周口中原傳媒有限公司乒乓球比賽的通知上一篇: 公司業(yè)務新拓展，服務拓展至省外