1、搜索引擎在爬取網(wǎng)站前會做什么？
一般來說搜索引擎爬取網(wǎng)站時都會，先讀取下robots.txt文件，并依照里面所設(shè)定的規(guī)則去爬取網(wǎng)站（當(dāng)然是指沒用登錄限制的頁面）
2、robots.txt文件的內(nèi)容和結(jié)構(gòu)是怎樣的？
1）.robots.txt文件必須是放在文件根目錄上：
例如：
├─admin
│ └─templates
│ header.tpl.php
│ task_add.tpl.php
│ └─robots.txt
2 ) .首先常用的命令為
User-agent : 可以具體制定User-agent適用，即搜索引擎的名字，如果為 * 的話則為通配
Disallow : 可以設(shè)定檔案或文件夾，不允許被爬蟲爬取，且為 / 時禁止爬取整站 ，也可以指定文件路徑，不可爬取
Crawl-delay: 延時爬取，防止爬蟲短時間內(nèi)爬取網(wǎng)站過快導(dǎo)致網(wǎng)站崩潰，則可以設(shè)置該延時
Allow : 允許爬取指定頁面， 為 / 時爬取整站
3） 搜索引擎別稱
Googlebot 谷歌
Baiduspider 百度
等等
3、搜索引擎的好處和壞處是什么？
不好的地方會增加網(wǎng)站的訪問負(fù)荷;有時,還會涉及到用戶的隱私；
好的地方也是增加了訪問流量;
4、一般徹底防止爬蟲用什么方法？
如果需要防止的話，就需要監(jiān)測網(wǎng)站，把一些不良網(wǎng)絡(luò)爬蟲的給堵止掉，一般是封IP。
robots.txt只能防止有品的爬蟲來爬
5、如何使用robots禁止各大搜索引擎爬蟲爬取網(wǎng)站
1.原來一般來說搜索引擎爬取網(wǎng)站時都會，先讀取下robots.txt文件，并依照里面所設(shè)定的規(guī)則去爬取網(wǎng)站（當(dāng)然是指沒用登錄限制的頁面）
2.下面我們就來說一說如何設(shè)置robots.txt文件
1）.robots.txt文件必須是放在文件根目錄上：
例如：
├─admin
│ └─templates
│ header.tpl.php
│ task_add.tpl.php
│ └─robots.txt
2 ) .首先常用的命令為
User-agent : 可以具體制定User-agent適用，即搜索引擎的名字，如果為 * 的話則為通配
Disallow : 可以設(shè)定檔案或文件夾，不允許被爬蟲爬取，且為 / 時禁止爬取整站 ，也可以指定文件路徑，不可爬取
Crawl-delay: 延時爬取，防止爬蟲短時間內(nèi)爬取網(wǎng)站過快導(dǎo)致網(wǎng)站崩潰，則可以設(shè)置該延時
Allow : 允許爬取指定頁面， 為 / 時爬取整站
3） 搜索引擎別稱
Googlebot 谷歌
Baiduspider 百度
等等
類似我們測試環(huán)境就設(shè)置了
User-agent : / 所有搜索引擎
Disallow : / 禁止整站
總結(jié)
User-agent: *
Disallow: /就可以了..
