平时在浏览百度的时候很少发现有今日头条的内容信息，淘宝的产品信息，阿里大鱼自媒体信息。为什么呢?原因就是因为这些网站都对百度搜索引擎设置了Robots协议，禁止让百度搜索引擎抓取，通过接下来的阅读，让你快速完成以下三个目标。第一个：对Robots协议有一定的了解；第二个：可以很好的读懂淘宝Robots红色标注协议的意思；第三个：能够看懂淘宝对待googlebot(谷歌机器人)和baiduspider(百度蜘蛛)有什么不同
本节内容通过以下六个点来讲解：
1. Robots定义
2. 为什么要研究Robots
3. Robots常用语法
4. 个别Robots指令示例
5. Robots在工作中常见应用场景
6. Robots怎么做
以下为明细明细：
1. 关于定义：Robots指令是搜索引擎来到网站第一个访问的文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
2. 为什么要研究Robots：更好的告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取，对一些没有必要抓取的页面进行第一时间屏蔽
3. 常用语法：Robots常用的语法为以下几种：
(1)User-agent：代表搜索引擎名称
(2)Disallow释义：不允许访问
(3)Allow释义：允许访问
(4)* ：匹配任意字符内容
(5)$ ：行结束符，通常为页面使用，栏目通常使用“/”(示例:Disallow:/.htm$ )
4. 个别指令示例：有个别指令需要特殊说明，可以有助于大家更好地认识Robots，内容如下：
(1)Disallow: 不允许
(2)Disallow:/ 根目录下面所有文件都不允许抓取
(3)Disallow:/a a开头的目录文件不允许抓取
(4)Disallow:/a/ 不允许抓取a文件夹
(5)Disallow:/chanpin/
(6)Disallow:/*?* 不允许抓取动态url
5. Robots在工作中常见应用场景：有些同学可能会问Robots在工作中到底怎么用呢?我们经常碰到的三种使用场景如下：
(1)新网站没有正式上线，屏蔽搜索引擎
(2)有些栏目不想让搜索引擎爬行抓取(不重要的栏目)
(3)动态URL屏蔽
6. Robots怎么做：
(1)新建Robots.txt文档
(2)撰写Robots协议规则要求
(3)上传到网站空间根目录(可以去百度搜索资源平台，进行检测访问权限是否生效)
>>本文地址：https://www.ujiuye.com/zhuanye/2020/48580.html
声明:本站稿件版权均属中公教育优就业所有，未经许可不得擅自转载。
1 您的年龄
2 您的学历
3 您更想做哪个方向的工作？
大前端
大数据
互联网营销
Java
Linux
Python
嵌入式
全域电商运营
软件测试
室内设计
平面设计
电商设计
网页设计
UI设计
VR/AR
网络安全
新媒体
直播带货
智能机器人
中公教育IT培训品牌
400-650-7353
Copyright©1999-
北京中公教育科技有限公司 .All Rights Reserved
京ICP备10218183号-88
京ICP证161188号
京公网安备11010802020723号
投诉建议：400-650-7353
Java培训
软件测试培训
Web培训
Linux培训
Python培训
互联网营销培训
UI培训
大数据培训
官方公众号 回复"大礼包"享福利 
领学习资料 分享IT知识 
阅读()
分享
手机端入口
