您好!欢迎来到模板下载吧!本站资源24小时自动发货,请放心选购,一次付费,终身下载,售后请提交工单!

什么是robots协议

半岛未凉°【美工】❾ 2018-11-02 SEO入门 693 已收录 本文共579个字,预计阅读需要2分钟。
  • 文章介绍
  • 快速入门
  • 增值服务

robots协议是一个网站根目录下的一个txt文本文件,当搜索引擎蜘蛛在访问某个网站时,都会检查这个网站的根域下是否有这么一个文本文件。所以,它同时也是搜索引擎蜘蛛来到你站点抓取的第一个文件,这个robots文件的作用就是针对蜘蛛让它对你的站点哪些内容抓取还是不抓取,给搜索引擎的一个协议,它能够很好的保护用户信息,网站隐私等。

robots规则

User-Agent:       针对某个搜索引擎蜘蛛的规则,
Allow:                允许抓取
Disallow:           不允许抓取
*                        通配符,所有的
$                           结束符,以什么什么结尾。
/                           根目录

注意:以上都是英文状态下输入,包括冒号,空格,冒号之后有一个英文状态下的空格,首页要字母大写,并且写的都是相对路径,而不是绝对路径。

例如:

User-Agent: *                                               针对所有搜索引擎的规则
Disallow: /wp-content/                                不允许抓取这个文件夹
Allow: /wp-content/uploads/LOGO.jip        允许抓取这个文件夹里的这个张图片
Disallow: /*.js$                                             不允许抓取更目录下所有以.js结尾的文件

温馨提示:本文最后更新于2018年11月2日,已超过 2 年没有更新,如果文章内容或图片资源失效,请留言反馈,模板下载吧会及时处理,谢谢!

上一篇:

下一篇:

什么是robots协议:等您坐沙发呢!
大牛,别默默的看了,快来点评一下吧!:)。

您必须登录后才能发表评论哦!:)

站内登录 QQ登录 微博登录
wordpress自适应高级图片shejigh主题

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系作者

模板下载吧,累计帮助1000+用户成功建站,为草根创业提供助力!

立刻开启你的建站之旅
现在加入模板下载吧,注册一个账号
  • 模板下载吧拥有海量网站模板及源码,站长亲测干净无后门。

  • 注册即能下载免费模板栏目资源,帮您更快的完成网站建设。

  • 每日更新模板资源,每日精品推荐,及时获取最新模板资源流行去向。

  • 完美的售后服务,帮助草根站长、企业等成功建站。

  • 将您最爱的资源收藏,建立自己的资源库,并与朋友分享。