华仔博客

  • 首页
  • seo
  • 网站建设
  • 工具资源
  • 生活
  • 程序开发
  • 网上那点事
  • 网络营销
华仔博客
一个经验分享的博客
  1. 首页
  2. seo
  3. 正文

Disallow: /test和Disallow: /test/的区别

2013年6月26日 1093点热度 0人点赞 0条评论

Disallow: /test和Disallow: /test/的区别

近期发现有些朋友还是不能了解他们之间的区别。今天seo就来为大家详细的介绍下

该项的值用于描述不希望被Robot访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到;

注意“Disallow: /test和“Disallow: /test/”的区别,虽说只区别于一个反斜杠“/”,不过意义完全不同。“Disallow: /test”表示可以禁止的URL包括:/test、/testabc.html、/test/abc这三种形式;“Disallow: /test/”则允许Robot访问/test、/testabc.html,禁止访问/test/abc这种形式。

如果Disallow记录的值为空,即“Disallow:”格式,则说明该网站的所有内容可以被任何搜索引擎Robot抓取;在robots.txt文件,如果有声明User-agent,至少要有一条Disallow记录。

 

标签: 暂无
最后更新:2018年12月29日

admin

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

取消回复
广告
搜索
最新 热点 随机
最新 热点 随机
phpmyadmin 修改表 Table 'wp_options' is read only GSA Search Engine Ranker 项目窗口详细介绍 iRedMail 支持的密码 Wild Rift 英雄联盟手游美服转日服(国际服之间的转换)教程 网站更换主题喽 Burn It All Down (ft. PVRIS) _Worlds 2021 - League of Legends iredmail批量导入用户 Helo command rejected: ACCESS DENIED的 问题处理 宝塔面板编译开启ngx_pagespeed成功版 华仔教你如何看清一个网站和公众号 网站建设_wdcp mysql5.5升级5.6成功版 ios开发_UIButton的常见设置 ios开发_UIButton的状态 ios开发_什么是UIImageView ios开发_UIView的常见属性 ios开发_父控件、子控件 ios开发IBAction和IBOutlet的介绍 ios开发笔记 织梦dedecms集成微信公众平台功能(成功版最新版) spamassassin垃圾邮件拦截插件 号外号外谷歌字体国内已经正常打开 网络资源_Roundcube推荐插件整理 如何下载m3u8格式的文件 phpstudy forbidden 403错误的处理方法 centos7 mysql5.7安装教程 apache双机搭建高可用负载均衡 keepalived 安装教程 centos7下apache安装以及自动启动 营销魔术师的最新举动......震撼了100万营销人 centos7知识大全
iRedMail 支持的密码GSA Search Engine Ranker 项目窗口详细介绍phpmyadmin 修改表 Table 'wp_options' is read only
seo博客_引蜘蛛的目的以及怎么高效的引蜘蛛 北京seo_昨天的百度小更新 dedecms仿淘宝产品显示效果 seo博客_robots.txt真的不管用,亲请看图 转载:seowhy夫唯的人生经历 mysql 5.5 数据库主从同步教程 软文营销的关键环节有哪些? 北京seo_404页面对seo有什么影响 新手微商如何做论坛的推广与引流? 宝塔面板编译开启ngx_pagespeed成功版 seo博客_做seo先从选择域名主机开始 北京seo_站内优化之网站地图添加到robots.txt及提交给谷歌 iRedMail 支持的密码 (转载)如何正确使用微同步来更新微博 如果你喜欢上了一个seo小伙,你就找对人了 马特·卡茨谈关键字堆砌和隐藏文本 奥巴马再来和你玩网络营销 生活小记_蛋疼的事情终于都过去了 《微信引流与变现》-微信营销神器 seo工具_seo小工具追词助手 seo博客_什么是404页面及怎么制作404页面 dedecms 点击加载更多功能的实现 phpstudy forbidden 403错误的处理方法 网站内容不能被充分收录的原因 北京seo_SEO优化关键要素 北京seo开博第一篇 seo工具_无忧帐号管理软件 如何增强执行力将推广方法用到极致? ios开发IBAction和IBOutlet的介绍 免费空间免费域名申请地址

© 2021 sem-home.com.版权所有

主题KRATOS貌似作者网站打不开了,就没加,嗯就这样

京ICP备12020022号