华仔博客

  • 首页
  • seo
  • 网站建设
  • 工具资源
  • 生活
  • 程序开发
  • 网上那点事
  • 网络营销
华仔博客
一个经验分享的博客
  1. 首页
  2. seo
  3. 正文

北京seo_robots.txt和nofollow的用法

2012年5月31日 2208点热度 0人点赞 0条评论

如何书写robots.txt和robots.txt的都能干什么

允许所有的robot访问

User-agent: *

Disallow:

或者也可以建一个空文件 "/robots.txt" file

禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

User-agent: *

Disallow: /01/

Disallow: /02/

Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot)

User-agent: BadBot

Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler)

User-agent: Crawler

Disallow:

User-agent: *

Disallow: /

robots.txt的用法

第一,用robots屏蔽网站重复页

很多网站一个内容提供多种浏览版本,虽然很方便用户却对蜘蛛造成了困难,因为它分不清那个是主,那个是次,一旦让它认为你在恶意重复,兄弟你就惨了

User-agent: *

Disallow: /sitemap/ 《禁止蜘蛛抓取 文本网页》

第二,用robots保护网站安全

很多人纳闷了,robots怎么还和网站安全有关系了?其实关系还很大,不少低级黑客就是通过搜索默认后台登陆,以达到入侵网站的目标

User-agent: *

Disallow: /admin/ 《禁止蜘蛛抓取admin目录下所有文件》

第三,防止盗链

一般盗链也就几个人,可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消,如果你做的不是图片网站,又不想被搜索引擎“盗链”你的网站图片

User-agent: *

Disallow: .jpg$

第四,提交网站地图

现在做优化的都知道做网站地图了,可是却没几个会提交的,绝大多数人是干脆在网页上加个链接,其实robots是支持这个功能的

Sitemap:https://www.sem-home.com/sitemap.html

第五,禁止某二级域名的抓取

一些网站会对VIP会员提供一些特殊服务,却又不想这个服务被搜索引擎检索到

User-agent: *

Disallow: /

以上五招robots足以让你对搜索引擎蜘蛛掌控能力提升不少,就像百度说的:我们和搜索引擎应该是朋友,增加一些沟通,才能消除一些隔膜。

下面说说nofollow

最先提出nofollow的是领头新创的一个标签,目的是尽量减少垃圾链接对搜索引擎的影响。这个标签的意义是告诉搜索引擎这个链接不是经过作者自己编辑的,所以这个链接不是一个信任票。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重。最初的原因是,随着网络博客的流行,垃圾评论和垃圾链接逐渐泛滥,引起Google的重视并率先提出了反抗方案。Google的措施是通过一种新型标签有效的阻止这类垃圾评论和垃圾链接。自此一旦Google发现超链接中含有该属性(“rel=nofollow”),这类链接不会被作为某站点在搜索结果排名中的评价依据;同时该标签不会成为垃圾评论所在博客或网页的负面投票,它仅用于防止垃圾制造者博客评论,反馈表单或推荐列表等公众领域通过混淆视听而受益。Nofollow标签对搜索引擎很重要。

但是讲了这么多nofollow,什么是nofollow标签呢?如何使用nofollow标签?下面是Google对于rel=“nofollow”的解释:When Google sees the attribute rel=“nofollow” on hyperlinks, those links won‘t get any credit when we rank websites in our search results. 就是一旦Google发现超链接中含有该属性(“rel=nofollow”),这类链接不会被作为某站点在搜索结果排名中的评价依据。

nofollow标签还有另外一个作用,如果你在网站上卖广告,可以使用这个标签。因为买卖网页广告的初衷应该是流量,而不是PR值或试图影响搜索引擎排名。加上这个标签完全不会影响流量,但是有可能减少对搜索引擎排名的影响。

现在谈谈nofollow标签对链接的作用,有人会问加了这个标签真的对链接投票权重和PR值有影响吗?这一点是存有疑问的在博客评论和论坛帖子里面的链接就不一样了,这些链接是用户和读者自己加的,而不是网站拥有人或作者加的。在很多情况下,作者也不会去看这些链接去了什么网站。所以对这些网站的质量当然是不知道的。我从来没有说从我的网站连出去的评论链接很重要,然后收钱让大家加链接,或者要求读者链接回来。博客评论里的链接虽然是外部链接,但对搜索引擎排名和PR值来说没什么用。

为什么单独说说这两个呢,听一个哥们说经过实践证明robots.txt和nofollow 两个都不管用,具体我是没试过,感兴趣的朋友可以试试。更多的精彩内容尽在北京seo

标签: robots.txt和nofollow用法
最后更新:2018年12月28日

admin

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

取消回复
广告
搜索
最新 热点 随机
最新 热点 随机
WhatsApp收不到验证码、一小时死循环现在可付费接码 win7惠普m227fdw打印机扫描仪不能用解决办法 WordPress教程-WordPress撰写设置 GTranslate3.04翻译插件不工作的原因找到了 WordPress教程-WordPress常规设置 wordpress教程-WordPress 安装 WordPress教程-WordPress概述 wordpress 导入word文档插件Seraphinite Post .DOCX Source 谷歌SEO的页面标题和元描述的长度多长最合适? 如何利用wordpress编辑网站页面 Hitpaw watermark remover去图片视频水印神器 WordPress博客页面和文章 如何充分利用您的 SEMrush 帐户 什么是 Robots.txt 文件以及Robots.txt 文件如何工作 ? WordPress列表页分页制作教程 youtube视频响应式插件Simple YouTube Responsive WordPress文章页添加展开/收缩功能 WordPress栏目调用去掉Ul标签 WordPress如何调用置顶文章 如何使用奈飞Netflix cookies登录奈飞Netflix GSA Search Engine Ranker项目屏幕 GSA Search Engine Ranker内容创建服务推荐 GSA Search Engine Ranker 仿写服务推荐 GSA Search Engine Ranker电子邮件账户推荐 GSA Search Engine Ranker搜索引擎提交服务推荐 GSA Search Engine Ranker索引服务推荐 GSA Search Engine Ranker验证码服务推荐 GSA Search Engine Ranker代理服务推荐 GSA Search Engine Ranker介绍 ChatGPT for Wechat-在微信上使用ChatGPT
ios开发笔记 dedecms 点击加载更多功能的实现 seo博客_百度11名的快速解决方法 seo博客_网站js代码优化 SEO外链时代已过时原创时代来了 seo工具_升级版外链查询工具21号放出 北京seo介绍了最新的百度知道挂链接的技巧 GSA Search Engine Ranker项目屏幕 seo中的那些链接 GTranslate3.04翻译插件不工作的原因找到了 北京seo_dedecmsURL的优化 ios开发IBAction和IBOutlet的介绍 转发:胡导再谈爱情 百度搜索上线ICP备案信息展示 GSA Search Engine Ranker搜索引擎提交服务推荐 营销魔术师的最新举动......震撼了100万营销人 谷歌nofollow插件百度知道链接已加nofollow 网站内容不能被充分收录的原因 史上最全的外链资源寻找方法 百度搜索结果官网子链 展现上线公告 iPhone5来了你会买吗 WordPress博客页面和文章 seo博客_做seo先从选择域名主机开始 织梦dedecms自定义表单发送指定邮箱 华仔教你如何看清一个网站和公众号 是谁写错了新闻标题,刘洋到底生没生过孩子。。。6月21号更新 seo工具_史上最好用的网站地图生成工具 济南网站建设_dedecms调用自定义字段里的图片 GSA Search Engine Ranker 项目窗口详细介绍 号外号外谷歌字体国内已经正常打开

© 2012-2025 sem-home.com.版权所有.

主题KRATOS貌似作者网站打不开了,就没加,嗯就这样

京ICP备12020022号