白银时代
一个人的精彩

【白银时代】备注：方便网站调试阶段不被搜索引擎抓到……

呵呵，这几天心血来潮，在家学习怎么使用CMS，顺便把闲置的那个易名的域名废物利用。

但是网站成天的删了重装，装了再删的，不大想被蜘蛛抓到，虽然说大部分的新站都是需要手动提交的，但是也很难说的，我这个博客2月2号中午12点半的时候建立的，下文2点就被google收录了，百度也在第二天就收录了，真的很恐怖的说，人家都说google尤其喜欢新站，还是别冒险了，直接禁止蜘蛛访问吧。

下面给出找到的几个方法。

        第一种、robots.txt方法

        1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）
        User-agent: *
        Disallow: /

        2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）
        User-agent: *
        Disallow:

        3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）
        User-agent: baiduspider
        Disallow: /

        4）允许某个搜索引擎的访问（比如允许百度收录，按如下的方式写）
        User-agent: baiduspider
        Disallow:
        User-agent: *
        Disallow: /

        5）禁止搜索引擎访问某些目录
        User-agent: *
        Disallow: /cgi-bin/
        Disallow: /tmp/
        Disallow: /images/

       通过代码，即可告诉搜索引擎不要抓取采取收录本网站。

       第二种、网页代码

       在网站首页代码与之间，加入代码，此标记禁止搜索引擎抓取网站并显示网页快照。

       如何禁止百度搜索引擎收录抓取网页

       1、编辑robots.txt文件，设计标记为:

       User-agent: Baiduspider
       Disallow: /

       2、在网站首页代码与之间，加入即可禁止百度搜索引擎抓取网站并显示网页快照。

       3、联系百度管理人员，信箱地址为:webmaster@baidu.com，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取。

       4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理。

       如何禁止Google搜索引擎收录抓取网页

       1、编辑robots.txt文件，设计标记为:

       User-agent: googlebot
       Disallow: /

       2、在网站首页代码与之间，加入即可禁止百度搜索引擎抓取网站并显示网页快照。

作者: 白大王

该日志由 白大王 于 2009年05月14日 发表在 系统辅助 分类下， 你可以发表评论。
在保留原文地址及作者 白大王 相关链接的情况下引用到你的网站或博客。
转载请注明: 不让搜索引擎收录 | 白银时代
标签: 收录