另外需要强调的是，对于 robots 封禁，如果封禁的 agent 是 Baiduspider，会对 PC 和移动同时生效。即，无论是 PC 还是移动 Baiduspider，都不会对封禁对象进行抓取。之所以要强调这一点，是发现有些代码适配站点（同一个 url，PC ua 打开的时候是 PC 页，移动 ua 打开的时候是移动页），想通过设置 robots 的 agent 封禁达到只让移动 Baiduspider 抓取的目的，但由于 PC 和移动 Baiduspider 的 agent 都是 Baiduspider, 这种方法是非常不可取的。
百度蜘蛛对于站长来说可谓上宾，可是我们曾经遇到站长这样提问：我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的？其实站长可以通过 DNS 反查 IP 的方式判断某只 spider 是否来自百度搜索引擎。根据平台不同验证方法不同，如 linux/windows/os 三种平台下的验证方法分别如下：
在 linux 平台下，您可以使用 host ip 命令反解 ip 来判断是否来自 Baiduspider 的抓取。Baiduspider 的 hostname 以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。 
在 windows 平台或者 IBM OS/2 平台下，您可以使用 nslookup ip 命令反解 ip 来 判断是否来自 Baiduspider 的抓取。打开命令处理器 输入 nslookup xxx.xxx.xxx.xxx（IP 地 址）就能解析 ip， 来判断是否来自 Baiduspider 的抓取，Baiduspider 的 hostname 以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。
在 mac os 平台下，您可以使用 dig 命令反解 ip 来 判断是否来自 Baiduspider 的抓取。打开命令处理器 输入 dig xxx.xxx.xxx.xxx（IP 地 址）就能解析 ip， 来判断是否来自 Baiduspider 的抓取，Baiduspider 的 hostname 以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。
即便很多站长知道了如何判断百度蜘蛛，仍然会不断地问 “百度蜘蛛 IP 是多少”。我们理解站长的意思，是想将百度蜘蛛所在 IP 加入白名单，只准白名单下 IP 对网站进行抓取，避免被采集等行为。
但我们不建议站长这样做。虽然百度蜘蛛的确有一个 IP 池，真实 IP 在这个 IP 池内切换，但是我们无法保证这个 IP 池整体不会发生变化。所以，我们建议站长勤看日志，发现恶意蜘蛛后放入黑名单，以保证百度的正常抓取。
同时，我们再次强调，通过 IP 来分辨百度蜘蛛的属性是非常可笑的事情，所谓的 “沙盒蜘蛛”“降权蜘蛛” 等等是从来都不存在的。
robots 是站点与 spider 沟通的重要渠道，站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。
robots 文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL 作为结束符），每一条记录的格式如下所示： <field>:<optional space><value><optionalspace>
在该文件中可以使用#进行注解，具体使用方法和 UNIX 中的惯例一样。该文件中的记录通常以一行或多行 User-agent 开始，后面加上若干 Disallow 和 Allow 行 , 详细情况如下：
User-agent:该项的值用于描述搜索引擎 robot 的名字。在 "robots.txt" 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 "robots.txt" 的限制，对该文件来说，至少要有一条 User-agent 记录。如果该项的值设为 ，则对任何 robot 均有效，在 "robots.txt" 文件中，"User-agent:" 这样的记录只能有一条。如果在 "robots.txt" 文件中，加入 "User-agent:SomeBot" 和若干 Disallow、Allow 行，那么名为 "SomeBot" 只受到 "User-agent:SomeBot" 后面的 Disallow 和 Allow 行的限制。
Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow 项的值开头的 URL 不会被 robot 访问。例如 "Disallow:/help" 禁止 robot 访问 /help.html、/helpabc.html、/help/index.html，而 "Disallow:/help/" 则允许 robot 访问 /help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:" 说明允许 robot 访问该网站的所有 url，在 "/robots.txt" 文件中，至少要有一条 Disallow 记录。如果 "/robots.txt" 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow 项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow 项的值开头的 URL 是允许 robot 访问的。例如 "Allow:/hibaidu" 允许 robot 访问 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL 默认是 Allow 的，所以 Allow 通常与 Disallow 搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL 的功能。
使用 "*"and"$"：Baiduspider 支持使用通配符 "" 和 "$" 来模糊匹配 url。 "" 匹配 0 或多个任意字符 "$" 匹配行结束符。
最后需要说明的是：百度会严格遵守 robots 的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots 中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots 协议无法生效。
上面说了那么多理论，有没有简单对照表格告诉我，怎样的需求场景下应该怎样撰写 robots 文件？有的：
Meta robots 标签是页面 head 部分标签的一种，也是一种用于禁止搜索引擎索引页面内容的指令。目前百度仅支持 nofollow 和 noarchive
nofollow：禁止搜索引擎跟踪本页面上的链接
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的
noarchive：禁止搜索引擎在搜索结果中显示网页快照
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多、内容类同但 url 不同的动态 URL ，就像一个无限循环的 “黑洞 “，将 spider 困住。spider 浪费了大量资源抓取的却是无效网页。
如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分是检索价值低质的页面。如 “500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额，那么该如何避免这种情况呢？
目前百度图片搜索也使用了与百度网页搜索相同的 spider，如果想禁止 Baiduspider 抓取网站上所有图片、禁止或允许 Baiduspider 抓取网站上的某种特定格式的图片文件可以通过设置 robots 实现：
| | | --- | --- 禁止 Baiduspider 抓取网站上所有图片 , 仅允许抓取网页，禁止抓取任何图片。| User-agent: Baiduspider Disallow: /.jpg$; Disallow: /.jpeg$; Disallow: /.gif$; Disallow: /.jpg$; Disallow: /*.bmp$;
仅允许 Baiduspider 抓取网页和 .gif 格式图片 , 允许抓取网页和 gif 格式图片，不允许抓取其他格式图片| User-agent: Baiduspider; Allow: /.gif$; Disallow: /.jpg$; Disallow: /.jpeg$; Disallow: /.jpg$; Disallow: /*.bmp$;
仅禁止 Baiduspider 抓取 .jpg 格式图片|User-agent: Baiduspider;Disallow: /*.jpg$
Html 状态码也是网站与 spider 进行交流的渠道之一，会告诉 spider 网页目前的状态，spider 再来决定下一步该怎么做——抓 or 不抓 or 下次再来看看。对于 200 状态码大家已经很熟了，那么我们来介绍几种常见的失效网页使用的状态码：
一些网站把未建好的页面放到线上，并且这些页面在被百度抓取的时候返回码是 404，于是页面被百度抓取后会被当成死链直接删除。但是这个页面在第二天或者过几天就会建好，并上线到网站内展现出来，但是由于之前已经被百度当做死链删除，所以要再次等这些链接被发现，然后抓取才能展现，这样的操作最终会导致一些页面在一段时间内不会在百度出现。比如某个大型门户网站爆出大量新闻时效性很强的专题未被百度及时收录的问题，经检查验证后发现就是因为页面未建成就放置在线上，并返回 404 状态码，被百度当成死链删除，造成收录和流量损失。
对于这样的问题，建议网站使用 503 返回码，这样百度的抓取器接到 503 返回码后，会在隔一段时间再去访问这个地址，在您的页面建好上线后，就又能被重新抓取，保证页面及时被抓取和索引，避免未建好的内容设为 404 后带来不必要的收录和流量损失。
其它建议和总结：
在百度 site 站点时，遇到 “连通率为 0” 说明 Baiduspider 在访问站点时发现了问题，该问题非常严重，如果 Baiduspider 持续一天时间无法访问有可能给站点带来灾难性的损失。
既然为率，那么就是一个统计相关概念。我们不妨可以这样理解一个网站的连通率：百度蜘蛛在抓取网站页面的时候计算的一个概率，比如它抓取某网站中的 N 个页面，这 N 个页面都能打开并被蜘蛛成功抓取，这样的连通率就是 N/N=100%，反之蜘蛛抓取 N 个页面有 M 个页面能成功抓取，连通率就是 M/N
这里先说明几个常识：
上述概念中，我们需要注意的几个词有：” 百度蜘蛛”； ” 在抓取”； ”N 个页面”； ”M 个页面”； ” 都能打开并被成功抓取”。
我们抓住上述 5 个提取出的核心词进行分析。
所以我们首先要确保百度蜘蛛的访问有没有被操控或禁止。
完善联系方式获得百度站长工具消息提醒
虽然一些网站异常情况会收到百度站长工具消息提醒，然而我想告诉大家不是所有自己站点异常都可以寄希望于消息提醒的，自己心里要知道连发邮件都可能出现收不到的情况，更何况各种复杂的异常情况，因此不要出问题了只会问 “为什么站长工具没有给我发消息”。
利用抓取异常和抓取频次工具观察抓取情况
↓抓取异常工具的网址异常情况
↓抓取频次工具的抓取统计情况
↓每个工具页面的右侧下方都有使用说明，如下
（3）抓取诊断工具是重中之重
为了保证网站对百度蜘蛛的稳定访问性能，日常我们需要养成定期抓取诊断的习惯，另外抓取诊断不是说光看看状态是否 “抓取成功” 就行了。有下面几步进行：
特别说明：有很多站长就光注意抓取成功，却不知网站 ip 可能并非自己的实际 ip，被网络商搞到哪里去了都不知道，还可能每隔一段时间都变。当发现 ip 有问题，及时跟网络商沟通，并在网站 ip 旁点击 “报错” 按钮，百度会更新网站 ip，但是切记不要 ip 变化频繁。此外当然还可能出现实际抓取网址、头部信息、网页源码等都不是自己本来设置的。
这是反映百度蜘蛛在抓取时的状态，百度的工具显示的数值肯定都是抓取后计算出来的数据，因此任何工具的连通率数据必定存在延迟性，另外这个计算过程也存在一定可能的错误，所以我们看到任何工具中关于连通率的数据，不要说 “我网站用抓取诊断等工具检查访问情况都好好的，为什么连通率还是 0”，因此除了上述建议的多抓取诊断测试外，自己可以加些监控网站连接状态的措施，笔者本人就曾经接收了不少关于网站连接不通的提醒。这时我会及时跟网络商沟通，然后及时用抓取诊断检查蜘蛛的情况。
这 N、M 个页面，可能百度蜘蛛很凑巧就赶上高峰的时候或者一些假死页面（执行时间较长，超过蜘蛛的耐心），那么 M 这个数值就会很低，统计概率的东西大家都懂的，那么这时网站的连通率依旧很低或为 0。因此若连通率为 0，我们还可以知道自己应该注意查看访问日志，及时清理死链，或者并发连接数增大，或者增加内存等等。
这里主要注意 DNS 和空间的稳定性。
提醒大家注意的是现在不少云类 ns 服务器，这个过程中由于处理机制问题，包括回源障碍等等，较容易造成这个问题。另外国内大型服务商提供，比如你使用了 dnspod，并不代表你的 dns 就应该是 ok 的。有的站长存在着对大型服务商的错误认识，如 “新网的 dns 就是不可靠的，我都用百度云加速”。我们要明白廉价的东西质量都有一定局限性，所以需要自己检查 dns 解析情况，具体上网找找相关资料或平台，看看 dns 解析出的 ip 以及解析延迟情况等等。
如果你的网站索引由于连通率而非惩罚原因被清理了，处理完毕问题，可以在抓取频次工具中提交增加抓取频次的请求，将抓取频次增加到一定额度（建议自己查看工具中对抓取频次的说明后再根据网站实际情况调整），然后增加自己的网站数据更新频率与质量，加强与百度的数据沟通（如 url 提交、sitemap 等等），很快就能恢复。相关工具展示如下（每个工具页面的右侧下方都有相关说明链接，可以点击去了解使用注意事项）：
抓取频次中的频次调整工具：
链接提交工具：
链接提交工具中的主动推送、sitemap、手动提交方式：
2015 年 5 月 25 日，百度站长平台发布公告，宣布全面放开对 https 站点的收录，https 站点不再需要做任何额外工作即可被百度抓收。采用了本文之前建议的 https 站点可以关闭 http 版，或者将 http 页面跳转到对应的 https 页面。
百度搜索引擎目前不主动抓取 https 网页，导致大部分 https 网页无法收录。但是如果网站一定要使用 https 加密协议的话该如何做到对百度搜索引擎友好呢。其实很简单：
为需要被百度搜索引擎收录的 https 页面制作 http 可访问版。
通过 user-agent 判断来访者，将 Baiduspider 定向到 http 页面，普通用户通过百度搜索引擎访问该页面时，通过 301 重定向至相应的 https 页面。如图所示，上图为百度收录的 http 版本，下图为用户点击后会自动跳入 https 版本。
http 版本不是只为首页制作，其它重要页面也需要制作 http 版本，且互相链接，切不要出现这种情况：首页 http 页面上的链接依然链向 https 页面，导致 Baiduspider 无法继续抓取——我们曾经遇到这种情况，导致整个网点我们只能收录一个首页。如下面这个做法就是错误的：http://www.abc.com/ 链向 https://www.adc.com/bbs/
可以将部分不需要加密的内容，如资讯等使用二级域名承载。比如支付宝站点，核心加密内容放在 https 上，可以让 Baiduspider 直接抓取的内容都放置在二级域名上。
问：对于 http 和 https，Baiduspider 会不会区别对待？ 答：不会区别对待。说得再全整专业一些：Baiduspider 在对于 http 和 https 站点的调度和解析方面没有任何区别。至于建索引库，年初的时候百度进行过升级，目前对 https 站点也是全力支持的。
问：Baiduspider 可以抓取 https 网站吗？站点 https 以后应该做些什么？ 答：在抓取方面，Baiduspider 完全支持 https 链接的抓取。站长需要注意的一点是要保证 http 链接到 https 链接良好的重定向（使用 301 或 302），这样百度可以做到无缝切换。另外可以使用链接提交工具提交 https 链接，尽快通知百度。
问：站点切换 https 以后，新产生的 https 页面，百度会将其视为新页面重新收录？重新计算排名？ 答：不是的，不涉及重新收录的问题。
问：https 以后可以使用改版工具向百度提交 http 与 https 的对应关系吗？ 答：http 站和 https 站会被百度视为同一个站点，不属于改版，不适用改版工具。
问：https 以后，排序有可能发生什么变化？
答：在 rank 方面，现在对两种链接无区别对待，从安全性考虑，以后可能会优待 https 的链接。
很多站点出于隐私的考虑不希望百度保留快照，网上也在讨论如何禁止百度保留快照的方法。其实百度早已对此有过说明，但藏在一篇不起眼的文章中不引人注目，导致依然非常多的人不清楚该如何操作。上周恰好又有人问到这个问题，特意进行说明。
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的
要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：<meta name="Baiduspider" content="noarchive">
注：此标记只是禁止百度显示该网页的快照，并不会影响网页建入索引，同时垃圾网页也不可能依靠此手段逃避百度的判罚。
众所周知，搜索引擎会对站点获得链接的数量和质量进行分析，从而做出对网站的评价，最终影响站点在搜索结果中的表现。在搜索引擎看来，站点的链接质量比数量更为重要，然而愈演愈烈的链接买卖风潮，已经开始威胁到搜索引擎的公正性。为此百度质量团队推出了绿萝算法对买卖链接行为进行打击。
搜索引擎认为站点每发出一个链接指向另一个站点，都是一次投票行为，请您珍惜每一次投票的权力，而不是将这个权力出售，更不应该打包卖给链接中介公司。如果搜索引索发现站点有出售链接的行为，则会影响到站点在搜索引擎系统中的整体表现。对于广告类的链接，请您使用nofollow属性进行设置。除不出售链接外，您还应该关注建站程序的安全更新，及时安装补丁程序；经常对网站发出的链接进行检查，看是否有多余的、非主观意愿存在的链接，以免站点在不知情的情况下被黑帽SEO添加链接。
建议您不要企图求助于黑帽SEO和链接中介公司，他们很有可能使用极不正当的手段令站点在短时间内获得一定效果，但是搜索引擎有专门的程序去识别各种手段和行为，一旦被发现，站点会无法得到预期的效果，甚至被搜索引擎惩罚处理。最后，希望各位站长放眼于长远的未来，不要为眼前的蝇头小利所迷惑。将精力放在在自身内容和品牌建设上，拓展更多良性发展的盈利模式。
在《百度搜索引擎工作原理》课程中我们提到过，Baiduspider需要知道站点里哪个页面更重要，其中一个渠道就是内链。那么内链建设有哪些大忌呢：
死循环链接：死循环链接是搜索引擎蜘蛛最郁闷的事情了，往往会把搜索引擎蜘蛛卡在一个角落中，无限的循环而走不出来，不仅白白浪费蜘蛛体力，也会占用网站大量爬取频率，造成有价值的网页抓取不全。比如万年历等非常实用的工具网站，很多时候这些工具你都可以无限的点击，每次点击都产生一个新的url，如果你没有屏蔽蜘蛛爬取这些内容，那么蜘蛛有可能会被带入到一个无限循环的境地，这样的做法对任何一个搜索引擎都是不友好的。
还有一种就是动态、带“？”号的url。这是由于动态网站的一个动态文件（如.php）可以产生上万个或者无数个链接，如果部分php文件内部又再次链向自己。蜘蛛进去就很难再爬出来。
链接404后不消除内链入口：页面404后，除了需要向百度站长平台提交外，应该尽量关闭其在网站内部的入口，一来死链对用户的伤害是极大的，二来避免令蜘蛛产生错觉，认为你网站死链严重。
只有入链没有出链：有些人认为网页上的出链太多会分散页面本身的得分，所以在重要页面上不设计出链，实际这与百度的认知是相悖的，百度认为一个优质的网站结构应该像一张网，所有页面都会与其他页面产生链接，蜘蛛会顺着一个页面遍历所以页面。只有入链而没有出链的结构对蜘蛛来说是不友好的。当然，整个网站仅一两个网页只有入链没有出链是无所谓的，但数量千万不要多。
无返回上级目录的链接：我们提倡尽量在每个页面上使用面包屑导航，以告诉搜索引擎页面内容与首页的关系及距离；同时对于用户来说，面包屑导航也是延长用户平均访问时长的重要工具。只有内容而没有返回上级目录的页面就像一本永远无法访问目录的书，听起来是不是怪怪的？
错误的锚文本：内链的作用并不仅仅是页面权值传递和内部投票，百度还会通过锚文本辅助判断网页的内容，错误的锚文本很可能会误导百度对于相关性的计算，对搜索排序产生负面影响。同时对于只能通过锚文本来判断是否要点击打开新网页的用户来说，无疑也是一种伤害。
百度搜索引擎虽然降低了对超链的依赖，但依然没有放弃对不同质量链接的识别，制定了一套针对优质外链、普通外链、垃圾外链、作弊外链的识别原则和方法。在继续信任优质外链的同时，加大对作弊外链的打击，同时对部分作弊外链的受益站点进行打击。为了避免被百度搜索引擎怀疑为超链作弊，建议站长定期检查站点的外链情况，发现异常及时通过百度站长平台的拒绝外链工具进行自我保护。同时如果你之前有过购买链接、群发外链的行为，可以通过拒绝外链工具进行修正。
那么除了要拒绝被黑网页发出的链接、买来的链接外，还有哪些链接应该被拒绝呢。
使用拒绝外链工具还有一些注意事项：
为了改变站点运营效果，部分站长会选择对网站进行改版。百度站长平台站在搜索引擎的角度给站长朋友一些建议：首先站长们应该明确，网站只要发生大大的变化（如换域名、子目录改版为二级域名等），流量就会受到损失；其次，百度站长平台会帮助站长尽量将损失降到最低。请站长依次走完以下步骤以减少损失。
第一步：设置301跳转
使用301跳转进行重定向，跳转最好有规律可循，百度搜索引擎会自动进行处理
提醒：301跳转要保持一段时间，直至新网页的抓取、收录、排序达到预期。
第二步：使用改版工具
使用百度站长平台工具，可加速百度搜索引擎对301跳转的处理，尽快完成新旧内容的衔接。目前改版工具除了支持换域名外，还可以支持站点级改版和目录级改版，都是通过工具的“目录改版”功能实现的。
工具地址：http://zhanzhang.baidu.com/rewrite/index
第三步：使用抓取异常工具
已在改版工具中提交改版规则后，随时关注新内容的抓取情况。如果不符合预期，可使用抓取异常工具查找部分原因，排除由服务器、运营商、DNS、IP、UA等导致的抓取不及时。
工具地址： http://zhanzhang.baidu.com/crawl/index 具体可参考百度站长平台已有文章《抓取异常工具帮助》，里面对每项因素都有详细说明和解决办法。
第四步：使用抓取频次工具
抓取频次工具提供站点在百度近一个月的天级抓取量曲线图，如果新内容抓取量不符合预期可在工具中进行反馈，spider会根据站长的申请和实际情况对抓取频次进行调整。
工具地址：http://zhanzhang.baidu.com/pressure/index
具体使用方法可参考百度站长平台已有文章《抓取频次工具帮助》
第五步：使用百度索引量工具
一个站点的被抓取量多与少并不是重点，重点是索引量，只有被建为索引的页面才有可能展现在用户面前。站长可以通过百度索引量工具来对比新旧内容被建索引的数量，来确认改版后站点在百度搜索引擎的收录是否已恢复正常。
工具地址：http://zhanzhang.baidu.com/indexs/index 该工具使用起来非常简单，可参考百度站长平台之前的文章《百度索引量工具帮助》
在与站长朋友私下交流中，站长表示：最怕改版，最怕换空间换IP，每次都是万不得已身不由己。改版还好些，有改版工具可以使用。换了空间和IP都不知道怎么通知百度。其实，登录百度站长平台，使用抓取诊断工具，换空间和IP真的不是愁事。
抓取诊断工具会检查站点与百度的连接是否畅通，若站长发现IP信息还是老旧的，可以通过“报错”通知百度搜索引擎更新IP，如下图所示：
重要提示：由于spider精力有限，如遇报错后网站IP依旧没有变化，站长可进行多次尝试，直至达到预期。
由于大多数UGC建站系统存在漏洞，攻克技术成本较低，且群发软件价格低廉，容易被作弊者利用，近期我们发现大量UGC站点被群发的垃圾信息困扰。这些垃圾群发内容无孔不入，除论坛、博客等传统的UGC站点受到困扰外，现已蔓延到微博、SNS、B2B商情页、公司黄页、分类信息、视频站、网盘等更多领域内，甚至连新兴的分享社区也受到了影响。从以前的论坛帖子、博客日志，扩展到供求信息页、视频页、用户资料页，这些任何由用户填写和生成内容的地方，都会被作弊者发掘利用，形成大量的UGC性质的垃圾页面。
搜索引擎在发现UGC性质的垃圾页面后必将做出相应应对，但对真正操作群发的作弊者很难有效的打击，所以作弊者容易利用UGC站点极低成本且自身安全这些特点，做出更多危害网站、危害用户、危害搜索引擎的行为。若网站自身管理不严控制不力，很容易成为垃圾内容的温床；有些网站为了短期流量而对垃圾内容置之不理，这无异于饮鸩止渴。网站不应仅仅是平台的提供者，更应该是内容的管理者，积极维护网站自身质量非常重要。若网站任由垃圾内容滋长，不仅会影响网站的用户体验，同时也会破坏网站口碑和自身品牌建设，造成正常用户流失，严重时，还会使搜索引擎降低对网站的评价。
对于作弊者来说，在UGC站点上发布垃圾内容的目的就是被搜索引擎收录，如果不能让垃圾页面在网站和搜索引擎上消失，他们依然会持续不断地产生更多垃圾内容。百度站长平台希望和站长一起打击垃圾页面，帮助网站良性发展，共同维护互联网生态环境。
这里所说的被黑，指黑客通过网站漏洞篡改网页内容、为网站恶意添加许多垃圾页面，内容往往与博彩、游戏等热门关键词有关，然后利于网站在搜索引擎中的天然优势骗取更多流量。互联网上所有网站其实都存在被黑的可能，尤其是已在搜索引擎中获得较好表现的站点更要注意，千万不要让被黑令自己的心血付之东流。
先通过外界对网站进行观察，如果有如下现象，那您的网站可能被黑了
**注：site查询结合一些常见的色情、游戏、境外博彩类关键字，可帮助站长更快的找到异常页面，例如“site:www.abcxyz.com 博彩”**
通过上述方法站长怀疑自己的网站被黑了，那么该如何对黑出来的内容进行排查呢？
【重要提示】若直接访问网站时一切正常，但在百度的搜索结果展现了异常的快照内容，这可能是黑客做了特殊处理，只让百度蜘蛛抓取到异常的页面，以此来增加隐蔽性，让站长难以发现；同理，若直接访问网站正常，但从百度搜索结果页进行访问时，出现了异常页面，这是黑客针对百度来源（refer）做了特殊处理
**注：可以从访问日志中，确定可能的被黑时间。不过黑客可能也修改服务器的访问日志。**
2014年5月14日，前瞻网官方微博发布公告，宣布域名被盗损失过亿。在黑客遍行的今天，域名被盗被劫持几乎每天都在发生。百度搜索引擎希望站长在关注收录、流量、变现的同时，多多关注域名安全，毕竟域名安全是生存之本。在之前与站长接触中，发现站长都有如下心理：域名控制权完全在服务商，我们处于被动的一方。那么站长就真的什么都不用做、什么都无法做了么？
1，域名被解析到其它地址，用户无法正常访问，网站流量受损 2，通过泛解析生成大量子域名，共同指向其它地址（往往是恶意垃圾网站） 3，域名被解析到恶意钓鱼网站，导致用户财产损失 4，当域名被劫持后的内容干扰搜索结果时，为保障用户的使用体验和安全，百度搜索引擎会暂时关闭对域名的收录和展示，待严格审核确认后才会再度放开
**使用此方法后，需要做域名解析都要通过服务商来完成，时效性较差**
关于网站建设，其实还有很多零碎的问题要注意，所以在这里单启一篇，日后再根据反馈不断补充完善。
搜索引擎往往将二级域名当作一个独立的网站看待，同时会视情况将主域名的评价传递一部分给二级域名。使用二级域名会使同domain下站点变多，但是每个站点的体量变小。二级域名的SEO特点是：
将不同内容通过子目录的情况放在同一个网站下，会使网站体量变得越来越大，可以使网站积累更多的投票：
选择使用二级域名还是子目录来分配网站内容，对网站在搜索引擎中的表现会有较大的影响，为此百度站长平台建议：
在某个频道的内容没有丰富到可以当作一个独立站点存在之前，使用目录形式；等频道下积累了足够的内容，再通过改版成二级域名的形式。
一个网页能否排到搜索引擎结果的前面，“出身”很重要，如果出自一个站点评价较高的网站，那排到前面的可能性就较大，反之则越小。通常情况下，二级域名会从主站点继承一部分权重，继承多少视二级域名质量而定。
在内容没有丰富到可以作为一个独立站点之前，使用子目录更能在搜索引擎中获得较好表现。
内容差异较大、关联度不高的内容，建立使用二级域名的形式。
搜索引擎会识别网站的主题，如果网站中各子目录的内容关联度不高，可能导致搜索引擎错误地判断网站的主题。所以，关联度不高的内容放在不同的二级域名中，可以帮助搜索引擎更好的理解网站的主题。
二级域名间的服务器权限应该严格控制，a.domain.com下的内容，最好不能域名替换通过b.domain.com访问。如：a.domain.com/abc.html 不应该通过b.domain.com/abc.html访问到。
二级域名的内容能够互相访问，可能会被搜索引擎当作重复内容进行去重处理，保留的URL不一定能符合站长预期。
网站在生存发展中会遇到很多问题，会因为各种原因产生不同的域名，而这些域名的内容却都是相同的。百度一直在说拒绝重复内容，那么，多域名同内容是否会对SEO产生负影响呢？我们收集了众多站长对多域名同内容的问题后，请百度spider专家做了统一解答，现公布出来供各站长参考。
问：多个域名指向同一个域名算是作弊么?
答：如果某公司从品牌保护或长远发展角度出发，注册了多个域名，且多域名301重定向指向一个常用域名，那此行为本身不属于作弊。但是如果进行301重定向的多域名本身有作弊行为，那么被指向的域名有可能受到牵连。
问：多个域名同内容是否有利于提高排名？
答：此举非常不利于提高排名，因为多个域名会分散原本应该属于单独域名的外链进而影响权重，不利于单独域名获得更好的排名。
问：我们先推个测试域名，走上正轨后再启用正式域名，会有什么影响吗？
答：如果两个域名的内容完全一样，对正式域名的收录可能会有影响。搜索引擎会认为这两个网站重复，在已经收录了前者的前提下，会对后者限制收录。的确曾经有某理财网站先搞一个临时域名在搜索引擎试水，结果等正牌域名上线后却迟迟得不到收录的事情发生。
问：如果公司已经有多个域名是相同内容该怎么处理？
答：先确认一个好记易懂的域名作为“唯一域名”，进行重点宣传推介，其余的域名也千万不能放任自流，尤其是当测试域名已经有了较好的收录和排位时，可以设置301重定向，指向唯一域名。同时登录百度站长平台对新旧网站进行验证，然后在网站改版工具中进行相应的操作，可以让“唯一域名”继承原域名已获得的权重。
网站改版工具地址&帮助说明
