标签归档：seo

爬虫流量对比分析：2024 vs 2026

本文对比了同一站点在 2024 年和 2026 年两个时间段的爬虫流量变化，分析了搜索引擎爬虫、AI 爬虫和 SEO 工具爬虫的此消彼长。

数据说明

• 2024 年数据：选取了 4 天的访问日志（3 月、4 月、5 月、6 月各一天），合计约 70 万条请求
• 2026 年数据：选取了 7 月连续 9 天的访问日志，合计约 244 万条请求
• 爬虫识别采用 IP 黑名单 + User-Agent 关键词双重过滤

整体规模

今天在查看站长统计数据时，惊讶地发现网站的流量较前日锐减。

仔细观察网站的来路域名数据之后，才发现网站来源于百度搜索的流量几乎为0。

在百度搜索中查询关键词site:bookshadow.com，发现网站的连通率为0%，此外网站首页在搜索结果中“消失”了，只剩下了内页链接。

这就是SEO领域人们常常提到的“K站”，书影博客被百度K站了！

博客从搭建之初到现在这一年多的时间里，笔者第一次亲身经历博客被搜索引擎K站。

不出所料，在百度搜索框中查询书影博客的几个热门关键词，结果列表中已经无法找到相关的搜索结果。

打开百度站长工具后，笔者发现了问题症结所在。

消息提醒中赫然列出了两条关于Baiduspider抓取异常的提示，内容如下：

错误提示1：

http://www.bookshadow.com/: Baiduspider无法通过联通访问您的网站  2014年03月30日
亲爱的网站管理员：
Baiduspider通过联通网络无法访问网站http://www.bookshadow.com/ ，请您在抓取异常工具中查看详情。
检测时间：2014-03-30 06:00:00

错误提示2：

http://www.bookshadow.com/: Baiduspider无法通过电信访问您的网站  2014年03月31日
亲爱的网站管理员：
Baiduspider通过电信网络无法访问网站http://www.bookshadow.com/ ，请您在抓取异常工具中查看详情。
检测时间：2014-03-31 05:00:00

问题找到了，笔者通过百度站长提供的抓取诊断工具尝试进行了10次手工抓取，发现有3次失败。

点击“抓取失败”连接查看详情，发现原来是DNS的问题，以下是百度Spider抓取结果及页面信息：

提交网址：    http://www.bookshadow.com/
抓取网址：    https://bookshadow.com/ (有跳转)
抓取UA：    Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
抓取时间：    2015-04-04 ...

在这篇博文中，我不讨论实用技巧，而是讨论一些已经在我脑海中酝酿了一阵儿，更加策略性的东西——搜索营销人员有时会偏激地只考虑排名，而忽视了更重要的东西——但这并不适用于业界的所有人。

在很多方面，本文是我会在恰当的时机发布的一些研究的简要记录。

不是做什么，而是为什么做

搜索引擎营销人员为客户做的工作可以被良好的定义，并且对客户有着明确的价值。通过提升某些关键词的排名，我们吸引更多的访客浏览站点——特别是对站点相关主题感兴趣的访客。

然而，在某些场合下，构建搜索引擎知名度并不是一个恰当的营销策略；如果想要人们观看一场比赛或者一个不会持续很久的电视节目，那么站点可以通过其他站点的链接获得更多的访客或者更高的质量。因而，从相关的、流量不错的站点获得外链是非常有价值的。

对于互联网营销人员（我认为这个称谓比SEM更加合适），构建外链是有价值的，同时也是有别于传统思想的一个有趣的突破。分析日志可以告诉你每个链接到底带来了多少访客（以及转化率）——这意味着你可以快速的优化外链构建策略，将精力放在回报更高的技术上。

此外，构建外链和获得访客之间的紧密关联意味着中间人（Google，及其令人费解的算法）被排除在等式之外。这意味着你可以不再需要考虑下面的问题：

• links behind logins on forums 论坛上只有登录可见的链接
• nofollow links nofollow链接
• image links without anchor text 没有锚文本的图片链接
• penalised sites 被惩罚的站点
• links from bad neighbourhoods 来自于恶邻的链接
• exactly on-target anchor text. 正中靶心的锚文本

还有就是，你可以无所顾忌的购买nofollow链接。它们只是相当于广告（确保是nofollow的，避免传统的SEO收到影响）。再一次——基于于此你可以根据每一个链接带来的访客数评估它们的价值，从而知道哪些链接值得购买，而哪些不值得花钱。

一石二鸟？

那么，我们构建链接要么是为了流量，要么是为了搜索引擎排名。实际上，在链接图分析的“随机行走”模型中，所有的链接的作用都是双重的。每一个包含外链的页面都会为被其链接的页面带来一部分访客。

然而，事情已经不再是这样了。我经常构建这样的链接，它可以带来显著的搜索引擎效益，但是很少带来访客（例如：来自一个高权重但是低流量目录的链接）；而某些链接，例如广告banner，推特和Wikipedia的引用也可以带来（很多）流量，但是不会带来搜索引擎收益。

精明的互联网营销人员应该构建既可以带来流量，又可以提升排名的外链，因为它最终可以为目标站点带来好处，提升其知名度和利润。 ...

最近我看到了许多关于nofollow链接在SEO中是否有价值的讨论，一些人表示nofollow链接是有价值的。我请教了几位SEO的业界领袖，看看他们对于nofollow链接的看法。

具体来说：“你对nofollow链接是怎么看的？从社会化媒体或者Wikipedia之类的网站获取这些外链是否还有价值？在什么情况下你会寻求从Wikipedia获取外链？是因为它们巨大的影响力和听众所以值得吗，即使在没有SEO价值的情况下？”

专家解读：

Tom Critchlow在纽约的SEO公司Distilled担任运营副总裁，目前在为互联网非常著名的SEO软件提供商SEOmoz提供SEO支持。

有许多围绕nofollow链接及其对于SEO影响的讨论。Will写了一篇关于nofollow链接可以带来的权重的很不错的博客（http://www.seomoz.org/blog/nofollow-is-dying-the-impact-of-microblogging-and-nofollow-on-seo）。从SEO的角度考虑，我认为大家不应该只热衷于获取"followed"链接。只要是来自于大型站点并且可以带来流量的链接就应该努力获取。

最近搜索引擎逐渐开始关注来自社交网络（比如推特，脸书等）的分享链接（都是nofollow的），以及（来自于工具栏和浏览器的使用的）流量数据。因此如果你正在尝试在线推广自己的品牌，就不要过分关注某个链接是否与SEO相关——你应该考虑某个链接是否对你的品牌有好处，因为你可以肯定这就是Google所鼓励的。特别的，我发现Wikipedia甚至可以为某些搜索量不太大的利基（niche）词条链接带来非常可观的流量。

我会呼吁商家观察Wikipedia页面的niche，考虑是否可以提供这样的价值。如果可以，你可以确信它可以带来很好的转化流量。

Gianluca Fiorelli,  SEO, IloveSEO:

谈到链接，我个人不会首先考虑它们是否是followed链接。虽然，从纯粹的经典SEO角度来看，如果要提升被链接页面的PageRank，反向链接就必须是followed链接。但我已经不再单纯的从PageRank角度考虑链接，而会综合考虑其信任和品牌知名度。实际上，即使搜索引擎不通过no followed链接向你的站点传递PR值，它们还是会将其记录下来并且注意到你的网站已经被引用了，如果引用站点是一个权威站点或者可以被信任的站点，它的光环就会以某种方式传递给你自己的站点，从而获得搜索引擎的信任和关注，进而获得更高的排名。

单纯基于这个原因，被Wikipedia或者别的权威社会化媒体站点链接就是一件好事，社会化媒体站点包括论坛，博客，问答网站等等。显然，它们可以直接为你的网站带来很好的流量：不妨想想Quora的最佳答案中的链接可以为你的网站带来多少流量。

在什么情况下你可以从Wikipedia获取链接？首先你必须拥有非常非常优质并且独一无二的内容。Wikipedia对于外链的选择十分挑剔。如果你拥有这样的内容，你就可以向Wikipedia做推荐。

例如：在一个关于Patagonia（巴塔哥尼亚）旅行相关站点的竞争力研究中，我观察了Google排名第一的结果。它拥有来自Wikipedia的链接。我点开那个链接发现这是一个关于巴塔哥尼亚的威尔士移民的博客文章。这个链接向站点输送流量了吗？很可能完全没有，但是它被BBC网站的某个人注意到，这个人最终引用了这篇文章。砰！现在这个旅游站点不仅拥有来自Wikipedia的链接，还拥有了来自另外一个十分重要站点的反向链接：BBC。

这个故事告诉我们：Wikipedia可能不会给你带来很好的流量，但是拥有来自它的反向链接会给你的站点带来威信，因而其他站点会倾向于引用你的站点并加以链接。

Barry Schwartz, Executive Editor, Search Engine Roundtable:

Nofollow链接对于大部分搜索引擎来说不会传递任何PR值，包括Google和Bing。你可以拥有来自Wikipedia或者甚至Google主博客的nofollow链接，但它们不会提升你的PR值。但这并不意味着这样的链接就没有价值。

来自大流量网站的链接，即使是nofollow类型的，也可以带来流量。这些流量可以引导、转化甚至鼓励其他网站对你的站点添加不含nofollow属性的链接。如果从社会化媒体获得链接，其好处更多的是可以为你的内容或者产品提升知名度。知名度会带来更多的链接以及更高的知名度。

原文链接：http://blog.hubspot.com/blog/tabid/6307/bid/11285/SEO-Are-Nofollow-Links-Still-Valuable.aspx

通过站点地图，Google 可以在您的网站上找到通过其他方式可能无法发现的网页。用最简单的话来讲，XML 站点地图（一般就叫站点地图）就是您网站上各网页的列表。创建并提交站点地图有助于确保 Google 了解您网站上的所有网页，包括 Google 在正常抓取过程中可能找不到的网址。

您可以根据站点地图协议创建站点地图，也可以提交文本文件或 RSS/Atom 供稿作为站点地图。如何创建站点地图。

除此之外，您也可使用站点地图向Google提供有关您的站点上特定类型内容的元数据，包括视频，图像，移动网址和新闻。例如，视频站点地图条目可指定视频的时长、类别以及是否适合全家人观看；而图片站点地图条目可提供关于图片的主题、类型和许可的信息。您还可以使用站点地图提供有关您网站的其他信息，例如最后更新日期以及网页的预计更改频率。我们建议您使用单独的站点地图提交新闻信息。

在以下情况下，站点地图特别有用：

• 网站含动态内容。
• 您的网站中包含在 Googlebot 抓取过程中不易发现的网页，例如含有富 AJAX 或图片内容的网页。
• 网站为新网站且指向该网站的链接不多。（Googlebot 会跟随链接从一个网页到另一个网页抓取网页，因此，如果您的网站没有很好地链接，我们可能很难发现它。）
• 网站有大量内容页存档，这些内容页彼此之间没有很好地链接，或根本就没有链接。

Google 不保证一定会抓取所有网址并将其编入索引。但是，我们会使用站点地图中的数据了解网站的结构，这样可以让我们改进抓取工具的计划，并在日后能更好地对网站进行抓取。大多数情况下，网站管理员会因提交站点地图而受益，而决不会为此受到处罚。

Google ...