标签归档：seo

爬虫流量对比分析：2024 vs 2026

本文对比了同一站点在 2024 年和 2026 年两个时间段的爬虫流量变化，分析了搜索引擎爬虫、AI 爬虫和 SEO 工具爬虫的此消彼长。

数据说明

• 2024 年数据：选取了 4 天的访问日志（3 月、4 月、5 月、6 月各一天），合计约 70 万条请求
• 2026 年数据：选取了 7 月连续 9 天的访问日志，合计约 244 ...

今天在查看站长统计数据时，惊讶地发现网站的流量较前日锐减。

仔细观察网站的来路域名数据之后，才发现网站来源于百度搜索的流量几乎为0。

在百度搜索中查询关键词site:bookshadow.com，发现网站的连通率为0%，此外网站首页在搜索结果中“消失”了，只剩下了内页链接。

这就是SEO领域人们常常提到的“K站”，书影博客被百度K站了！

博客从搭建之初到现在这一年多的时间里，笔者第一次亲身经历博客被搜索引擎K站。

不出所料，在百度搜索框中查询书影博客的几个热门关键词，结果列表中已经无法找到相关的搜索结果。

打开百度站长工具后，笔者发现了问题症结所在。

消息提醒中赫然列出了两条关于Baiduspider抓取异常的提示，内容如下：

错误提示1：

http://www.bookshadow.com/: Baiduspider无法通过联通访问您的网站  2014年03月30日
亲爱的网站管理员：
Baiduspider通过联通网络无法访问网站http://www.bookshadow.com/ ，请您在抓取异常工具中查看详情。
检测时间：2014-03-30 06:00:00

错误提示2 ...

在这篇博文中，我不讨论实用技巧，而是讨论一些已经在我脑海中酝酿了一阵儿，更加策略性的东西——搜索营销人员有时会偏激地只考虑排名，而忽视了更重要的东西——但这并不适用于业界的所有人。

在很多方面，本文是我会在恰当的时机发布的一些研究的简要记录。

不是做什么，而是为什么做

搜索引擎营销人员为客户做的工作可以被良好的定义，并且对客户有着明确的价值。通过提升某些关键词的排名，我们吸引更多的访客浏览站点——特别是对站点相关主题感兴趣的访客。

然而，在某些场合下，构建搜索引擎知名度并不是一个恰当的营销策略；如果想要人们观看一场比赛或者一个不会持续很久的电视节目，那么站点可以通过其他站点的链接获得更多的访客或者更高的质量。因而，从相关的、流量不错的站点获得外链是非常有价值的。

对于互联网营销人员（我认为这个称谓比SEM更加合适），构建外链是有价值的，同时也是有别于传统思想的一个有趣的突破。分析日志可以告诉你每个链接到底带来了多少访客（以及转化率）——这意味着你可以快速的优化外链构建策略，将精力放在回报更高的技术上。

此外，构建外链和获得访客之间的紧密关联意味着中间人（Google，及其令人费解的算法）被排除在等式之外。这意味着你可以不再需要考虑下面的问题：

• links behind logins on forums ...

最近我看到了许多关于nofollow链接在SEO中是否有价值的讨论，一些人表示nofollow链接是有价值的。我请教了几位SEO的业界领袖，看看他们对于nofollow链接的看法。

具体来说：“你对nofollow链接是怎么看的？从社会化媒体或者Wikipedia之类的网站获取这些外链是否还有价值？在什么情况下你会寻求从Wikipedia获取外链？是因为它们巨大的影响力和听众所以值得吗，即使在没有SEO价值的情况下？”

专家解读：

Tom Critchlow在纽约的SEO公司Distilled担任运营副总裁，目前在为互联网非常著名的SEO软件提供商SEOmoz提供SEO支持。

有许多围绕nofollow链接及其对于SEO影响的讨论。Will写了一篇关于nofollow链接可以带来的权重的很不错的博客（http://www.seomoz.org/blog/nofollow-is-dying-the-impact-of-microblogging-and-nofollow-on-seo）。从SEO的角度考虑，我认为大家不应该只热衷于获取"followed"链接。只要是来自于大型站点并且可以带来流量的链接就应该努力获取。

最近搜索引擎逐渐开始关注来自社交网络（比如推特，脸书等）的分享链接（都是nofollow的），以及（来自于工具栏和浏览器的使用的）流量数据。因此如果你正在尝试在线推广自己的品牌，就不要过分关注某个链接是否与SEO相关——你应该考虑某个链接是否对你的品牌有好处，因为你可以肯定这就是Google所鼓励的。特别的，我发现Wikipedia甚至可以为某些搜索量不太大的利基（niche ...

通过站点地图，Google 可以在您的网站上找到通过其他方式可能无法发现的网页。用最简单的话来讲，XML 站点地图（一般就叫站点地图）就是您网站上各网页的列表。创建并提交站点地图有助于确保 Google 了解您网站上的所有网页，包括 Google 在正常抓取过程中可能找不到的网址。

您可以根据站点地图协议创建站点地图，也可以提交文本文件或 RSS/Atom 供稿作为站点地图。如何创建站点地图。

除此之外，您也可使用站点地图向Google提供有关您的站点上特定类型内容的元数据，包括视频，图像，移动网址和新闻。例如，视频站点地图条目可指定视频的时长、类别以及是否适合全家人观看；而图片站点地图条目可提供关于图片的主题、类型和许可的信息。您还可以使用站点地图提供有关您网站的其他信息，例如最后更新日期以及网页的预计更改频率。我们建议您使用单独的站点地图提交新闻信息。

在以下情况下 ...