爬虫流量对比分析：2024 vs 2026
作者是 发布于 .

爬虫流量对比分析：2024 vs 2026

本文对比了同一站点在 2024 年和 2026 年两个时间段的爬虫流量变化，分析了搜索引擎爬虫、AI 爬虫和 SEO 工具爬虫的此消彼长。

数据说明

  • 2024 年数据：选取了 4 天的访问日志（3 月、4 月、5 月、6 月各一天），合计约 70 万条请求
  • 2026 年数据：选取了 7 月连续 9 天的访问日志，合计约 244 万条请求
  • 爬虫识别采用 IP 黑名单 + User-Agent 关键词双重过滤

整体规模

2024 年（4天）2026 年（9天）变化
爬虫总请求数~26.6 万~84.1 万+216%
日均爬虫请求~6.7 万~9.3 万+40%
爬虫占总流量38.1%36.2%基本持平

爬虫绝对量增长了四成，但占比几乎没变，说明真实用户流量也在同步增长。

主要爬虫排名变化

爬虫归属2024 占比2026 占比趋势
Bingbot微软必应27.0%30.1%→ 稳定第一
AhrefsBotSEO 工具10.8%19.9%↑ 接近翻倍
ClaudeBotAnthropic5.9%8.9%↑ 明显增长
GooglebotGoogle2.4%8.2%↑ 大幅增长
SemrushBotSEO 工具10.4%6.8%↓ 占比下降
Sogou Spider搜狗搜索10.1%0.7%↓ 几乎消失
FacebookMeta6.9%0.2%↓ 大幅缩减
MJ12botMajestic SEO6.2%1.0%↓ 大幅缩减
Amazonbot亚马逊8.8%2.7%↓ 缩减

2026 年新面孔

以下爬虫在 2024 年几乎为零，2026 年已占可观比例：

爬虫归属2026 占比说明
Meta ExternalAgentMeta5.2%Facebook 的新一代爬虫
OAI-SearchBotOpenAI3.0%ChatGPT 搜索爬虫
Bytespider字节跳动2.1%头条/抖音内容抓取
PetalBot华为1.7%华为搜索引擎

LLM / AI 相关爬虫 User-Agent 一览

以下是日志中实际出现的 LLM 相关爬虫 UA 及其请求量，可作为 robots.txt 配置参考。

2026 年（9天合计）

爬虫请求数完整 User-Agent
ClaudeBot74,607Mozilla/5.0 ... compatible; ClaudeBot/1.0; +claudebot@anthropic.com
GPTBot36,663Mozilla/5.0 ... compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot24,709Mozilla/5.0 ... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User16,182Mozilla/5.0 ... compatible; ChatGPT-User/1.0; +https://openai.com/bot
PerplexityBot143Mozilla/5.0 ... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot
Claude-User44Mozilla/5.0 ... compatible; Claude-User/1.0; +claude-user@anthropic.com
cohere-ai3Mozilla/5.0 (compatible; cohere-ai/1.0; +https://cohere.com)
CCBot3CCBot/2.0 (https://commoncrawl.org/faq/)
Claude-Code17Claude-User (claude-code/2.1.x; +https://support.anthropic.com/)

2024 年（4天合计）

爬虫请求数完整 User-Agent
ClaudeBot15,617Mozilla/5.0 ... compatible; ClaudeBot/1.0; +claudebot@anthropic.com
CCBot181CCBot/2.0 (https://commoncrawl.org/faq/)
GPTBot57Mozilla/5.0 ... compatible; GPTBot/1.2; +https://openai.com/gptbot
ChatGPT-User51Mozilla/5.0 ... compatible; ChatGPT-User/1.0; +https://openai.com/bot
Diffbot3... Diffbot/0.1; +http://www.diffbot.com

LLM 爬虫对比速览

指标2024 年2026 年增长
LLM 爬虫种类5 种9 种+80%
日均 LLM 请求~3,977~16,931+326%
ClaudeBot 日均~3,904~8,290+112%
GPTBot 日均~14~4,074+29,000%
OpenAI 系合计日均~27~8,394+31,000%
说明：GPTBot 用于训练数据抓取，ChatGPT-User 用于用户触发的实时浏览，OAI-SearchBot 用于 ChatGPT 搜索功能。2026 年 OpenAI 三个爬虫合计日均请求已超过 ClaudeBot，成为最大的 AI 爬虫来源。

关键趋势解读

1. 搜索引擎：Bing 持续领先，Google 加速追赶

Bingbot 两年都是占比最高的爬虫，2026 年日均请求量从 1.8 万涨到 2.8 万。Googlebot 增长更为迅猛，占比从 2.4% 飙升到 8.2%，可能是 Google 调整了抓取策略或网站权重提升。

2. AI 爬虫崛起

ClaudeBot（Anthropic）+ OAI-SearchBot（OpenAI）合计占比从 2024 年的 5.9% 升至 2026 年的 11.9%。AI 公司正大规模抓取公开网页数据用于模型训练和搜索产品。这个趋势预计还会加速。

3. SEO 工具爬虫此消彼长

AhrefsBot 翻倍增长，SemrushBot 和 MJ12bot 占比下降。Ahrefs 似乎在 SEO 工具市场进一步扩大了份额。

4. 国内爬虫格局洗牌

  • 搜狗爬虫：从 10.1% 暴跌到 0.7%，基本印证了搜狗搜索业务的萎缩
  • 字节跳动 Bytespider：从零到 2.1%，成为新的国内爬虫主力
  • 华为 PetalBot：从零到 1.7%，鸿蒙生态推动华为搜索发展

5. 社交平台爬虫换代

Facebook 旧爬虫（facebookexternalhit）从 6.9% 降到 0.2%，但 Meta 用全新的 ExternalAgent 取代，合计占比仍维持在 5% 以上。

爬虫流量占比构成图

2024 年爬虫构成              2026 年爬虫构成
─────────────────────       ─────────────────────
Bingbot      27.0% █████    Bingbot      30.1% ██████
AhrefsBot    10.8% ██       AhrefsBot    19.9% ████
SemrushBot   10.4% ██       ClaudeBot     8.9% ██
Sogou        10.1% ██       Googlebot     8.2% ██
Amazonbot     8.8% ██       SemrushBot    6.8% █
DataForSeo    8.0% █        MetaAgent     5.2% █
Facebook      6.9% █        DataForSeo    4.7% █
MJ12bot       6.2% █        DotBot        3.3% █
ClaudeBot     5.9% █        OAI-Search    3.0% █
Googlebot     2.4%          Amazonbot     2.7% █
其他          3.5% █        Bytespider    2.1%
                            其他          5.1% █

总结

两年间爬虫生态最显著的变化是 AI 爬虫的崛起和国内搜索引擎爬虫的洗牌。搜索引擎爬虫（Bing + Google）依然占据主导地位，但 Anthropic、OpenAI 等 AI 公司的爬虫正在快速追赶。对于站长来说，需要关注的是 AI 爬虫是否遵循 robots.txt 协议，以及是否可以通过这些爬虫获取来自 AI 搜索产品的流量。

本文链接：http://bookshadow.com/weblog/2026/07/12/crawler-traffic-2024-vs-2026/
请尊重作者的劳动成果，转载请注明出处！书影博客保留对文章的所有权利。

如果您喜欢这篇博文，欢迎您捐赠书影博客： ，查看支付宝二维码

Pingbacks已打开。

引用地址

暂无评论

张贴您的评论