爬虫流量对比分析：2024 vs 2026
本文对比了同一站点在 2024 年和 2026 年两个时间段的爬虫流量变化，分析了搜索引擎爬虫、AI 爬虫和 SEO 工具爬虫的此消彼长。
数据说明
- 2024 年数据：选取了 4 天的访问日志（3 月、4 月、5 月、6 月各一天），合计约 70 万条请求
- 2026 年数据：选取了 7 月连续 9 天的访问日志，合计约 244 万条请求
- 爬虫识别采用 IP 黑名单 + User-Agent 关键词双重过滤
整体规模
| 2024 年（4天） | 2026 年（9天） | 变化 | |
|---|---|---|---|
| 爬虫总请求数 | ~26.6 万 | ~84.1 万 | +216% |
| 日均爬虫请求 | ~6.7 万 | ~9.3 万 | +40% |
| 爬虫占总流量 | 38.1% | 36.2% | 基本持平 |
爬虫绝对量增长了四成，但占比几乎没变，说明真实用户流量也在同步增长。
主要爬虫排名变化
| 爬虫 | 归属 | 2024 占比 | 2026 占比 | 趋势 |
|---|---|---|---|---|
| Bingbot | 微软必应 | 27.0% | 30.1% | → 稳定第一 |
| AhrefsBot | SEO 工具 | 10.8% | 19.9% | ↑ 接近翻倍 |
| ClaudeBot | Anthropic | 5.9% | 8.9% | ↑ 明显增长 |
| Googlebot | 2.4% | 8.2% | ↑ 大幅增长 | |
| SemrushBot | SEO 工具 | 10.4% | 6.8% | ↓ 占比下降 |
| Sogou Spider | 搜狗搜索 | 10.1% | 0.7% | ↓ 几乎消失 |
| Meta | 6.9% | 0.2% | ↓ 大幅缩减 | |
| MJ12bot | Majestic SEO | 6.2% | 1.0% | ↓ 大幅缩减 |
| Amazonbot | 亚马逊 | 8.8% | 2.7% | ↓ 缩减 |
2026 年新面孔
以下爬虫在 2024 年几乎为零，2026 年已占可观比例：
| 爬虫 | 归属 | 2026 占比 | 说明 |
|---|---|---|---|
| Meta ExternalAgent | Meta | 5.2% | Facebook 的新一代爬虫 |
| OAI-SearchBot | OpenAI | 3.0% | ChatGPT 搜索爬虫 |
| Bytespider | 字节跳动 | 2.1% | 头条/抖音内容抓取 |
| PetalBot | 华为 | 1.7% | 华为搜索引擎 |
LLM / AI 相关爬虫 User-Agent 一览
以下是日志中实际出现的 LLM 相关爬虫 UA 及其请求量，可作为 robots.txt 配置参考。
2026 年（9天合计）
| 爬虫 | 请求数 | 完整 User-Agent |
|---|---|---|
| ClaudeBot | 74,607 | Mozilla/5.0 ... compatible; ClaudeBot/1.0; +claudebot@anthropic.com |
| GPTBot | 36,663 | Mozilla/5.0 ... compatible; GPTBot/1.4; +https://openai.com/gptbot |
| OAI-SearchBot | 24,709 | Mozilla/5.0 ... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot |
| ChatGPT-User | 16,182 | Mozilla/5.0 ... compatible; ChatGPT-User/1.0; +https://openai.com/bot |
| PerplexityBot | 143 | Mozilla/5.0 ... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot |
| Claude-User | 44 | Mozilla/5.0 ... compatible; Claude-User/1.0; +claude-user@anthropic.com |
| cohere-ai | 3 | Mozilla/5.0 (compatible; cohere-ai/1.0; +https://cohere.com) |
| CCBot | 3 | CCBot/2.0 (https://commoncrawl.org/faq/) |
| Claude-Code | 17 | Claude-User (claude-code/2.1.x; +https://support.anthropic.com/) |
2024 年（4天合计）
| 爬虫 | 请求数 | 完整 User-Agent |
|---|---|---|
| ClaudeBot | 15,617 | Mozilla/5.0 ... compatible; ClaudeBot/1.0; +claudebot@anthropic.com |
| CCBot | 181 | CCBot/2.0 (https://commoncrawl.org/faq/) |
| GPTBot | 57 | Mozilla/5.0 ... compatible; GPTBot/1.2; +https://openai.com/gptbot |
| ChatGPT-User | 51 | Mozilla/5.0 ... compatible; ChatGPT-User/1.0; +https://openai.com/bot |
| Diffbot | 3 | ... Diffbot/0.1; +http://www.diffbot.com |
LLM 爬虫对比速览
| 指标 | 2024 年 | 2026 年 | 增长 |
|---|---|---|---|
| LLM 爬虫种类 | 5 种 | 9 种 | +80% |
| 日均 LLM 请求 | ~3,977 | ~16,931 | +326% |
| ClaudeBot 日均 | ~3,904 | ~8,290 | +112% |
| GPTBot 日均 | ~14 | ~4,074 | +29,000% |
| OpenAI 系合计日均 | ~27 | ~8,394 | +31,000% |
说明：GPTBot 用于训练数据抓取，ChatGPT-User 用于用户触发的实时浏览，OAI-SearchBot 用于 ChatGPT 搜索功能。2026 年 OpenAI 三个爬虫合计日均请求已超过 ClaudeBot，成为最大的 AI 爬虫来源。
关键趋势解读
1. 搜索引擎：Bing 持续领先，Google 加速追赶
Bingbot 两年都是占比最高的爬虫，2026 年日均请求量从 1.8 万涨到 2.8 万。Googlebot 增长更为迅猛，占比从 2.4% 飙升到 8.2%，可能是 Google 调整了抓取策略或网站权重提升。
2. AI 爬虫崛起
ClaudeBot（Anthropic）+ OAI-SearchBot（OpenAI）合计占比从 2024 年的 5.9% 升至 2026 年的 11.9%。AI 公司正大规模抓取公开网页数据用于模型训练和搜索产品。这个趋势预计还会加速。
3. SEO 工具爬虫此消彼长
AhrefsBot 翻倍增长，SemrushBot 和 MJ12bot 占比下降。Ahrefs 似乎在 SEO 工具市场进一步扩大了份额。
4. 国内爬虫格局洗牌
- 搜狗爬虫：从 10.1% 暴跌到 0.7%，基本印证了搜狗搜索业务的萎缩
- 字节跳动 Bytespider：从零到 2.1%，成为新的国内爬虫主力
- 华为 PetalBot：从零到 1.7%，鸿蒙生态推动华为搜索发展
5. 社交平台爬虫换代
Facebook 旧爬虫（facebookexternalhit）从 6.9% 降到 0.2%，但 Meta 用全新的 ExternalAgent 取代，合计占比仍维持在 5% 以上。
爬虫流量占比构成图
2024 年爬虫构成 2026 年爬虫构成
───────────────────── ─────────────────────
Bingbot 27.0% █████ Bingbot 30.1% ██████
AhrefsBot 10.8% ██ AhrefsBot 19.9% ████
SemrushBot 10.4% ██ ClaudeBot 8.9% ██
Sogou 10.1% ██ Googlebot 8.2% ██
Amazonbot 8.8% ██ SemrushBot 6.8% █
DataForSeo 8.0% █ MetaAgent 5.2% █
Facebook 6.9% █ DataForSeo 4.7% █
MJ12bot 6.2% █ DotBot 3.3% █
ClaudeBot 5.9% █ OAI-Search 3.0% █
Googlebot 2.4% Amazonbot 2.7% █
其他 3.5% █ Bytespider 2.1%
其他 5.1% █
总结
两年间爬虫生态最显著的变化是 AI 爬虫的崛起和国内搜索引擎爬虫的洗牌。搜索引擎爬虫（Bing + Google）依然占据主导地位，但 Anthropic、OpenAI 等 AI 公司的爬虫正在快速追赶。对于站长来说，需要关注的是 AI 爬虫是否遵循 robots.txt 协议，以及是否可以通过这些爬虫获取来自 AI 搜索产品的流量。
本文链接：http://bookshadow.com/weblog/2026/07/12/crawler-traffic-2024-vs-2026/
请尊重作者的劳动成果，转载请注明出处！书影博客保留对文章的所有权利。
捐赠书影博客
