什么是DotBot

DotBot 详细介绍

1. 什么是 DotBot

DotBot 是 Moz（前身为 SEOmoz）运营的网页爬虫，专门用于抓取互联网上的页面并收集链接数据，构建 Moz 的 Link Index。这些数据随后供 Moz Pro 系列产品（如 Campaign、Link Explorer）以及 Moz Links API 使用，以帮助站长和 SEO 从业者进行外链分析、竞争对手研究等工作。

2. 主要用途

• 链接采集：遍历网站，记录页面之间的超链接关系。
• SEO 数据支撑：为 Moz 的域名权威（Domain Authority）和页面权威（Page Authority）等指标提供原始数据。
• 竞争情报：帮助用户了解竞争网站的外链结构和新获取的链接来源。

3. User‑Agent 标识

DotBot 在 HTTP 请求头中的标识为：

Mozilla/5.0 (compatible; DotBot/1.x; +https://opensiteexplorer.org/dotbot; help@moz.com)

在 robots.txt 中对应的 User‑agent 为 dotbot（大小写不敏感）。

4. 遵守的协议

DotBot 完全遵循 Robots Exclusion Protocol（robots.txt）。在每次抓取前，它会读取站点根目录下的 robots.txt，并严格按照其中的 Disallow、Allow、Crawl-delay 等指令执行。若未在 robots.txt 中找到对应规则，则默认抓取整个站点。

5. 如何在 robots.txt 中屏蔽 DotBot

将上述规则添加到站点根目录的 robots.txt 文件中即可控制 DotBot 的访问行为。

6. 常见使用场景

• 站点外链审计：通过 Moz 提供的报告，快速了解网站获得的外部链接质量。
• 竞争对手监控：观察竞争网站的链接增长趋势，发现潜在的链接获取机会。
• 内容营销评估：评估新发布内容的外链获取效果，指导后续内容策略。

7. 与其他爬虫的区别

DotBot 的抓取频率相对温和，专注于链接信息，而非全文内容的深度索引。

8. 注意事项

• 及时更新 robots.txt：如果站点结构或隐私策略有变动，需同步更新 robots.txt，以免误被 DotBot 抓取。
• 监控日志：通过服务器访问日志可以看到 User-Agent: DotBot 的请求，帮助确认规则是否生效。
• 合法合规：DotBot 的抓取行为符合国际通行的网络爬虫规范，不会对站点造成异常负载。