什么是SurdotlyBot

SurdotlyBot 是一种由网站安全和流量优化服务 Sur.ly 开发和维护的网络爬虫（Web Crawler）机器人。

1. 核心定义与来源

SurdotlyBot 是 Sur.ly 提供的安全浏览工具 Surguard 的一部分。Sur.ly 旨在保护网站用户免受外部链接（Outbound Links）中潜在的危险内容（如恶意软件、诈骗网站、未经授权的成人内容等）侵害，或者用于保护网站免受垃圾链接（Spam）攻击。为了实现这一目标，SurdotlyBot 会定期抓取（Crawl）外部链接指向的页面，以分析其安全性和内容特性。

2. 关键特征与工作原理

• User-Agent 标识：SurdotlyBot 在进行网络请求时，会在 HTTP 头部使用如下标识：

  Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)
  

  通过访问 http://sur.ly/bot.html （尽管目前可能无法直接访问到具体页面），它声明了自己的身份和归属。

• 爬取目的：主要用于 分析外部链接。当 Sur.ly 的插件（如 WordPress 插件）或服务检测到网站中存在外部链接时，SurdotlyBot 可能会访问这些目标页面，以确认链接是否安全、是否包含恶意内容或是否符合特定的安全标准。
• 访问行为：通常表现为简单的 HTTP GET 请求，访问路径可能是根目录（GET /）或特定的资源路径。根据日志记录显示，其访问量通常较少，属于低频率爬虫。

3. 对站长的影响与建议

• 日志与性能：由于 SurdotlyBot 的访问量通常很小（部分站长认为可以屏蔽或暂时不理会），它对服务器的负载影响较低。然而，站长可能会在日志中看到类似以下的记录：

  GET / HTTP/1.1" 200 536309 "-" "Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)"
  

  这表明 SurdotlyBot 成功访问了网站首页。

• 屏蔽建议：虽然 SurdotlyBot 访问量较少，部分安全性或性能要求较高的网站主可能选择在 robots.txt 中屏蔽它，以阻止其抓取站点内容：

  User-agent: SurdotlyBot
  Disallow: /
  

  但如果你的网站集成了 Sur.ly 的外链保护插件，可能需要允许它访问，以确保链接安全分析功能正常运行。

4. 与 Sur.ly 服务的关系

SurdotlyBot 并不是一个独立的搜索引擎蜘蛛（如 Googlebot），而是 Sur.ly 生态系统的一部分。Sur.ly 通过这个机器人来收集数据，以便：

• 保护用户：当用户点击网站上的外部链接时，Sur.ly 可以先检查链接安全，或者通过替换链接方式（如将外部链接转换为子域名链接）来拦截潜在风险。
• 提升网站安全评级：Sur.ly 也提供类似“Brilliantly Safe”（极其安全）的网站评级，SurdotlyBot 的爬取行为可能是 Sur.ly 评估和监控网站安全性的手段之一。

总结

SurdotlyBot 是 Sur.ly 公司用于外部链接安全分析的网络爬虫机器人。它的主要目的是帮助网站检测并防御恶意链接威胁，而非传统意义上的搜索引擎索引爬虫。对于大多数站点而言，它的影响是有限的，但如果你在使用 Sur.ly 的相关插件或服务，需要留意其在 robots.txt 中的允许或屏蔽设置。