·
Life is short, you need Python!

单独判断 UA 的话没法确定是否为真实的 “某某爬虫”，严格的话要对客户端 IP 做 DNS 分析确定，有很多爬虫伪造 googlebot 去爬别人的内容，比如 fake-useragent 之类