全球主机交流论坛

标题: 怎么给网站安排人机验证但不能妨碍搜索引擎抓取 [打印本页]

作者: qinjoo 时间: 2024-10-3 11:26
标题: 怎么给网站安排人机验证但不能妨碍搜索引擎抓取
导航站点被扫描器天天扫，国内国外的IP成段扫描，我都怀疑是国内网安公司有组织性的批量扫描行为，1h 1g小鸡遭不住了，想开人机验证又怕影响搜索引擎抓取导致流量下降。MJJ有什么好办法没？

作者: lordong 时间: 2024-10-3 11:28
开人机验证

然后放行已知搜索引擎机器人

作者: 喵酱文晓依 时间: 2024-10-3 11:29
开IP段白名单，搜索引擎爬虫IP段都是公开的

作者: 小伟 时间: 2024-10-3 11:30

作者: yanaxiao 时间: 2024-10-3 15:09
建议换台8核8G的机子

作者: hxuf 时间: 2024-10-4 10:41
开验证，但是这样会有问题。有时候搜索引擎模拟普通用户抓取。会判定为作弊。

作者: zsj1259 时间: 2024-10-4 10:43
开个白名单的事

作者: xiF 时间: 2024-10-4 11:16
放行爬虫，其他验证

谷歌：https://developers.google.com/static/search/apis/ipranges/googlebot.json

必应：https://www.bing.com/toolbox/bingbot.json

百度搜狗 360 劝大家远离

作者: wmfy808 时间: 2024-10-4 11:18
分ip解析

欢迎光临全球主机交流论坛 (https://loc.wget.at/)