全球主机交流论坛

标题: 套了百度云加速后，如何让百度蜘蛛不爬源站？ [打印本页]

作者: zqm840527 时间: 2021-7-3 16:21
标题: 套了百度云加速后，如何让百度蜘蛛不爬源站？
套了百度云加速后，如何让百度蜘蛛不爬源站？

以前百度云加速好像有个“自动让搜索引擎爬虫回源”的选项，现在找了一下，没有这个选项了。

现在在站长工具里模拟抓取，抓的都是源站地址，有没有什么办法让蜘蛛爬百度的cdn，而不爬源站？

特别是百度蜘蛛，当然可以让所有蜘蛛都爬cdn也可以。

各位大佬指点一下？谢谢

作者: 度百 时间: 2021-7-3 17:56
百度蜘蛛自动识别自家cdn然后回源的吧估计

作者: hyd 时间: 2021-7-3 17:57
dns解析有一个搜索引擎到源站

作者: zqm840527 时间: 2021-7-3 19:26

hyd 发表于 2021-7-3 17:57
dns解析有一个搜索引擎到源站

大佬我请教的是怎样让蜘蛛不到源站...

作者: zqm840527 时间: 2021-7-5 09:09

度百发表于 2021-7-3 17:56
百度蜘蛛自动识别自家cdn然后回源的吧估计

好像以前有不回源的选项，现在没了

作者: zqm840527 时间: 2021-7-19 00:23
顶起来看看有没有大佬知道怎么弄

欢迎光临全球主机交流论坛 (https://loc.wget.at/)