套了百度云加速后，如何让百度蜘蛛不爬源站？

zqm840527 · 发表于 2021-7-3 16:21:30

套了百度云加速后，如何让百度蜘蛛不爬源站？

以前百度云加速好像有个“自动让搜索引擎爬虫回源”的选项，现在找了一下，没有这个选项了。

现在在站长工具里模拟抓取，抓的都是源站地址，有没有什么办法让蜘蛛爬百度的cdn，而不爬源站？

特别是百度蜘蛛，当然可以让所有蜘蛛都爬cdn也可以。

各位大佬指点一下？谢谢

度百 · 发表于 2021-7-3 17:56:26

百度蜘蛛自动识别自家cdn然后回源的吧估计

hyd · 发表于 2021-7-3 17:57:39

dns解析有一个搜索引擎到源站

zqm840527 · 发表于 2021-7-3 19:26:35

hyd 发表于 2021-7-3 17:57
dns解析有一个搜索引擎到源站

大佬我请教的是怎样让蜘蛛不到源站...

zqm840527 · 发表于 2021-7-5 09:09:04

度百发表于 2021-7-3 17:56
百度蜘蛛自动识别自家cdn然后回源的吧估计

好像以前有不回源的选项，现在没了

zqm840527 · 发表于 2021-7-19 00:23:37

顶起来看看有没有大佬知道怎么弄

		自动登录	找回密码
密码			注册

[Windows VPS] 套了百度云加速后，如何让百度蜘蛛不爬源站？