各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序...

议长

dxsafe 发表于 2021-6-11 14:00
蓝天

蓝天是个啥？

zxxx

议长 发表于 2021-6-11 14:11
大佬，这玩意怎么过滤成一行一行的ip出来呢？

1. {
   
2.     "type": "http",
   
3.     "response_time": 1.04,
   
4.     "country": "US",
   
5.     "export_address": ["35.172.135.29"],
   
6.     "anonymity": "high_anonymous",
   
7.     "port": 80,
   
8.     "host": "35.172.135.29",
   
9.     "from": "proxylist"
   
10. }
    
11. {
    
12.     "type": "http",
    
13.     "response_time": 1.03,
    
14.     "country": "US",
    
15.     "export_address": ["192.168.99.102", "54.226.33.176"],
    
16.     "anonymity": "transparent",
    
17.     "port": 80,
    
18.     "host": "3.211.65.185",
    
19.     "from": "proxylist"
    
20. }
    
21. {
    
22.     "type": "http",
    
23.     "response_time": 1.03,
    
24.     "country": "US",
    
25.     "export_address": ["104.154.182.187", "149.28.57.91"],
    
26.     "anonymity": "anonymous",
    
27.     "port": 3128,
    
28.     "host": "149.28.57.91",
    
29.     "from": "proxylist"
    
30. }
    
31. {
    
32.     "type": "http",
    
33.     "response_time": 1.05,
    
34.     "country": "US",
    
35.     "export_address": ["149.28.37.131"],
    
36.     "anonymity": "transparent",
    
37.     "port": 3128,
    
38.     "host": "149.28.37.131",
    
39.     "from": "proxylist"
    
40. }

复制代码

议长

zxxx 发表于 2021-6-11 14:12

有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

zxxx

议长 发表于 2021-6-11 14:14
有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

其他的不会，我就是用文本编辑器格式化了一下

呼啦啦

这种简单的文本处理方法有无数种，就看大佬有没有时间了，或许发点红包

Sid

咋天才找论子里嗷嗷给我写了一套脚本 现在自己扫.日活1w左右

议长

Sid 发表于 2021-6-11 14:55
咋天才找论子里嗷嗷给我写了一套脚本 现在自己扫.日活1w左右

分享他一撒大佬

干货插眼小助手

议长 发表于 2021-6-11 14:14
有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

自己的PHP小项目也在用，仅供参考：

1. function getProxy($country) {
   
2.         $raw = file_get_content('https://github.com/fate0/proxylist/raw/master/proxy.list');
   
3.         $nodes = explode(PHP_EOL, $raw);
   
4.         foreach ($nodes as $node) {
   
5.             $node = json_decode($node);
   
6.             // 筛选指定国家(可选)
   
7.             if($node->country == $country)
   
8.                 $proxy .= PHP_EOL . $node->host . ':' . $node->port;
   
9.         }
   
10.         return $proxy;
    
11.     }

复制代码

laosj

好东西，谢谢分享

loveqianool

议长 发表于 2021-6-11 12:26
大佬这个我不会用有具体教程吗：？https://github.com/imWildCat/scylla

https://scylla.wildcat.io/zh/latest/
人家官方文档写的不够好吗