登录 免费注册

蓝天采集器配合巨量IP设置代理IP详细教程

发布时间:2023年04月28日 · 全文约 1020 字 · 预计阅读 3 分钟

本页目录

           蓝天采集器(SkyCaiji)一款网页爬虫系统,采用PHP+Mysql开发,可部署在云端服务器和虚拟主机中,使用浏览器即可采集数据。软件免费无限制使用,规则和插件可自定义开发。软件支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别。

     

           哪么,此系统在采集数据的过程是如果配合代理ip使用,提高采集效率?今天巨量http小编就给大家详细的介绍下:

     

    准备工作:

    1,下载并安装蓝天采集器运行环境(点击官网直达)

    2,HTTP代理IP(推荐巨量IP,每日赠送1000IP,长期免费),生产API链接,备用

     

    蓝天采集器设置代理IP详细教程:

    第一步:通过蓝天采集器官网的教程,搭建并运行系统,找到后台“设置”栏,点击“采集设置”,在点击“代理”进入到设置页面,第一部分详细设置如下(如下图):

    全局开启:是

    使用分组IP:全部(默认)

    失败多少次屏蔽该IP:推荐“5”(可根据自己业务对采集数据的需求设定)

    IP使用策略:推荐“按时长使用”(可根据购买的代理ip类型选择)

     

    蓝天采集器配合巨量HTTP设置代理IP详细教程

     

    蓝天采集器配合巨量HTTP设置代理IP详细教程

     

    第二步:设置代理ip的相关配置,详细如下(如下图):

    使用:是

    IP入库时机:数据库中无可用IP时(默认)

    API接口:接口

    接口地址:输入巨量IP平台生成的API链接,填写其中

    抓取间隔(分钟):根据开通的代理ip套餐ip时长决定(巨量IP免费套餐默认1~5分钟,所以设置在3分钟左右即可)

    匹配格式:默认信息

    代理类型:http(切记,别选错)

    默认设置:默认用户名,默认密码(此项只限设置socks5代理时会用到)

    代理分组:无

     

    蓝天采集器配合巨量HTTP设置代理IP详细教程

     

    第三步:以上设置完成,点击底部“测试抓取IP”,当返回“成功”时,则设置正常,证明代理ip的配置就是没问题。

     

    完成以上,在返回到其它设置栏,做好相关采集设置选项,就可以开启数据采集了,整体设置不难,希望能有效的帮助到大家。

     

    巨量IP已向众多互联网知名企业提供服务,专注提供长效静态ip,短效动态ip,隧道代理ip,当前节点覆盖全国200+城市,日产千万高品质ip池,ip连通率高达99%,对提高爬虫的抓取效率提供有效帮助,支持API批量使用,支持多线程高并发使用。