Pholcus(幽灵蛛)爬虫软件 v1.2

  • 源码大小:6.7MB
  • 源码语言:简体中文
  • 源码类型:国产软件
  • 源码授权:免费软件
  • 更新时间:2016-09-28 15:57:02
  • 源码类别:其它源码
  • 源码官网:
  • 网友评分:源码评分
  • 应用平台:Windows平台
6.7MB
360通过 腾讯通过 金山通过
内容介绍热点排行相关文章下载地址↓
Pholcus(幽灵蛛)是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件,定位于互联网数据采集,为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。
它支持单机、服务端、客户端三种运行模式,拥有Web、GUI、命令行三种操作界面;规则简单灵活、批量任务并发、输出方式丰富(mysql/mongodb/csv/excel等)、有大量Demo共享;另外它还支持横纵向两种抓取模式,支持模拟登录和任务暂停、取消等一系列高级功能。
框架特点:
1、为具备一定Go或JS编程基础的用户提供只需关注规则定制、功能完备的重量级爬虫工具;
2、支持单机、服务端、客户端三种运行模式;
3、GUI(Windows)、Web、Cmd 三种操作界面,可通过参数控制打开方式;
4、支持状态控制,如暂停、恢复、停止等;
5、可控制采集量;
6、可控制并发协程数;
7、支持多采集任务并发执行;
8、支持代理IP列表,可控制更换频率;
9、支持采集过程随机停歇,模拟人工行为;
10、根据规则需求,提供自定义配置输入接口
11、有mysql、mongodb、csv、excel、原文件下载共五种输出方式;
12、支持分批输出,且每批数量可控;
13、支持静态Go和动态JS两种采集规则,支持横纵向两种抓取模式,且有大量Demo;
14、持久化成功记录,便于自动去重;
15、序列化失败请求,支持反序列化自动重载处理;
16、采用surfer高并发下载器,支持 GET/POST/HEAD 方法及 http/https 协议,同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式,高度模拟浏览器行为,可实现模拟登录等功能;
17、服务器/客户端模式采用Teleport高并发SocketAPI框架,全双工长连接通信,内部数据传输格式为JSON。
人气源码
下载地址
相关文章
网友评论
下载声明

☉ 解压密码:www.jb51.net 就是本站主域名,希望大家看清楚,[ 分享码的获取方法 ]可以参考这篇文章
☉ 推荐使用 [ 迅雷 ] 下载,使用 [ WinRAR v5 ] 以上版本解压本站软件。
☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复,谢谢!
☉ 下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉ 如果遇到什么问题,请评论留言,我们定会解决问题,谢谢大家支持!
☉ 本站提供的一些商业软件是供学习研究之用,如用于商业用途,请购买正版。
☉ 本站提供的Pholcus(幽灵蛛)爬虫软件 v1.2资源来源互联网,版权归该下载资源的合法拥有者所有。


http://www.vxiaotou.com