Skip to content

玖富旗下的玖富钱包、悟空理财爬虫,通过玖富普惠官网及悟空微信网页抓取信息。

Notifications You must be signed in to change notification settings

wongz/jiufu-crawler

Repository files navigation

普通用户请直接下载<玖富导出工具v2.0.exe>直接运行,按使用说明进行操作。简易版只需订单号便能使用。
注意:担保函下载会触发服务器的限流机制返回空数据,此服务器大概半小时只能查看4份文档。

功能

爬取持有的出借中订单数据,并将结果信息写入文件。写入信息包括了所有出借订单的所有数据,主要有订单信息债权信息两大类,前者包含订单号、产品名称、加入金额、服务期届满时间等等;后者包含借款方、证件号/凭证号、借款用途、借出金额等等。写入文件类型为csv文件
如果你还需要每个订单的《出借咨询及管理服务协议》、《授权委托、反洗钱及出借风险提示书》、《数字证书申请表及授权委托书》及每个债权的《借款协议》、《担保合同》,可以通过是否下载附件的选择功能。

输出

  • 订单列表:ALL_ORDERS.csv

  • 债权列表:ORDER_NO.csv

  • 文档(可选):PDF文档放在PDF文件夹中

实例

我们可以创建config.txt文件,文件内容如下:

  • 玖富普惠
cookId=2d43e501-3583-4f23-b42******e88; JSESSIONID=485720964********95C2EF50A94188; logintoken=b968be43-f11a-4******0982ea862e88
  • 悟空理财
token:  "BB123456-4a7ae8dfa2b*********963d948ab0"

配置完成后运行程序:

$ python jiufu.py

也可以直接运行程序,按提示输入。程序会自动生成一个当前日期时间(20200926103000)文件夹,我们本次所爬取的所有信息都被存储在20200926103000文件夹里。csv导出结束后会询问是否下载附件。

运行环境

  • 开发语言:Python3
  • 系统: Windows/Linux/macOS

使用说明

1.下载脚本

$ git clone https://github.com/wongz/jiufu-crawler.git

运行上述命令,将本项目下载到当前目录,如果下载成功当前目录会出现一个名为"jiufu-crawler"的文件夹;

2.安装依赖

$ pip install -r requirements.txt

3.程序设置(可选)

程序优先读取config.txt文件。 玖富普惠使用Cookie,悟空理财使用token。

4.运行脚本

大家可以根据自己的运行环境选择运行方式,Linux可以通过

$ python jiufu.py

运行;针对Windows系统,已经制作打包成exe文件,无需Python环境直接双击运行。 担保函下载会触发服务器的反爬机制,下载失败的文件列表保存在PDF文件夹下的not_downloaded.txt中。

操作图示

这是玖富普惠的操作步骤图。悟空理财请参照,相差不大。

如何获取cookie

1.用Chrome打开https://8.9fpuhui.com/login.html
2.按F12键打开Chrome开发者工具,刷新页面;
3.输入玖富钱包的用户名、密码,登录成功后会跳转到账户中心;
4.依此点击Chrome开发者工具中的Network -> Name中的checkLogin.html -> Headers -> Request Headers,"Cookie:"后的值即为我们要找的cookie值,复制即可。

如何获取token

1.用Chrome打开https://m.wukonglicai.com
2.按F12键打开Chrome开发者工具;
3.输入悟空理财的用户名、密码,登录;
4.依此点击Chrome开发者工具中的Network -> Name中的affrim -> Preview -> 展开data,"token:"后的值即为我们要找的token值,复制即可。

Denounce

** 9F Inc. (NASDAQ: JFU), the company deceived its customers by transferring a large number of debts with overdue rates of over 60% to customers without their knowledge. **

About

玖富旗下的玖富钱包、悟空理财爬虫,通过玖富普惠官网及悟空微信网页抓取信息。

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Languages