Skip to content

johnnyzhang1992/imageSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

50 Commits
 
 
 
 
 
 
 
 

Repository files navigation

图片爬虫

保存数据到数据库

  • wb.py 微博图片爬虫(可能会 cookie 过期)「可用」

  • douban.py 豆瓣电影明星图片爬虫 『不确定是否可用』

wb.py 使用说明

  • star_id: 在微博上获取要爬取的明星 id
  • since_id: 上一次爬取的位置,可在对应文件目录的 record.text 文件内取值

正确运行后,会在 根目录下创建 web\[start_id]对应的文件夹,文件夹内img保存图片信息,reord.text记录上次 请求的 since_id 相关数据

技术说明

python 版本: 3.7

注意

新浪微博如果你短时间内请求太多,可能会被封 ip ...

About

图片爬虫(微博和 ins)

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages