videoSpider - 分布式视频信息爬虫


MIT
跨平台
Python

软件简介

分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息,
使用:requests 发送请求,BeatufulSoup解析html,SQLAlchemy 作为ORM,Alembic数据库版本控制。

使用:协程(gevent)+多进程,分布式(Celery)

model:

流程: