天问

bilibili 用户/视频/弹幕/评论爬虫,分析

bilibili 爬虫,主要涉及:

用户公开数据(用户/性别/地区/注册时间/)

视频数据()

弹幕数据()

评论数据()

付费数据()

使用

启动数据库,这里启动一个 mysql 容器就好了。

docker volume create --name datadir
docker run --name my-mysql -v datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d daocloud.io/mysql:5.7.4
  • 抓取用户
cd crawl_bilibili
python user/get_user.py
python user/get_face.py
  • 抓取视频
python video/get_video.py
  • 抓取视频弹幕
python barrage/get_barrage.py
  • 数据分析

本项目提供 B站数据爬虫功能,具体代码如下:

https://git.yoqi.me/lyq/crawl-xuexi

博客地址:http://blog.yoqi.me/?p=15944
扫我捐助哦
喜欢 1

这篇文章还没有评论

发表评论