抓取京东商城的评论信息与商品信息. 过滤无价值的评论,并展示.
Python, Node, Redis, Mongodb.
- Python 3.4+, Anaconda is better.
- flask
- flask-cors
- simplejson
- requests
- BeautifulSoup
- PyMongo
- Redis
Node 4.x, 5.x
npm run server
npm start
爬虫分为三个部分. 分别是 爬取商品ID列表
、爬取商品信息
、爬取商品评论
.
8000