python实现网络蜘蛛，通过基于行块函数分布抽取通用网页正文 通过python编程实现了网络蜘蛛的功能，用list类型来存储广度优先的队列（搜索深度不超过3）， 然后通过基于行块分布函数的通用网页正文抽取算法来提取了网页的正文内容（准确度95%左右）， 最后通过检测正文文本的utf – 8编码序号来提取英文内容。
forked from AngrySakura/python_extractor
-
Notifications
You must be signed in to change notification settings - Fork 1
xiaoyu698/python_extractor
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
python实现网络蜘蛛，通过基于行块函数分布抽取通用网页正文
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published
Languages
- Python 100.0%