请选择 进入手机版 | 继续访问电脑版
  • 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

quick-crawler: java crawler framework

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

quick-crawler

开源软件地址:

https://gitee.com/liuyueyi/quick-crawler

开源软件介绍:

quick-crawler

java实现的爬虫框架

从头开始, 一步一步的实现一个可用的爬虫框架,每个地方加一个里程碑的tag,主要用于记录这个工程的诞生过程

tag 记录列表

1. v0.001

实现了一个最简单,最基础的爬虫, 处于能用的阶段

2. v0.002

利用HttpClient来替代jdk的http请求;新增http参数配置

3. v0.003

实现深度爬网页

  • 支持正向、逆向链接过滤
  • 在内存中保存爬取记录,用于去重过滤
  • 提供爬取完成后的回调方法,用于结果处理

4. v0.004

实现爬取队列

  • 每个Job只执行当前网页的抓取,将网页中满足深度抓取的链接塞入队列
  • 新增Fetcher类,用于控制抓去任务

5. v0.005

实现Job任务中爬取 + 结果解析的分离; 完成任务结束的标识设定

  • 新增 ResultFilter 实现爬取网页的分析, 并将满足条件的链接塞入爬取队列
  • 新增 JobCount 来记录任务的爬取完成数, 以此完成整个任务的结束标识设定

6. v0.006

添加日志埋点

7. v.0.007

新增动态配置信息支持

  • 采用配置文件方式,支持配置信息的动态变更

相关博文


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
python3-webcrawler: python3 网络爬虫发布时间:2022-02-14
下一篇:
goldeneye: Precious metal price spider and provider service to look up发布时间:2022-02-14
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap