一款即席查询引擎
OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。
Easyolap:是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿级数据规模下的秒级性能表现,具备企业级的稳定可靠表现。 数据即时导入,索引即时生成,通过索引高效定位到相关数据。与kafka,Spark,elasticsearch,hive深度集成,提高分析效率,实现秒级查询。
Easyolap 为大数据而生,为大数据分析与即席分析而设计
Easyolap即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。 Easyolap采用索引技术, 在海量的数据中进行数据分类整理,原理类似字典,通过目录可以快速到相关数据,避免了全量数据的扫描,从而提升查询速度。
使用索引后有什么好处?
- 索引技术大幅度的加快数据的检索速度。
- 索引技术可以显著减少查询中分组、统计和排序的时间。
- 索引技术大幅度的提高系统的性能和响应时间,从而节约资源。
待完善
在使用中有任何问题,欢迎反馈给我,可以用以下联系方式跟我交流
- 邮件(surpass_li#gmail.com, 把#换成@)
- QQ群:452743094
- 微信:s46488820
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。
当然,有钱捧个钱场(微信支付),没钱捧个人场,谢谢各位。
- 稳定;
- 可靠;
- 易用
- 消息中间件:KAFKA
- ETL组件:bin2json
- 搜索引擎:elasticsearch5.1.1
- 大数据存储:hbase;cassandra3
- 查询接口:hive
- rest api: vert.x ; akka;
- GATEWAY Api: kong
- 大数据平台:HDP:hadoop+sprk+hbase(可选)+hive
- 2017-07-25 完成maven模块的搭建
- 2017-07-28 完成util模块抽取
- 2017-07-28 完成elasticsearch+beam+spark读取文本文件到elasticsearch进行索引
- 2017-07-31 完成elasticsearch与hive集成和测试
##Easyolap遇到的坑:
- jar版本冲突:jacksong与calcite-avatica冲突,在hive-exec中对其进行排除
感谢以下的项目,排名不分先后