8000 GitHub - smarthhl/easyolap: OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content
forked from newSue/easyolap

OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。

Notifications You must be signed in to change notification settings

smarthhl/easyolap

 
 

Repository files navigation

Easyolap

##Easyolap是什么?

一款即席查询引擎

OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。

Easyolap:是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿级数据规模下的秒级性能表现,具备企业级的稳定可靠表现。 数据即时导入,索引即时生成,通过索引高效定位到相关数据。与kafka,Spark,elasticsearch,hive深度集成,提高分析效率,实现秒级查询。

Easyolap 为大数据而生,为大数据分析与即席分析而设计

Easyolap即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的,而即席查询是由用户自定义查询条件的。 Easyolap采用索引技术, 在海量的数据中进行数据分类整理,原理类似字典,通过目录可以快速到相关数据,避免了全量数据的扫描,从而提升查询速度。

使用索引后有什么好处?

  • 索引技术大幅度的加快数据的检索速度。
  • 索引技术可以显著减少查询中分组、统计和排序的时间。
  • 索引技术大幅度的提高系统的性能和响应时间,从而节约资源。

##Easyolap有哪些功能?

待完善

##有问题反馈

在使用中有任何问题,欢迎反馈给我,可以用以下联系方式跟我交流

  • 邮件(surpass_li#gmail.com, 把#换成@)
  • QQ群:452743094
  • 微信:s46488820

##捐助开发者

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(微信支付),没钱捧个人场,谢谢各位。

##Easyolap特性:

  • 稳定;
  • 可靠;
  • 易用

##Easyolap技术框架:

  • 消息中间件:KAFKA
  • ETL组件:bin2json
  • 搜索引擎:elasticsearch5.1.1
  • 大数据存储:hbase;cassandra3
  • 查询接口:hive
  • rest api: vert.x ; akka;
  • GATEWAY Api: kong
  • 大数据平台:HDP:hadoop+sprk+hbase(可选)+hive

##Easyolap里程碑:

  • 2017-07-25 完成maven模块的搭建
  • 2017-07-28 完成util模块抽取
  • 2017-07-28 完成elasticsearch+beam+spark读取文本文件到elasticsearch进行索引
  • 2017-07-31 完成elasticsearch与hive集成和测试

##Easyolap遇到的坑:

  • jar版本冲突:jacksong与calcite-avatica冲突,在hive-exec中对其进行排除

##感激

感谢以下的项目,排名不分先后

##关于作者

About

OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策支持系统,就是我们说的数据仓库。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 97.8%
  • Shell 2.2%
0