Evolution of Impala #hcj2014 from Cloudera Japan タイトルとスライドの通りです。 Hadoop Conference Japan を運営された皆様、本当にお疲れさまでした。 また、私のセッションに参加して話を聞いていただいた皆様、ありがとうございました。 朝のキーノートで「使用しているコンポーネント」で Impala がランクインしていて実は結構驚きました。まだまだ普及していないと思っていましたけど、意外と使われているようでうれしいです。 (後 Hue がランクインしているのにも驚いた) 今回は他のSQLエンジンのセッションの間に挟まれての講演だったので、これは気を抜けないなと思い、結構頑張ってスライドを作りました。 やっぱり調べてみると Impala はとても面白くて、機能の細かい部分などを見て新たな発見もたくさんすることができました。 I
EC2安くなる 気がついたら、EC2がだいぶ値下げしていて、我が家の ニコニコデータセットの分析環境のHive利用料も安くなっていた。 参考 【AWS発表】42回目の値下げ！EC2、S3、RDS、ElastiCache、そしてElastic MapReduceも！ http://aws.typepad.com/aws_japan/2014/03/aws-price-reduction-42-ec2-s3-rds-elasticache-and-elastic-mapreduce.html 値段の問題もあり、ニコニコデータセット分析環境は、hadoopのバージョン1系でm1.mediumを3台利用して、分析を行っていた。しかし、Elastic Map Reduceがhadoop2系からimpalaをサポートしたこともあり、hadoopのバージョンを上げて、impalaで分析出来ないか検証する
Presentations from the Cloudera Impala meetup on Aug 20 2013: - Nong Li on Parquet+Impala and UDF support - Henry Robinson on performance tuning for ImpalaRead less
This document evaluates the performance of Cloudera Impala 1.1 using two clusters. It finds that RCFile with Snappy compression provides the fastest performance for both Hive and Impala on the clusters for reading-only workloads. Parquet with Snappy may be fastest for larger tables. Issues were identified with memory limits during Parquet table creation and were later fixed. The evaluation shows I
1. Copyright © CELLANT Corp. All Rights Reserved. h t t p : / / w w w . c e l l a n t . j p / 1 1 HiveとImpalaのおいしいとこ取り 『プログラミング Hive』『Hadoop 第3版』 刊行記念 Hadoopセミナー 2013年年7⽉月24⽇日 株式会社セラン R&D戦略略室 須⽥田幸憲 3. Copyright © CELLANT Corp. All Rights Reserved. h t t p : / / w w w . c e l l a n t . j p / v 須⽥田幸憲（@sudabon) v 株式会社セラン R&D戦略略室 室⻑⾧長 v 経歴 l 1997〜～2004 NEC 中央研究所 / ネットワークの研究 l 2005〜～2006 B
11/26 の『Hadoopソースコードリーディング 第13回』でCloudera Impalaの発表をしてきました。 きっかけはTwitter上で、ビールの化身 も◯す の外道父を呼べば？から始まって、１分かからず依頼ツィートが飛んできて引き受けた感じで、Twitterで数分で全てが完結する非常にフットワークの軽い業界になります。 それでは、発表資料や補足などを書いていきます。 リンク Eventbrite : Hadoopソースコードリーディング 第13回 Twitter #hadoopreading togetter : Hadoopソースコードリーディング 第13回 まとめ Inside Impala Coordinator at HSCR 13th – Go ahead! by @repeatedly Inside Impala -Query Exec Engine- by @o
外道父 | Noko @GedowFather Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測 2012-11-16 11:25:12 外道父 | Noko @GedowFather Impala検証利用データ：17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s 2012-11-16 11:28:33
2012/11/7に開催されたCloudera World Tokyoに参加してきました。 本編については他の人がまとめてくれるはずですので省略。 懇親会では米国Cloudera社のCTO、Dr. Amr Awadallah氏に直接Impalaの疑問に答えていただきました。非常に貴重な話を聞けたのでまとめておきます。（公開許可済み） その場でメモを取っていたわけではなく思い出しながらのまとめなので、一緒に聞いていた方、clouderaの方は補足をお願いします。 Q&A Q. なぜJavaでなくてC++で実装したか？ A. ImpalaのメインデザイナーがGoogleでC++を使って分散処理(Dremelのこと？)を実装した人物であるのと、JVMの起動コストがレイテンシーの増加につながるため 補足: この人でしょうか Q. 1ノードに偏ったデータを読む必要があるクエリがくると低レイテンシーを
(2012/10/25 15:48 追記) Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。 Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan Cloudera から、データサイエンティストのためのリアルタイムクエリエンジン「Impala」がリリースされました。Hive と完全互換のクエリ言語で、Hive より10倍以上速くクエリを処理できます。 概要及びダウンロードはこちらから! http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/clouder
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く