Cloudera Enteprise 6 beta 先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。 Cloudera Enterprise 6 のページからβプログラムに参加すると、ダウンロードのリンクなどが送られてきます。日本語版もあるのでそれに従ってインストーラをダウンロードしてください。 検証環境 下記のように、個人用のGoogle Cloud Platform (GCP)の環境に以下の構成で構築しました。（最終的にワーカーノードは５台に増設） ノードの種類とインスタンス Cloudera Manager 6 x 1 （n1-highmemem-2） マスター x 1 （n1-standard-4） ワーカー x 3 （n1-standard-2） OS等 CentoOS 7 firewall
The Hadoop ecosystem has standardized on columnar formats—Apache Parquet for on-disk storage and Apache Arrow for in-memory. With this trend, deep integration with columnar formats is a key differentiator for big data technologies. Vertical integration from storage to execution greatly improves the latency of accessing data by pushing projections and filters to the storage layer, reducing time spe
Procella is a distributed SQL query engine built for flexible workloads within YouTube. Procella is highly scalable and is designed primarily to serve high volumes of queries at low latencies while ingesting realtime data. It is used to serve video/channel statistics for users watching videos as well as OLAP style queries for video analytics (youtube.com/analytics) and public dashboards (artists.y
Opinion What 7 Creepy Patents Reveal About Facebook By Sahil Chinoy Illustrations by André Wee Facebook has filed thousands of patent applications since it went public in 2012. One of them describes using forward-facing cameras to analyze your expressions and detect whether you’re bored or surprised by what you see on your feed. Another contemplates using your phone’s microphone to determine which
2018年4月21日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「機械学習ブームの裏側に」に登壇したのは、ヤフー株式会社データプラットフォーム本部の池上哲矢氏。「女性エンジニアが少ない」という問題に対して、機械学習を用いて解決を試みた、ユニークな取り組みを紹介します。 「連続最適化」を研究し、ヤフーへ 池上哲矢氏（以下、池上）：ご紹介に預かりました、ヤフー株式会社の池上哲矢と申します。 今日は「機械学習ブームの裏側に」というタイトルで、発表させていただきたいと思います。こういったイベントは初めてで、すごく緊張しているんで
※ 当日予告なく時間配分・内容が変更になる可能性がございます。 トーク概要 17:10 〜 トレジャーデータにおけるサポートの課題と改善について（仮） by 野田 啓介 - Technical Support Engineer, Treasure Data, Inc. トレジャーデータサポートは、2018年のGartner Magic Quadrantにて Data Management Solutions for Analyticsの中にて三位にランクされるなど非常に高評価をいただくことができています。さらにサポートを良くするために現状の課題とその改善についての取り組みをお話したいと思います。 17:40 〜 Mackerelテクニカルサポートの裏側と醍醐味 by 井上 大輔(@a_know) - Customer Reliability Engineer, 株式会社はてな Macker
現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアの… ただ、Clouderaのセールスエンジニアのロールは継続的に使っていただくために割となんでもするという感じで裁量も大きく、Field Data Scientistという風に名乗らせていただいて、Spark周りのBig Dataの話とデータ活用の話、それから機械学習の話を幅広くさせていただきました。 おかげさまで、国内外での発表も色々とさせていただきましたが、USのエンジニアブログにも5本ほど執筆させてもらい、Strata Data Conference Singapore 2017での発表や、自社の全エンジニアが集まる社内テックサミットでの発表などかなり
早いもので、2017年12月にKyashに入社してから半年が経ちました。 最近は 「勢いある」「Kyashよさそう」と言っていただくことも増えてありがたいなぁと思うと同時に、中にいるとちょっと過大評価されているなと感じることもあります。 自分自身も後で見返せるように、実際どうなの？という話を自分の視点から書いておこうと思います。Kyash実際はこんな感じなんだーというのがなんとなく伝われば嬉しいかぎりです。 ちなみにこういう話は思いもしないところ思いもしないツッコミを受けるものなので結構緊張しています。何か気になる表現があれば@konifarまで直接連絡をもらえるとありがたいです。 入社直後の感想 2017年12月に入社した時、Kyash社内はめちゃくちゃ忙しい時期でした。開発もマーケも全員修羅場で、「オッやっとるな」という感じでした。 自分が入った時にすでに佳境だったので、そのプロジェク
What is GitHub?Microsoft will have to treat its new purchase very carefully STEVE BALLMER, Microsoft’s former chief executive, became an internet meme when he gave a speech to employees in which he bounced across the stage shouting “developers” over a dozen times. While much has changed since Mr Ballmer’s chant, developers remain central to Microsoft’s strategy. Earlier this month his successor, S
Tourists are arriving faster than Japan can accommodate themForeign workers may be needed to serve the foreign visitors ON A sunny day in May it is not hard to see why the Japanese island of Ishigaki, some 2,000km from the capital, Tokyo, is becoming a tourist magnet. This year the crystal-watered, coral-reefed island was named the world’s hottest destination by TripAdvisor, a travel website. It i
by Ajoy Majumdar, Zhen Li Most large companies have numerous data sources with different data formats and large data volumes. These data stores are accessed and analyzed by many people throughout the enterprise. At Netflix, our data warehouse consists of a large number of data sets stored in Amazon S3 (via Hive), Druid, Elasticsearch, Redshift, Snowflake and MySql. Our platform supports Spark, Pre
2人の監督 「インビジブル ピープル」と審査員長のケイト・ブランシェットは授賞式の冒頭で口にした。その存在に光を当てることが今回の映画祭の大きなテーマだった、と。隣に座った通訳を介して日本語に翻訳してもらいながらだったので内容は大まかにしか把握できなかったが、その「invisible」という言葉だけはずっと頭に残った。確かに『万引き家族』で僕が描こうとしたのも普段私たちが生活していると、見えないか、見ないふりをするような「家族」の姿だ。その生活と感情のディティールを可視化しようとする試みが今回の僕の脚本の、そして演出の柱だったとケイトさんの言葉に触れて改めて思い出した。そして、そのスタンスは14年前の『誰も知らない』とも通底している——と、自分では今回の作品を分析していた。なので名前を呼ばれて壇上に向かいながら、このスピーチでは「invisible」なものについて触れようと考えていた。 僕
JDK collections are the standard library implementations of lists and maps. If you look at a memory snapshot of a typical big Java app, you will see thousands or even millions of instances of java.util.ArrayList, java.util.HashMap, etc. Collections are indispensable for in-memory data storage and manipulation. But did you ever consider whether all of the collections in your app use memory optimall
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く