[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Hatena Blog Tags
はてなブログ トップ
hadoop
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

hadoop

(コンピュータ)
【はどぅーぷ】

Apacheプロジェクトが開発している大規模データを分散処理するオープンソースソフトウェアである。Googleが開発したGFS(Google File System)とMapReduceの論文がベースとなっている。

大規模データを分散処理するためのMapReduce、大規模データを保存するための分散ファイルシステムの2つのシステムから構成されている。

YahooやFacebook, Amazonなど多数の企業で採用されており、多数の実績を積んでいる。

名前の由来は，開発者の子供の黄色い象のぬいぐるみの名前らしい
http://weblogs.java.net/blog/tomwhite/archive/2006/02/hadoop.html

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
MicroAd Developers Blog•1年前

S3互換ストレージ Apache Ozoneについて

はじめに マイクロアドのシステム開発部でインフラエンジニアをしているキガワです。現在マイクロアドではデータプラットフォーム事業を支える大規模な基盤（以下データ基盤）を移行計画中です。 現在のデータ基盤はHadoopエコシステムで実現されており、次期データ基盤ではコンピューティングとストレージを分離する構成を検討中です。 コンピューティング部分についてはマイクロアドで書かれた以前のブログ記事があるので、興味がある方はそちらをご覧ください。 ストレージ部分についてはS3互換のストレージ製品を検討しており、今回はその中で検証したApache Ozoneについて概要をご紹介します。 はじめに Apac…

#Apache Ozone#hadoop

ネットで話題

もっと見る
1894ブックマークNTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮shiumachi.hatenablog.com
817ブックマーク「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮shiumachi.hatenablog.com
756ブックマークいまさら聞けないHadoopとテキストマイニング入門atmarkit.itmedia.co.jp
520ブックマークHadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)techblog.yahoo.co.jp
470ブックマーク機械学習、どこから手を付ける？ ～初期コストゼロで試せるBigInsightsで、Hadoop＆Sparkのエコシステムをフル活用～ - はてなニュースhatenanews.com
442ブックマークグーグル発「Hadoop」、日本企業も利用へxtech.nikkei.com
405ブックマーククックパッドとHadoop - クックパッド開発者ブログtechlife.cookpad.com
404ブックマークHadoopの解析資料オープンソース分散システム「Hadoop」に関する解析資料を公開させて頂いております。この調査はNTTレゾナント株式会社様と共同で行いました(プレスリリース)。 Hadoop解析資料(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopの実際のインストール方法などにつきましては、弊社太田による以下の記事もご参考下さ...preferred.jp
400ブックマーク『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011www.slideshare.net

関連ブログ

おくみん公式ブログ•2年前

TreasureData Tech Talk 2022で発表してきました #tdtechtalk

先日行われたTreasure Dataのイベントにて登壇させていただきました。タイトルは『Hive Distributed Profiling System in Treasure Data』。

#hadoop#Java
やっさんメモ•2年前

BigData向けワークロード（Spark/Flink）に適したKubernetesカスタムスケジューラ Apache YuniKorn について

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの概要 YuniKornの由来と読み方 なぜYuniKornが必要なのか？ どこが使ってるのか？ リリース状況 YuniKornの特徴 アプリを考慮したスケジューリング 階層型のリソースキュー ジョブオー…

#アドカレ#hadoop#データ基盤
t-matsu200のブログ【開発業務の備忘録】•2年前

【Docker】コンテナ上にHadoop + Spark実行環境を構築する

+ 案件でHadoopを扱う事になりそうなので、勉強のためにDockerコンテナでHadoop + Spark環境を構築してみました。擬似分散モードでの起動を想定しています。 ソースコードはgit hubに上げてあります。 github.com Hadoopのインストール 公式サイトからファイルをダウンロードする必要があります。 配布されているHadoopのバージョンは以下URLから確認できます。 ftp.kddilabs.jp Sparkのインストール Sparkも公式サイトからダウンロードします。 ダウンロードするHadoopのバージョンと同じ物をChoose a package type…

#hadoop#Spark#Docker
JBS Tech Blog•2年前

Amazon EMR Serverlessをさわってみた

はじめに 前提知識（Amazon EMR） Amazon EMR Serverlessとは？ Amazon EMR Serverlessをさわってみた 事前準備 関連AWSリソースの準備 データの準備 クエリの準備 EMR ServerlessでHiveアプリケーションを作成して実行する EMRアプリケーションの作成 ジョブの実行 さいごに はじめに こんにちは！クラウドプラットフォーム部の土井です。 今年6月にAmazon EMR ServerlessがGAとなったので遅ればせながらですが、既存のAmazon EMRサービスとの違いにも簡単に触れつつ触ってみたいと思います。 前提知識（Ama…

#Amazon EMR#Amazon EMR Serverless
t-matsu200のブログ【開発業務の備忘録】•4年前

【Python】PyWebHdfsでHDFSを操作する

PythonでHDFSにファイルアップロードする処理を実装したのでメモ。 単純な処理ならcurlで十分なのですが、色々やりたい時は便利そうです。 事前にKerberos認証済みの想定です。 ⬇️ まだ読めてないです😎 データウェブハウスツールキット―Web+データウェアハウスで最良のe‐ビジネス環境を構築 作者:キンボール,ラルフ,メルツ,リチャード メディア: 単行本 環境 やはりPythonのバージョンは3.7。 $ pip3 install pywebhdfs==0.4.1 requests-kerberos==0.12.0 最初にローカルでテストコードを実行しようとして、インストール出…

#HDFS#hadoop#Python
やっさんメモ•4年前

Cloudera Hue をCDHから切り離してDockerで運用出来ないか検討してみる

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 （´-`）.｡oO（EmbulkはHiveやHDFS系のプラグインがアップデートあると嬉しいなぁと思う今日この頃） qiita.com さて、本題ですが、今回はHueとDockerを使った話です。 Cloudera Hueは、 CDHに含まれているコンポーネントの一つ ですが、Hueは他のコンポーネントに比べて他のコンポーネントと協調して動…

#cdh#hadoop
やっさんメモ•4年前

所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません（クラスタの設定情報がないので）。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で…

#hadoop#distcp
ENGINEERING BLOG ドコモ開発者ブログ•2日前

2024 AWS re:InventでのS3 Tables、Apache Icebergの解説と学んだこと

NTTドコモ R&Dイノベーション本部 サービスイノベーション部 ビッグデータ基盤担当 4年目社員の小澤です。 2023年に続いて2年連続で、ラスベガス現地にて2024 AWS re:Inventに参加させていただきました。このような機会を作っていただいた、会社や自組織、チームのメンバーにはたいへん、感謝しております。期間中に発表されたアップデートの中でも、特に注目しているS3 Tablesと中身を深く理解するために、Apache Icebergの解説記事を投稿します。 AWS利用の若手エンジニア代表である2024 Japan AWS Jr. Championsと全資格保有者である2024 J…

MOTEX TECH BLOG•6日前

定額制の落とし穴 ~AWS Configの定期的な記録を設定する前に、変更回数を確認しよう!~

はじめに こんにちは、SREチームの植松です。 2023年のアップデートにより、AWS Configのリソース設定変更を常時記録から1日1回の定期記録に変えられるようになりました。 SREチームでもこの設定変更を適用しましたが、逆にコストが上がってしまう場合がありました。皆様への気づきとなればと思い、本記事では原因と対策を共有します。 aws.amazon.com はじめに AWS Configの定期記録 Control Tower環境での定期記録 定期記録設定後の経過観察 Configのリソース変更回数の分析 分析用テーブル作成 分析用クエリの実行 QuickSightで変更回数を可視化 リ…

自由帳•14日前

Apache Icebergの概要を浅く掴みながらAmazon S3 Tablesを触ってみたメモ

はじめに 2024 AWS re:Invent で Amazon S3 Tables という新しいストレージサービスが発表されて話題になっていました。 データレイクに関連するサービスのようですが、あまりよくわかってないので、概要を理解するためにざっと調べながら触ってみました。

KADOKAWA Connected Engineering Blog•14日前

Amazon MWAA + Step Functions (+ Snowflake × dbt) による大規模データパイプライン構築事例紹介

KADOKAWA デジタル戦略局 グループデータマネジメント部（出向）の中野 (takamoto) です。 足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善 - KADOKAWA Connected Engineering Blog などの過去記事から所属は変化していますが、変わらずデータプラットフォーム上のデータパイプラインの開発・運用を主に担当しています。 私の所属しているチームでは データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog で紹介している Snowflake 環境上に構築された…

ozaki25’s diary•18日前

「Developers CAREER Boost 2024」に参加してきました

2024/12/7 https://event.shoeisha.jp/devboost/202412072 知らない景色を見にいこうーーチャンスを掴んだら道が開けたマネジメントの旅 小田中 育生さん[カケハシ] https://speakerdeck.com/kakehashi/into-the-unknown-my-management-journey キャリア 今はマネージャーをやってる 本も書いた 予想もしていなかった 偶発的なことによってキャリアは形成される もともとは研究職 1人で仕事することがほとんど リーマンショックがあって転職 ナビタイム 技術的負債の解消 周りが乗ってくれて…

底辺•18日前

Google Cloud ACE 取得

cloud.google.com 取ったのでメモ 受験のきっかけ 最近Google Cloud触りだした そんなときに無料受験のバウチャーが所属企業内で配られていた じゃあ受けてみるか、の流れ 勉強開始時のGoogle Cloudの経験 プロジェクトにおいてオンプレのHadoopへのクエリ→BigQueryへ移行のための設計／実装や見積もり等を行っている最中で、これが初めてのGoogle Cloud（ちなみにHadoopから移行したいのは、取りたいHadoopのデータと同じものが既存のGoogle CloudプロジェクトのBigQueryテーブルにすでに存在するのと、色んなところからHadoo…

NTT Communications Engineers' Blog•19日前

生成AIはデータサイエンティストの仕事を奪うか？

こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、…

上京塾　～Fランから超大手へ逆転就活～•20日前

【14年連続IT業界人気ランキングNo.1！NTTデータを徹底分析🔍】

【14年連続IT業界人気ランキングNo.1！NTTデータを徹底分析🔍】 こんにちは。メディア事業部です！ IT・通信業界に興味がある学生さんたち必見！！！ 今回は、14年連続IT業界人気ランキングNo.1の企業、NTTデータについての企業研究記事です！ 徹底的に企業研究をして選考に向けて準備を整えていきましょう👀✨ 1．事業内容 〇官公庁・自治体・教育 税務、雇用・労働、貿易、交通など、社会を支える情報システムの開発・運用のほか、安全・便利で豊かな地域社会の実現のためのシステムやサービスを提供。 また、高信頼な情報通信基盤のもと、教育現場の取り組みをさまざまな角度から支援している。 ◆主なシス…

/home/by-natures/dev*•23日前

2024/12/03 データエンジニアもくもく会を1年続けた学び

datatech-jp Advent Calendar 2024 3日目の記事を書きます！ 毎週月曜日にデータエンジニア向けのもくもく会をXで（以前は datatech-jp で）実施しており、約1年続けてみてどのような学びがあったかをまとめたいと思います。 データエンジニア向けのもくもく会を始めたきっかけ 下のブログ記事でもくもく会を始めたきっかけを簡単に書いたのですが、今日は当時の気持ちをもう少し深掘りしたいと思います。 bynatures.hatenadiary.jp エンジニア全般だと思うのですが、学び続けないとトレンドに置いて行かれてしまうという危機感はみなさんお持ちだと思います。私…

やっさんメモ•23日前

🤔 DuckDB × PyIceberg の使いみちについて考えてみる

2日遅れになってしまいましたが、、、 この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 注： 執筆現在 2024/12/03 1:14 qiita.com qiita.com 今年もアドカレの季節がやってきました🎄 今回は、DuckDBがIcebergに対応してたり、PyIcebergにDuckDBを見つけたので、どんなもんか試してみた。 はじめに DuckDBについて PyIcebergについ…

Nealle Developer's Blog•1ヶ月前

非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜

こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかと…

G-gen Tech Blog•1ヶ月前

Associate Data Practitioner試験対策マニュアル

G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化データの扱い（JSON 型） パーティションとクラスタリング 外…

Platinum Data Blog by BrainPad ブレインパッド•2ヶ月前

自社プロダクト開発を支える3人が語る、ブレインパッドでエンジニアとして働く魅力

自社プロダクトの開発に携わるエンジニア3人が語る、ブレインパッドのプロダクト開発の魅力とは？ 顧客データを統合・分析し、精度の高いパーソナライズを実現する自社プロダクト「Rtoaster（アールトースター）」の開発チームのメンバーに話を聞きました。 師岡 一成 児玉 雅明 津久井 貴正 XaaSユニット イノベーション開発 リード XaaSユニット イノベーション開発グループ エンハンス開発グループ（兼務) XaaSユニットイノベーション開発グループ グループリーダー それぞれが考える、ブレインパッドのエンジニアに感じた魅力 ──今回は、ブレインパッドを代表するSaaSプロダクトの一つ「Rto…

QY Research•2ヶ月前

世界の分散コンピューティング市場調査：産業動向、シェア、市場規模、予測の分析レポート2024

2024年10月18日に、QYResearchは「分散コンピューティング―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発表しました。本レポートは、分散コンピューティングの世界市場について分析し、主な売上、動向、市場規模、主要企業の市場シェアとランキングに焦点を当てています。また、地域別、国別、製品タイプ別、用途別の分析も行っています。分散コンピューティングの市場規模を2019年から2030年までの売上に基づいて推計と予測しています。定量分析と定性分析の両方を提供することで、企業がビジネス成長戦略を策定し、競争環境を評価し、市場位置を分析し、分散コンピ…