CDH4.2 + YARN + Hive でしばらく動かしてたんだけど、なんか一部のクエリが失敗しまくる。おかしいなーと思ったらこれにひっかかってた。 https://issues.cloudera.org/browse/DISTRO-461 なんだかなー。 いい回避策がないかあれこれやってみたんだけどどうにもうまくないので、しょうがないから MRv1 に変えよう、ということにした。 ところで YARN と MRv1 は設定をスイッチして再起動すればまあいけるんじゃね？ ということは聞いてたが実際のところはどうなのよ、ということをここにまとめる次第。結論から言うとできた。 おおざっぱにまとめると以下のようにした。 現状の設定ファイルセットを丸ごとコピーして MRv1 用に一部のみ書き換え 切り替えは alternatives で読み込むパスを変更することで行う 変更するファイルは mapr
CDHでHadoopを使っている良い子のみんな、hiveserverまわりで罠があるので気をつけましょう！ という話。ふたつあるので順番に。 hive-server 再起動時にログがtruncateされる hiveserverがなんかおかしかったりすると、原因究明はやるとしてとりあえず再起動、という運用をしてしまう気持ちはよくわかります。が、やってしまうとその日の分のログが消える(！)ので注意が必要だ。 原因は /etc/init.d/hive-server *1の hive_start() 中の以下の部分。 log_success_msg "Starting $desc (${NAME}): " $SU -c "cd $HIVE_HOME ; $exec_env nohup \ $EXE_FILE --service $service_name $PORT \ > $LOG_FILE 2
CDH4 Configurations with YARN, Capacity Scheduler and Hive 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。 はじめに 言うまでもなく、参考・利用においては自己責任でお願いします ホスト名・ファイルパスは適当に変換してください descriptionの日本語は私のメモですので怪しかったらググってください 英文のみの場合はまだ未検証だったり説明するまでもないものになっています 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます ファイルはUTF-8です Hadoop設定 CDH3からCDH4への設定変更リスト core 公式 core-def
イベント２つを経て、何から書くか迷うところですが、先に @tagomoris との約束を果たすためにCDH3からCDH4への具体的なアップグレード手順を紹介します。 この約束を果たすと、@ryu_kobayashi が Huahin Framework をCDH4対応してくれるというパーフェクトフローになっておりますが、JobTrackerがResourceManagerになってるので大変そうですね！ はじめに 公式 CDH4 Installation Upgrading from CDH3 to CDH4 Deprecated Properties 過去記事 Upgrade CDH3 to CDH4 注意点その１ Upgrade CDH3 to CDH4 注意点その２ OSについて Debian Squeeze です。LennyにはCDH4は存在しませんし、無理矢理もほぼ不可能です。 C
ツイートSource: cloudera.com via garage-kid on Pinterest Clouderaトレーニングコース受講者向けCDH4説明会にお呼ばれしたので、行って参りました。 今日はそのときわたしがとったメモを公開しようと思います。 〜Clouderaトレーニングコース受講者様向けCDH4説明会 概要〜 ▼ 日時：2012年7月6日（金） ▼ 会場：ベルサール八重洲 3階ルーム４ (http://www.bellesalle.co.jp/bs_yaesu/access.html) ▼ タイトル： 進化するHadoop：CDH4とCloudera Enterprise4.0のご紹介 Cloudera のトレーニングを受けた人に対するインセンティブのようなものとして開催された催しでした。 雨の中にも関わらず、50名近い参加者があったことは正直にすごいな、とわたしは思
検証用として新規にセットアップしたCDH4クラスタ、YARN使用で設定してみたんだけど以下のような状態。完全分散モード。 CDH4はtarballを展開する形でインストール HADOOP_MAPRED_HOMEは hadoop/share/hadoop/mapreduce を指定 YARNで hadoop-mapreduce-example.jar は走る ResourceManagerと同ホストから以下のコマンドを実行したら成功する hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1-cdh4.0.0b2.jar pi 4 1000 HiveでMapReduceを介さない処理は成功する 具体的にはSHOW TABLESやCREATE TABLEおよびLOADなど Hive
CDH3で使ってる設定ファイル群を基本的にそのまま(ノードリストなどだけ書き換え)でCDH4の検証クラスタを作ろうとしてみた。 ら、以下のような事情でいろいろ面倒くさかったのでいったん挫折したのが本日あったこと。 使う環境変数がいろいろ変わってる YARN_HOGE とか HDFS_HOGE みたいなのを使うようになっている 基本的には HADOOP_CONF_DIR などから組み立てるようになっている ただしその処理は libexec/hadoop-config.sh で行われる $HADOOP_CONF_DIR/hadoop-config.sh を自分で用意して使っている場合は libexec/hadoop-config.sh が読まれないので新しい変数の組み立てができない このため各種の環境変数がセットされずいろいろコケる たいへん困った。設定ファイル群をイチから作り直す覚悟が必要な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く