エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Hive on Tez で Parquet を Snappy で圧縮すると起きる Container is running beyond physical memory limits. を解消する
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Hive on Tez で Parquet を Snappy で圧縮すると起きる Container is running beyond physical memory limits. を解消する
Hive で次のようなエラーに遭遇することがあるかと思います。 Container [pid=10828,containerID=contai... Hive で次のようなエラーに遭遇することがあるかと思います。 Container [pid=10828,containerID=container_1548924716595_1044_01_000024] is running beyond physical memory limits. Current usage: 3.8 GB of 3 GB physical memory used; 6.4 GB of 15 GB virtual memory used. Killing container. このエラーは意外に厄介で、ちょっとググっただけだと「設定ミスが原因です」的なものばかりで自分の求めている回答に辿り着けませんでした。 結論から言うと、次のように Hive のパラメータをよしなにセットしてやれば解消します。 -- yarn.nodemanager.resource.memo