2. とは？ • Googleの基盤ソフトウェアのクローン – Google File System, MapReduce • Yahoo Research の Doug Cutting氏が開発 – 元々はLuceneのサブプロジェクト – Apache Project • Javaで記述! 3. Google関連 参考論文 & スライド • The Google File System – Sanjay Ghemawat, Howard Gobioff, and Shu-Tak Leong, SOSP 2003 • MapReduce: Simplified Data Processing on Large Clusters – Jeffrey Dean and Sanjay Ghemawat, SOSP 2004 • Parallel Architectures and Compila
前回までで、Hadoopの実行環境の準備ができました。 ・第一回：Ubuntu10.04でHadoop環境構築(疑似分散編) ・第二回：HadoopのHDFS確認とサンプルプログラムの実行 ・第三回：Pigのインストール これからいよいよMapReduceを記述して行くのですが、 そのための開発環境を作成していきます。 一番慣れているのでEclipseの設定を行いますが、 もちろんTextEditorでプログラム作成してantでbuildでも問題ありません。 Eclipseのインストール Synapticでインストール Eclipseの日本語化 Pleiades：http://sourceforge.jp/projects/mergedoc/releases/ 上記サイトからD／Lし、適当な場所に解凍しておく 解凍したディレクトリに移動し、以下のコマンド実行 # cp -R feature
何度も構築しているとたまに忘れてしまうので、備忘録として記載します。 今行っている研究室での導入用教材にも転用。 OSのインストールからHadoopのインストールまで駆け足で解説します。 以下の環境が前提です。(ホストOSや仮想環境は他でも可) ホストOS：Mac OSX(10.6.3) 仮想環境：VMware Fusion3 インストールの流れ Ubuntu10.4LTSインストール VMware Toolsインストール JDK6インストール Hadoop 0.20.2インストール 大まかに上記のような流れ。 Ubuntuのインストール ほとんど悩む事はないでしょう。 VMware仮想マシンを作成し、isoからインストール Ubuntu Desktop 日本語 Remixのダウンロード | Ubuntu Japanese Team 「簡易インストールは選択しない」ことだけ注意 VMwar
hadoopプロジェクトで配布されているtar.gzを展開するとcontrib/eclipse-plugin配下にhadoop-0.17.0-eclipse-plugin.jarというファイルがある。これをEclipseのpluginsに置いて起動すると、Map/Reduceなアプリを作るための便利な機能がEclipseに追加される(ハズ！)。まずは、"プロジェクトの作成" 必要なjarが最初から入っているのはいいよね。で、次は、Mapperを。 コンパイルエラー...orz。Reducerも同じように作る。当然(?)、Mapperと同じくコンパイルエラー。最後にDriverを。先ほど作っておいたMapperとReducerを指定すると、、、 deprecated！！！コンパイルエラーじゃないだけマシか。12行目でJobClientをnewして、27行目でJobConf設定するのはいいんだ
Ubuntuを手に入れよう 「第1回：最新版Ubuntu登場（http://www.thinkit.co.jp/article/84/1/）」では、Ubuntu 8.04 LTS サーバ版の概要と、開発の背景にあるUbuntuコミュニティ、Canonical社やUbuntu Foundationの役割について紹介しました。 今回は、Ubuntu 8.04 LTSのサーバ版をダウンロードし、実際にPCにインストールするまでの流れを紹介します。多くのディストリビューションと同様、インストールCDを入手し、そのCDでPCを起動、インストーラの質問に答えていく、という形式です。ただし、インストールに必要なCDは1枚だけです。 UbuntuのインストールCDは、インターネット経由でダウンロードできるほか、UbuntuのWebサイトのRequesting an Ubuntu CD（https://sh
Ubuntu 9.10 がリリースされたので、早速インストールしてみました。 今回のターゲットは UPS 監視用サーバで、それ以外は遊ばせてるマシンです。今までは、Ubuntu 9.04 Desktop を入れて使っていたのですが、重すぎたので、Ubuntu 9.10 Server を選択。9.10 になって、起動が超速くなりました。 ダウンロードは、Download Ubuntu Server Edition から。日本語のページからリンクされているページは間違っているので注意。というか、本家側で変更されたのに、ついていってないだけですが。デフォルトで 64 ビットになってるけど、インストール予定のマシンは古いノートパソコンなので 32 ビットを選択。 インストールは今までどおり進みました。以下、インストール備忘録。 最初の画面ではもちろん「日本語」を選択。 ちょっと文字化けしてますが、
UBUNTU(Linux)で 32bitなのか64bitなのか見分ける方法 久しぶりに起動したNECサーバーのUbuntu OSが６４だったか３２だったかわからなくなった。調べたい uname -a を使って見分ける。 いまのところ、Uname-aで出てくる結果はこれ $uname -a Linux cheese 2.6.28-11-generic #42-Ubuntu SMP Fri Apr 17 01:57:59 UTC 2009 i686 GNU/Linux これが32ビットOSを表すのか？確証が持てない。 64ビットの出力結果と比べてみたいが OSをインストールし直さないとだめなの？ OS入れ直せば64ビットの出力結果も取得できるけどね。 入れ直すの面倒だ。 そこで知恵を絞ってみた。面倒だしなんか悔しい。 なんとか３２ビットと６４ビットを識別する方法がほしい。Unameでどこを見た
初心者も使えて人気急上昇のOS『Ubuntu』。Ubuntu Japanese Teamの個性的な面々がやさしく、カンタンに、そして本音トークで「Ubuntuの今」を解説してくれるぞ。Ubuntuユーザーなら必読の座談会なのだ！ 2012年10月11日 14時00分 PC 第61回 ～師範、Ubuntu道場が最終回です！～ 永らく御愛顧いただきましたUbuntu道場も遂に最終回。なんだかしんみりとした展開になっちゃいましたねといったことは特になく、今回もゲストを迎えて、よくわからないことになっております。 2012年09月13日 12時00分 PC 第60回 ～師範、組版システム「TeX」について教えてください！～ 今回のお題は「TeX」。そもそも組版って何？ってところからUbuntuでの使い方などなどをゲストをお迎えしてお届けです。 2012年08月09日 14時00分 PC 第59回
OpenSSH SSH クライアント 設定ファイル 書式 ~/.ssh/config /etc/ssh/ssh_config 説明 ssh (1) は以下のものから (この順序で) 設定情報を取得します: コマンドラインオプション ユーザごとの設定ファイル 各設定項目にはそれぞれ最初に見つかったものが使われます。設定ファイルはいくつかのセクションに分かれており、これらは"Host"キーワードにより区切られています。あるセクションの設定が適用されるのは、コマンドラインから与えられたホスト名が、このキーワードで指定されているパターンのどれかにマッチするときだけです。 各設定項目で最初に見つかった値が使われるので、ホストに特化した宣言をファイルの先頭近くに置くようにし、一般的なものを後に置くのがよいでしょう。 設定ファイルは以下のような形式になっています: 空行、および # で始まる行は、コメン
あのひとのことが知りたい。 あのひと検索スパイシーはひとのプロフィールとつながりを知ることが出来る人物検索サービスです。
UNIX で安全にファイルの転送を行なうには，scpコマンド(Secure CoPy)を実行します． ここではscpコマンドの利用方法について説明します． ファイル転送の仕組みの詳細についてはを参照してください． 6.1.1 リモートホストへのファイルの転送 ローカルホストの`kadai.tex'というファイルを リモートホストccz03.sfc.keio.ac.jpの ユーザt03000tf の`documents'ディレクトリに 転送する例を次に示します． % ls <ENTER> ← リモートホストのファイルを閲覧 kadai.tex report.tex % scp report.tex t03000tf@ccz03.sfc.keio.ac.jp:documents <ENTER> t03000tf@ccz03.sfc.keio.ac.jp's password: _ ← パスワー
以前の記事「$HOME/.ssh/configを活用していますか？」では、設定ファイルを少し頑張って書けば普段のSSHライフが随分変わりますよ、と紹介しました。今日はその続編です。前回よりマニアックな設定を紹介します。 2段以上先のサーバにログインする Dynamic Forward機能を使う 共通設定をまとめて書く 2段以上先のサーバにログインする 目的のサーバにログインするために、踏み台的なサーバを経由しないと入れない環境があります。例えば、dmz経由でないとDBサーバにログインできない環境、というのは良くある構成でしょう。 このような場合に、ProxyCommandパラメータが利用できます。 上の設定で「ssh db1」とすると、sshでdmzに接続し、dmzから192.168.0.201へログインします。これを利用するには踏み台サーバにncコマンドが必要ですが、大抵の環境にインスト
ubuntu9.10にhadoop環境を構築。 ちょっとお試しレベルなので、擬似分散モードで構築。 参考にしたURL:http://metasearch.sourceforge.jp/wiki/index.php?Hadoop%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7 環境 Linux ns1 2.6.24-27-server #1 SMP Thu Jan 28 00:36:19 UTC 2010 i686 GNU/Linux 下準備 sunのjavaと、SSHとrsyncが必要なのでインストール。 $ sudo apt-get install ssh rsync sun-java6-jdk $ java -version java version "1.6.0_12" Java(TM) SE Runtime Environment (build 1.6.0_
楽天グループ株式会社が国立情報学研究所を通じて研究者に提供しているデータセットです。 2022/03/10 更新 データ概要 以下のデータが含まれています。 楽天市場：全商品データ (約2億8300万商品)，商品レビューデータ (約7000万レビュー)，ショップレビューデータ (約2250万レビュー) 楽天トラベル：施設データ (約2.9万施設)，レビューデータ (約656万レビュー) 楽天GORA：ゴルフの施設データ (1,669施設)，レビューデータ (約32万レビュー) 楽天レシピ：レシピ情報 (約80万レシピ)，レシピ画像 (約80万画像)，Pickupレシピ (1,854レシピ)，デイリシャスニュース (362件) アノテーション付きデータ 筑波大学文単位評価極性タグ付きコーパス（TSUKUBAコーパス）：筑波大学よりご提供いただいた，楽天トラベルのレビューデータに対して，文単位
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
1990年代初頭から記者としてまた起業家としてITスタートアップ業界のハードウェアからソフトウェアの事業創出に関わる。シリコンバレーやEU等でのスタートアップを経験。日本ではネットエイジ等に所属、大手企業の新規事業創出に協力。ブログやSNS、LINEなどの誕生から普及成長までを最前線で見てきた生き字引として注目される。通信キャリアのニュースポータルの創業デスクとして数億PV事業に。世界最大IT系メディア（スペイン）の元日本編集長、World Innovation Lab(WiL)などを経て、現在、スタートアップ支援側の取り組みに注力中。 ソーシャルメディア動向調査を手がけるMMD研究所は7月28日、ビジネス関連の情報収集ツールとして活用しているサービスについて質問したところ、回答の割合が高かったのは55.9%の「Twitter」だったと発表した。 次点は32.6％の「各種RSSリーダー」、
Yahoo！オークションで「怪盗ロワイヤル」を検索し、入札の多い順にソートした。1000件以上ヒットしており、人気商品には1万円以上の値が付いている（8月3日時点） モバゲータウンやmixiで人気のソーシャルゲーム「怪盗ロワイヤル」のアイテムが、Yahoo！オークションで高値で取引されている。ゲームをやり込んだユーザーが大量のアイテムを一括で出品し、数万円～数十万円の高値で落札されることもある。 ゲームの運営主体であるディー・エヌ・エー（DeNA）は、アイテムを現金で取引するRMT（リアルマネートレード）を規約で禁止しており、ユーザーに注意喚起しているほか、オークションでの取引についても「対応を検討している」という。 怪盗ロワイヤルは、自らが「怪盗」となり、武器や仲間をそろえながら世界中に散らばった「お宝」を集めるゲーム。仲間にアイテムをプレゼントする機能もある。RMTを行っているユーザー
iPhone アプリ開発を初めてはや2年。わけわからんレベルからなんとかアプリをリリースするところまでこぎつけました。もともと趣味ではじめた事ですが今は仕事でも iPhone アプリ開発をしています。ここに至るまで自分が調べたことや参考にした文書をアプリの構想からアプリをリリースするまでの手順にそってまとめてみました。 iOSアプリ開発関連の本を書きました 初めて iOS アプリ開発をされるかた向けに「プロの力を身につける iPhone/iPadアプリケーション開発の教科書」という本を書きました。 この記事を読んで iOS アプリ開発に興味を持たれた方におすすめです(2013年2月26日発売)。2015年1月17日にSwiftに対応した改訂版がでました。 本の内容に関する詳しい記事はこちらです。 iOSアプリ開発の本を書きました 初期投資 8400円とプライベートな時間、iPhoneまたは
[Linux,Eclipse,Tomcat連携]の目次へ 開発環境の準備 apt-getコマンドを使ってJDK、Eclipse、Tomcatをインストールし、Tomcatプラグインを設定します。 ■前提 Proxyサーバーを利用する場合は、Proxyの設定が完了していること JDKのインストール
こんにちは、太田です。今回から、Ajaxと呼ばれるような非同期な通信処理を行うJavaScriptについて解説していきます。今回は特にJSONPについて基礎的な部分を解説します。 JSONとは JSONについては第9回でも少し触れていますが、改めて解説します。 JSON（JavaScript Object Notation）はJavaScriptから生まれたデータ記述フォーマットで、真偽値、数値、文字列、null値の組み合わせを持ったハッシュか配列かその両方で構成されます。 JSONはそのシンプルさから多くの言語でネイティブにサポートされており、特にウェブ関連ではポピュラーなデータフォーマットです。 JSONのサンプル（配列） ["aaa", "bbb", "ccc"] JSONのサンプル（ハッシュ） {"aaa":1, "bbb": 2, "ccc": 3} JSONのサンプル（ハッシュ
はじめに 今回はDoS／DDoS対策を紹介します。今回はiptablesを使った方法とともに、Linuxのカーネルパラメータを使った方法も紹介します。 関連リンク： →Linuxで作るファイアウォール［パケットフィルタリング設定編］ http://www.atmarkit.co.jp/flinux/rensai/security05/security05a.html →連載記事 「習うより慣れろ！ iptablesテンプレート集」 http://www.atmarkit.co.jp/flinux/index/indexfiles/iptablesindex.html →連載記事 「習うより慣れろ！ iptablesテンプレート集 改訂版」 http://www.atmarkit.co.jp/flinux/index/indexfiles/newiptablesindex.html DoS／
Secha Touchリリース後初ということで、70名近くに参加していただき大盛況だった7月のExt JS勉強会（東京）の資料です。7月の勉強会のアジェンダは以下の通り： Senchaへのブランド変更について（直鳥） Sencha Touch入門（株式会社sus4 佐竹様） Sencha TouchとYubizoで作るネイティブアプリ（株式会社アイキューブドシステムズ 佐々木様） SpreadOfficeとSencha Touch（小堤） ホワイトクラウド シェアードHaaSのご紹介（ソフトバンクテレコム株式会社 加藤様） … なお、当日の模様はUstreamで中継・録画（http://ustream.tv/channel/extjapan）を行っていたのですが、今日現在、録画が観られない状況です。状況を確認中ですが、観られるようになったら、Twitter（@extjapan）等で連絡し
Web 制作のことを中心に、ちょっとした Tips などを掲載しています。「自分用メモ」が基本スタンス。 btmup Blog ディレクトリ名とかファイル名って、ちゃんとしようとすると意外に時間がかかるもの。 ページタイトルを直訳すれば良いってもんでもなく、いくつかある候補から内容に一番合った単語を見付けてこないといけない。 いちいち英語を調べるのもメンドいし、かといって「gaiyo」とかじゃ気持ち悪いし、どうしたもんかねー、とずっと思っていました。 で、今回、勢いでざっくりとまとめてみたのでついでに公開します。 本当にざっくりなので抜けもあるだろうし「それくらい書かんでも分かるわボケ」なものもあるでしょうけど、まぁそれは追々。 ディレクトリ名やファイル名として使用することを前提としているので、文法とかは全く考慮してませんので悪しからず。 最近、医療・病院関係のサイトに仕事で関わることが多
Welcome to MyDNS®JP We are Free and Easy to use Dynamic DNS! (DDNS) About Log In Welcome to MyDNS.JP MyDNS.JP is a Free Dynamic DNS(DDNS) that anyone can easily use. It can be used for various purposes such as Home Servers, Office Servers, WEBCAM and VPS. Whether you use the Free Sub-Domain provided by MyDNS.JP, or Original domain that you already have. And IPv4 address(A) and the IPv6 address(AAA
Forum The Ubuntu Forum Community Ubuntu Specialised Support Development & Programming Programming Talk Eclipse 3.5 and Tomcat6.0.18_ubuntu not playing well together!! Hello, Unregistered. This is an update to the transition of the forums to Ubuntu Discourse. As previously notified, this site is no longer accepting new support threads pending its closure . Any such threads will be closed. Anyone ne
OSC2007/Fallで存在を知ったZKをちょこっと体験してみようということで、今更ながらTomcatを導入。 Javaは全く素人なのだが、新しいもの好きなので6を入れる。 手順メモ。 1.まずはJDK6をインストール。これはapt-getができるので楽。 $ sudo apt-get install sun-java6-jdk 2.公式サイトからTomcat6（apache-tomcat-6.0.14.tar.gz）をダウンロードして解凍。 3.解凍したディレクトリを/opt配下にコピーしてシンボリックリンク/opt/tomcat6をはる。（/usr/localが普通かも） 4.~/.bashrcに以下を追加 export JAVA_HOME=/usr/lib/jvm/java-6-sun export PATH=$PATH:$JAVA_HOME/bin 5.とりあえず起動テスト $
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く