ピクシブ社内広告サーバーでのGoの開発・運用
ピクシブ社内広告サーバーでのGoの開発・運用
Note: this post was co-written by Alex Şuhan and Todd Mostak of MapD. At MapD our goal is to build the world’s fastest big data analytics and visualization platform that enables lag-free interactive exploration of multi-billion row datasets. MapD supports standard SQL queries as well as a visualization API that maps OpenGL primitives onto SQL result sets. Although MapD is fast running on x86-64 CP
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
DNS HTTP のリクエストも実際は、サーバとの TCP 接続の確立が必要になる。 そのためには、ホストを DNS で名前解決しないといけない。 この DNS もチューニングが進んでいくと気になる存在になる。 特にクライアントが DNS を設定している場合は、それ自体を速くするみたいなことはしにくい。みんなが 8.8.8.8 にしているとも限らないし、Web アプリというレイヤで見ると手を入れにくい部分だった。 DNS Prefetch 最近のブラウザは、例えばページにリンクが埋め込まれていれば、そのリンクのドメインを先に解決しておいてくれる。つまり、リンクをクリックした時点では、すでに名前解決が行われている状態にできる訳だ。 ドメインの解決は、パケットが飛ぶ訳だけどそのペイロードは Web の中で言えば結構小さい部類だし、結果は TTL の間はキャッシュされるのですぐ次のページで使われ
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
Linuxでのアカウント情報管理について /etc/passwdについて /etc/shadowについて パスワードのハッシュ化について Shadowの項目について Hash方式について ハッシュ化とは？ Saltについて 参考文献 2012/11/05: 表示が乱れていたので修正した。(今見ると、あんまり見やすくないページだ…) Linuxでユーザのアカウント情報を保管しているファイルといえば、 /etc/passed /etc/shadow があります。 以下では、パスワードの情報などは /etc/shadow に保管されている状況で、それぞれどんな情報が格納されているかまとめてみました。 ( /etc/passwdにパスワードを保管しないのは、/etc/passwdが他のユーザからRead可能なファイルだからです。 そしてRead権限がないと困ります。/etc/passwdをRead
Oracle, The World's Largest Enterprise Software Company SolarisにはこれまでSunSSHと呼ばれるSolarisに特化したSSHの実装系が提供されてきた。これはもともといくつかの理由からOpenSSHからフォークする形で開発が進められた実装で、OpenSSHの実装を随時バックポートする形で最新版のOpenSSHと同期しながら実装が維持されてきた。 しかしこの体制はそろそろ終了するようだ。Oracleは7月7日(米国時間)、「OpenSSH in Solaris 11.3 (darren_moffat@blog$ cat /dev/mem｜grep /dev/urandom)」において、Solaris 11.3ではSunSSHとOpenSSHの双方を提供しているが、以降のリリースからはSunSSHは提供せずOpenSSHのみを提供
When it comes to the reconnaissance of some target network, the start point is undoubtedly on host discovering. This task might come together with the ability to sniff and parse the packets flying through the network. A few weeks ago, I talked about how to use Wireshark for packet sniffing, but what if you don't have Wireshark available to monitor a network traffic? Again, Python comes with severa
PiScope: Turn your Raspberry Pi into an Oscilloscope/XY Plotter An oscilloscope is a laboratory instrument commonly used to display and analyze the waveform of electronic signals. In effect, the device draws a graph of the instantaneous signal voltage as a function of time. A XY Plotter is an instrument to plot a voltage variable with respect to another voltage variable. This is in contrast to the
For the past few years, I have been using Amazon Web Services for the underlying infrastructure in several projects. Many of its services make my life much easier and allow me to focus on the quality of my products. But when it comes to cronjobs, there’s nothing out of the box that allows you to manage your tasks. I was looking into a way of avoiding having to set up and manage a cron replacement
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 人に教えるには自分が完全に理解していなければ、ということで調査・検証した結果。 動機 シェルからバックグラウンドで処理を行うには？ nohup コマンド実行 & を使う。 コマンド実行 => Ctrl-Z => disown を使う。 定番は前者だが、両者の違いは何なのか？ disownとは一体何をするのか？ この機会に調べてみた。 結果のまとめ 長くなったので最初にまとめを。しかしまとめも長い。 （後自分が読む時に一番下にスクロールしたくないので…） ジョブテーブル シェルはセッションに紐づくジョブテーブルを持っている。 バックグラウ
OSC2015北海道で「これだけみれば大丈夫ーCactiによるMySQLパフォーマンス監視のツボ」という発表をしてきました こんにちは nobuh です。 昨年の 第四回札幌MySQL勉強会 以降、多忙のためなかなか勉強会を開けていない札幌MySQL勉強会ですが、各メンバーはこつこつとスキルアップを続けていました。 そして今回、日本MySQLユーザー会 様からお話を頂き、OSC2015北海道 にて札幌MySQL勉強会から発表させて頂きました。こちらがそのスライドです。 InnoDB の I/O のしくみについての解説部分 グラフを見てパフォーマンスの状況を知るには、MySQL や InnoDB がどういう動作をしているのか知っている必要がありますが、InnoDB のデータをディスクに書き込む checkpoint の仕組みはとても複雑で資料も少ないです。発表当日のプレゼンでは少しでもわかり
タイトルは釣りです. JavaScriptを使った開発をしていると、とかくJSONによる設定ファイルが頻出しますよね. NPMのpackage.jsonとか, Bower.json, .jshintrc, tsconfig.json等々です. それぞれの設定ファイルについて, どのようなkeyが必要なのか, 値には何が書けるのか, 暗記していますか？ 僕は覚えていません. 毎度毎度, ググったり, リファレンスページに行ったりしてました. npm init や bower init で雛型は生成してくれるものの, 全てのkeyが載っている訳ではないですし... (JSONにコメントが許されないのが辛いですね). そこでJSON Schemaです. JSON Schemaを使えば, keyや値(と言ってもenum程度ですが)の補完情報を生成出来ます. 誰かがそういうVim pluginを作っ
オープンソースのクラウドストレージ技術ベンダー米Minioが6月17日、正式に発足を発表した。合わせて「Amazon S3」とAPI互換の「Minio Server」を公開、クライアントとライブラリも入手できる。 Minioを立ち上げたのはオープンソースの分散ファイルシステム「Gluster」の設立者Anand Babu Periasamy氏（Glusterは2011年に米Red Hatに買収された）。社名であり製品名でもあるMinioは「Minimal Object Storage」の略で、拡張性のあるオブジェクトストレージ技術をオープンソースの形で開発・構築することでクラウドストレージ市場を「民主化する」としている。アプリケーション開発者はNode.js、MongoDB、Cassandraのように自分のアプリケーションスタックのなかにオブジェクトストレージ機能を導入できるという。 Mi
問題 Vim でカラースキームを試すときは主に以下の様な作業が必要になります． プラグインマネージャなどでカラースキームをインストールする カラースキームの名前を確認する :colorscheme コマンドでカラースキームを指定する コレジャナカッタ場合はカラースキームを削除する お気に入りのカラースキームを探していると上の操作をひたすら繰り返す必要があり面倒です． 解決 サクッとカラースキームを試したい時のために try-colorscheme.vim というプラグインをつくってみました． https://github.com/rhysd/try-colorscheme.vim 下記のように :TryColorscheme コマンドを使うだけです．下記の3通りの方法で指定できます． " カラースキームのあるリポジトリを指定する (user/repo 形式) :TryColorscheme
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く