インフラ部 SRE グループの渡辺(@takanabe)です。普段はクックパッドのグローバルサービス (https://cookpad.com/us) のインフラの開発や運用をしています。 クックパッドは、21 言語・67 カ国以上を対象にサービスを展開しています ( 2017 年 6 月末時点)。今後もその数を増やしていく予定です。 世界中で使われるサービスのインフラを開発していく上で、乗り越える必要がある課題は沢山ありますが、その中でも、ユーザが利用するクライアントとクックパッドのインフラをむすぶネットワークのレイテンシは特に大きい課題です。 本稿ではなぜグローバルに利用されるサービスにおいて、ネットワークレイテンシが問題になるのか、また、クックパッドではネットワークレイテンシをどう計測し改善しようとしているかについて解説します。 ネットワークレイテンシとは ユーザがサービスにリクエス
最近何かと話題なCDNですが、そもそもCDNってなんだろう・・・どんなことに使えるんだろう？的なことを書いてみようと思います。 一応先に言っておくと、私はCDN業者に所属したことないのであくまでも利用者として見た時の話を書きます。 また、私の考えであり、様々なワークロードがあるなかでこれがすべてではありませんので、こんな考えもあるんだなぁぐらいに思ってもらえると助かります。 そもそもCDNってなんだろうか そもそもCDNはContent Delivery Networkの略であってCache Delivery Networkの略ではありません。 要はコンテンツをクライアントに対して高速・効率的に配信するためのネットワークです。 良くCDNといえばその成り立ちからキャッシュというイメージはありますが、重要な要素の一つではあるもののCDNの全てではありません。 さらに言えばAkamaiのInt
おしらせ：BUSINESS INSIDER編集部では、比喩的表現の箇所が技術的な誤解を招いたことを踏まえ、改めてA氏やその他の開発者とも意見交換のうえ、6月23日に公開した本記事の加筆・修正を決定しました。合わせて、A氏が改めて今回の流出問題を語った記事『[メルカリ流出] 匿名エンジニアA氏が語る｢流出問題の本質｣とは？』もご覧ください。 メルカリの個人情報流出騒動が昨日からネットを騒がせている（BUSINESS INSIDER JAPANの第一報はこちらから）。 メディアの立場から見ると、メルカリの広報対応は及第点だ。短時間で、できる限りクリアに情報露出をすることで、ブランドへのダメージは最小限に留めているように感じる。 その一方で、コンテンツ配信設計のプロから見て｢メルカリの裏側の仕組み｣や｢謝罪リリース文｣の説明はどう映ったのか。国内で有料会員 数百万MAU（Monthly Acti
メルカリでCDNにキャッシュされるべきでないページがキャッシュされることにより個人情報の流出が発生してしまうインシデントがありました 自分は動的コンテンツをCDNで配信することにあまり積極的ではない立場だったのですが流出への反応を見るとCDNを利用しているサービスはかなり増えてきているようです 個人情報やユーザーのプライベートデータを決して流出しないようにしつつCDNを利用する方法を考えてみました CDN利用のメリット このふたつ 経路が最適化されレイテンシが小さくなる DDoS対策となる キャッシュされないようにする方法 Twitterで動的コンテンツもCDN通すの当たり前でしょーと言ってる人にリプしてきいてみました CDNとレスポンスヘッダで二重にキャッシュを無効化する キャッシュを細かくコントロールCDNを使う ホワイトリスト方式で特定のパスのみキャッシュを許可 ログインセッションを
本日コーポレートサイトでお知らせした通り、Web版のメルカリにおいて一部のお客さまの個人情報が他者から閲覧できる状態になっていたことが判明しました。原因はすでに判明して修正が完了しております。また、個人情報を閲覧された可能性のあるお客さまには、メルカリ事務局より、メルカリ内の個別メッセージにてご連絡させていただきました。 お客さまの大切な個人情報をお預かりしているにも関わらず、このような事態に至り、深くお詫びを申し上げます。 本エントリでは技術的観点から詳細をお伝えさせていただきます。 2017年6月27日 CDNのキャッシュの動作について、CDNプロバイダと仕様について確認し検証を行いました。その結果一部記述に実際と異なる箇所があり、加筆修正いたしました。 概要 メルカリWeb版のコンテンツキャッシュをしているCDNのプロバイダ切り替えを行いました。 その際本来キャッシュされるべきでない
By Chris Maidlow Googleが提供するCDNサービスの「Google Cloud CDN」は、現在ベータ版であるにも関わらずCDNの中では世界最速レベルのパフォーマンスを示していることが、CDNやクラウドサービスのパフォーマンスを測定する「Speedchecker」の調査により明らかになりました。 Google CDN Beta is here… and it’s already one of the fastest CDNs out there! – blog.speedchecker.xyz http://blog.speedchecker.xyz/2016/04/18/google-cdn-beta-is-here-and-it-brings-more-than-meets-the-eye/ Googleは数か月前、独自のCDNサービスである「Google Clou
最近 CDN で一番勢いがあるのは？と聞かれた時に Fastly 社の名前が上がってくることが多いのではないでしょうか。 3/15～3/18 (PST -8:00) にサンフランシスコで開催される Game Developers Conference 2016 (GDC) に参加しているのですが、Fastly Japan 営業の Mio Matsuda さんにFastly 本社を訪問する機会をいただいたので訪問レポートをしたいと思います。 Fastly 様は GDC でもブースをお持ちなので、この記事で気になったGDCに参加している方はぜひ訪問してみてください。 Game Developers Conference (GDC) 目次 目次 Fastly 様紹介 所在地 オフィスの雰囲気 キッチンスペース さいごに Fastly 様紹介 今回訪問させていただいたのは、Fastly様です。 w
Fastlyとは Twitter社やGitHub社も利用している、急成長中のCDNサービスです。 以下記事によると、Fastly社は総額1億3000万ドルも調達している様子。 http://jp.techcrunch.com/2015/08/06/20150805fastly-raises-75m-series-d-round-for-its-real-time-cdn/ Fastlyの特徴として、Varnishを使ってCDNを構築している点が挙げられます。 Varnishを使用することで、キャッシュのリアルタイムパージ(150ms)やVCL(Varnish Configuration Language)を使った柔軟な設定カスタマイズを可能にしています。 Fastlyを使ってみる アカウント作成、初期設定 以下記事を参照ください。今回、一般的なCDN設定の説明は省きます。 http://d
2ヶ月くらい前にCDNをAkamaiに切り替えたので、知見を公開。 (追記 2015年8月18日 私個人の認識不足で用語の使い方に問題があったので一部修正しました s/SLA 100%/高可用性構成/g) TL;DR Kaizen Platform, Inc.で利用しているCDNをAkamaiに切り替えた Akamaiはスタートアップでも利用出来るコスト感 高可用性構成のAkamaiを利用することでCDNの可用性というインフラエンジニア的に頭の痛い問題が減った CDN第一世代 AWS CloudFront CDN (-2015年1月) CDNにCloudFrontを利用 サービスで利用しているインフラのほとんどがAWSで稼働しており、 その関係でCDNもCloudFrontを選択。 CDN第二世代 CloudFront + CDN77 (2015年1月-5月) AWS CloudFront
先日、CloudFrontでクラウド破産しかけたのでkeyCDNというCDNサービスを試してみた。 keyCDNはお手頃で何かと便利なのだが、日本語情報がとてつもなく少ないので紹介がてら使ってみた感想などをまとめておく。 keyCDNとは何か keyCDNとは、スイスのベンチャー企業がやっているCDNサービス。 世界中にエッジロケーションがあり、ちゃんと東京にも用意されてある。 数あるCDNサービスの中でkeyCDNを選んだ理由は、 S3をオリジンにできる 転送料金が安い(CloudFrontの東京リージョンの場合に比べて約1/3) 東京にエッジロケーションがある アクセスログなどが見られる素敵なダッシュボードがある というところ。 特にCloudFrontの転送料金ははじめの10TB(東京): $0.14/GB*1に対して、keyCDNの転送料金は、はじめの10TB: $0.04/GBと
The faster, the better！ブログの表示速度向上は永遠の課題だと思っているg.O.R.i（@planetofgori）デス！ gori.meは比較的画像が多いため、どうしても読み込み速度が遅く、以前から色んな方法を試して改善に努めてきた。その中でも間違いなく効果があると言える無料で利用できるCDNサーバー「CloudFlare」を紹介する！！ウェブ運営者、ブロガーは間違いなく導入した方がいい！ そもそもCDNとは何か？ まず、CDNについて簡単に説明する。CDNは「Contents Delivery Network」の略で、ウェブコンテンツを配信するために最適化されたネットワークのことを意味する。 ウェブサイトにある画像や動画などの高容量コンテンツをウェブサービスが提供されているサーバーとは別のサーバーにキャッシュし、代わりに配信して負荷分散するという仕組み。ここでいう「
少し前に書いたエントリーでは、h300 にどっと押し寄せたアクセスを捌くために、画像ファイルを別サーバに移したり、最終的には AWS の CDN である「Amazon CloudFront」を導入したことなどを、その判断基準も含めてまとめました。 -オシャレエロサイト「h300」をリリースして、10万PV/日を捌くためにやったこと それに対して、1番よく訊かれたのが で、ぶっちゃけ、結局サーバ代（CDN 利用料含む）にどれだけかかったの？ << という質問でした。 ぶっちゃけたところを、書きます。また CDN 利用料を抑えるために JPEGmini という Web サービスが非常に役に立ったので、併せて紹介します。 **h300 にかかった CDN 利用料と、それを半分に抑えてくれた JPEGmini -1. h300 のサーバ代は、ぶっちゃけ 3万円/月 -2. CDN 利用料を半分に抑
cdnJSはGoogle Libraries APIで提供されていないJavaScriptライブラリをCDNで配信するプロジェクト。 cdnJSはJavaScript製のオープンソース・プロジェクト。CDN（コンテンツ・デリバリー・ネットワーク）というと画像や動画などの大きなデータを高速に配信するために利用されることが多い。だが頻繁に使われるデータについてもCDNを使うことで効率化することができる。 トップページ 有名なものとして、Googleが提供するLibraries APIがある。ここではDojoやjQuery、prototype.jsといったよく使われるJavaScriptライブラリを配信している。同様の仕組みをオープンに行うのがcdnJSだ。 Googleでも多数のライブラリを提供しているが、それは有名なものに限られる。もっとマニアックなものを含めて提供したいと考えているのがcd
fladdictの非公式プロジェクト（いわゆる裏dicct）に、posemaniacs.com というサービスがある。 絵のデッサン素材を無料配信するサイトだけど、いつのまにやら老舗サイトに。気がついたら1日の転送量が30〜40GBまで膨れ上がっていた。あまりの負荷にホスト元のhetemlさんでアクセス規制、あわや閉鎖の危機の大ピンチ。わりと本気で、Pixivとか星海社とかマール社にサービス譲渡とかしようか悩んだ今日この頃でした。 そんな折、@ku_suke さんのご了解で導入してみた、CloudFlareというサービスが、全ての危機を救ってくれた。マジ多謝です。 どういうサービス？ CloudFlareはCDN（広域負荷分散システム）。世界5カ所にデータセンターを有し、データをキャッシュして各地に配信するこで負荷分散してくれる。いわゆるAkamaiの同類だけど、ものすごい特徴が１つある。
Ajaxian Rey Bango氏がAjaxianにCDNs Gaining Broader Use with JavaScript LibrariesのタイトルでAjax JavaScriptライブラリにおけるCDNの利用が拡大していることを紹介している。Google AJAX Libraries API、jQuery Hosting、ExtJS CDNライブラリが例にあげられている。 Google AJAX Libraries API Googleは2008年6月、Google AJAX APIを拡張する新しいサービスThe AJAX Libraries APIを公開した。有名なAjax JavaScriptライブラリをGoogle CDNを通じて提供するサービスだ。Ajax JavaScriptフレームワークとCDNという視点は同サービスの開始で特に注目されるようになった。配布する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く