そこそこ信頼できるオブジェクトストレージとして ConoHa を使い出しました。ちょくちょく AWS S3 は使っていたんですけど、無限にダウンロードし続けるバグを書いてしまったせいで 6 万円以上無駄にパケ死してしまったということがあり、個人ではなるべく使いたくないという気持ちでいっぱいになっています。その点 ConoHa は転送量無料で 100GB/450 円/月と、S3 の転送量課金に怯える貧民にとってはとてもいいサービスとなっています。 オブジェクトストレージが嬉しいケース 自分の場合です。普通にもっとたくさんある。 アプリケーションと別の場所に静的ファイルを設置できる アプリサーバーが複数台必要になった場合ほぼ必要になります アプリサーバーが壊れても復活できる とりあえずここに置いておけばファイルは安全 オブジェクトストレージは何重にもファイルを保存してるので安心感ある アプリサ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Amazon S3をクラウドのストレージとして活用している人は多いです。システムから自動保存するだけでなく、普通にファイル置き場と使っていたりします。バイナリファイルを置いて、ファイル配布の場として使っているケースも多いでしょう。 そうなると欲しくなるのがファイル一覧、インデックスページではないでしょうか。そこで使ってみたいのがAmazon S3 Directory Browserです。 Amazon S3 Directory Browserの使い方 Amazon S3 Directory Browserを使うとファイル、フォルダの一覧がApacheのDirectory Indexのようにシンプルに使えるようになります。WebサーバのDirectory Indexをきれいに表示する
怖話を作っていてインフラを含めた設計で迷っている箇所がいくつか溜まってきたのですが、もしいい方法があったら教えて欲しいという点をブログに書いていきたいと思います。 前提 エンジニアは僕一人だけなので極力手間を減らしたい怖話は広告モデルなのでアクセス辺りの収益が低い。なるべく安く（できれば無料に）したいデザイナーやインターンの人も開発するので複雑にしたくない（例えば怖話をローカルで開発する環境を作るのにredisとかfluentdとかいろんなサーバープロセスを立てないと画面が確認できないとか） 画像の置き場所に困る怖話はアクセス負荷的にappサーバーの2台目が必要かな？ぐらいの状態にあります。 appサーバーが複数台になると画像などのアップロードされるファイルの置き場を共通にする必要が出る。 一度はappサーバー2台でS3 + CloudFrontにしましたが、転送料が高いからappサーバー
概要 s3関連のコマンドは色々と既存のものがありますが、 javaだったり、rubyだったり、なんだかんだインストールが面倒。 大量のファイルをS3にアップロードするのに随分と時間がかかる。 複数のファイルを並列でアップロードできたらイイなというのと、 golangならインストールも実行ファイル1つだけで済むしなぁ・・・ という思いから、golangを使って「エイや！」で作って とりあえず、動くものができました。-> https://github.com/masahide/s3cp golangでAWS APIを使うには goamzを使えばよさそうです。 しかしgithub上にgoamzのforkが一杯あり、どれが良いのか迷います。 今回は星の数等から github.com/crowdmob/goamz を選択しました。 s3へのアップロード goamzを使えば簡単です。 https://
概要 Teraform は、インフラのコード化(Infrastructure as code)を実現すべく、インフラの構築・変更・バージョン管理を、安全かつ効率的に行うためのツール。Vagrant、Serf、Consul 等を提供する HashiCorp がオープンソースで提供している。 本稿は、Teraform がサポートしている事業者(provider)の１つである Amazon Web Services (AWS)のうち、Simple Storage Service (S3) のバケット追加・削除を行うためのチュートリアルである。 本チュートリアルを通し、Terraform を使ったインフラのコード化に対する理解を深める事を目的とする。 参考：Terraform入門 日本語訳 - Qiita http://qiita.com/zembutsu/items/84f5478701c539
はじめに S3は、拡張性と信頼性に優れた堅牢なストレージサービスとして、AWSサービス支えるの中心的な存在です。冗長化、ライフサイクル管理、アクセス制御、暗号化等バックアップメディアに期待される機能を標準で備えています。 ご紹介するS3暗号化はクライアントサイド暗号化、サーバーサイド暗号化が可能で、さらに暗号化にユーザーが管理する鍵を使用できます。企業の内部情報や個人情報を含むデータでも、手間をかけずに暗号化して保管できます。 S3暗号化の分類 データを暗号化する場所と鍵の管理をどこが担うかによって分類されます。 ・鍵の生成・管理はサーバサイドとクライアントサイドのどちらであるか ・オブジェクトの暗号化はサーバサイドとクライアントサイドのどちらかであるか AWSが提供するS3暗号化ソリューション Client Side Encryption Client Side Encryption（以
こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;
Amazon EBSとAmazon S3の値下げされた新価格が適用されるのは、来月2月1日から。 Amazon EBSは最大で半額に 今回最大の値下げとなったのが、Amazon EC2用にブロックストレージを提供するAmazon EBS（Elastic Block Store）です。 Amazon EBSの価格は、1カ月でプロビジョニングされたストレージ容量と、1カ月のI/Oリクエスト数という2つのパラメータによって決まります。 現在の価格は、米国東部リージョンと米国西部リージョンのAmazon EBSスタンダードボリュームで、1カ月にプロビジョニングされたストレージ1GBあたり0.10ドル、100万I/Oリクエストあたり0.10ドルと設定されています。新価格ではこれがどちらも0.05ドルと半額になります。 値下げ幅はリージョンによって異なっています。東京リージョンでは現在の価格が、1カ月
Flask-S3¶ Flask-S3 allows you to easily serve all your Flask application’s static assets from Amazon S3, without having to modify your templates. Walk through your application’s static folders, gather all your static assets together, and upload them to a bucket of your choice on S3; Replace the URLs that Flask’s flask.url_for() function would insert into your templates, with URLs that point to the
go 言語かけるようになるとメス鳩のウケが良いと聞いたので頑張って勉強しました。リリースは大安か友引の日を選ぶタイプの鳩、ロージーです。 gofu(護符) という、弊社の id:mirakui さんが作ったイケてる画像リサイズサーバー、 tofu の go 実装です(tofu についてはこのへんを見ると良いです)。 もちろん全部機能が載ってるわけでもなく、ひみつのハッシュ値あたりとかはどう実装されてるのか知らんし今回必要ないのでつけてません。 護符が出来ることは以下で全てです。 S3 から画像をとってきて表示することが出来ます(/image/path.jpg にアクセスすると S3 の /image/path.jpg を取ってきます) 取ってきた画像からは自動的に Exif その他のメタ情報が消えています。 これらのパラメータでリサイズなどの処理を付与できます。 w : 画像の横幅を変更し
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く