こんにちは、CX事業本部の若槻です。 今回はAWSコンソールからAmazon S3 Selectを使ってS3バケット上のファイルを抽出してみました！ Amazon S3 Selectとは Amazon S3 Selectとは、Amazon S3バケット上のCSVやJSON形式のオブジェクトから、必要なデータをSQLライクな構文で効率的に抽出できるAWSの機能です。2018年4月にGAされました。 Amazon S3 Select が一般公開 - What's New with AWS 使ってみた 早速AWSコンソールからS3 Selectをしていきます。 今回はバケットへアップロードした以下の2ファイルに対して行ってみます。 CSV形式のファイル「participant.csv」 JSON Lines形式のファイル「result.json」 CSVファイルの場合 まずCSVファイル「par
CloudFrontをS3 オリジンで利用するとき、「CloudFrontをバイパスしたアクセスを制限」「インデックスドキュメントを返す」という要望は少なくないのではないでしょうか？出来そうで出来なかった共存を Lambda@Edge で解決！ ちょっと伝わりにくいタイトルですが、やりたいことは以下の2つです。 CloudFront の S3 オリジンには直接アクセスさせない（CloudFront をバイパスした S3 へのアクセスをブロック） オブジェクト指定のないアクセス（末尾"/"の URL アクセス）にはインデックスドキュメントを返す（サブディレクトリも含む） 画にするとこういうことです↓ 「CloudFront をバイパスさせない」という点でまず考えるのは、オリジンアクセスアイデンティティでかと思います。そして、「オブジェクト指定のないアクセスにインデックスドキュメントを返す」と
設定方法は、公式ドキュメントの通りですが、~/.aws/configに直接記載するか、aws configure setコマンドを利用して設定します。 $ cat ~/.aws/config [profile default] s3 = max_concurrent_requests = 20 max_queue_size = 10000 $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure get default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure get default.s3.max_queue_size 10000 AWS CLI S
PCだけ対応してみました。 最近、全然GitHub使ってなかったので自責の念も込めて作成。 Grass-Graph / Imaging your GitHub Contributions Graph でGitHubのGrass-Grappを画像として取得できるWebサービスを運営してくれているので、これを使おうかと思ったのですが、透過PNGでないことと個人的には自前で用意した環境（もしくはHatena Fotolife）に置きたいなと思ったので、script作ってS3に画像を置くようにしてみました。 まずかったらやめます。 公開ファイルの置き場所について S3は十分使えそうなのは知っていたので、他を少し検討。 Hatena Fotolife 当初、ここに置いちゃえばCDNに乗るので使いたかったのですが、ファイル名固定でuploadする方法が分からず断念しました。(CSSで指定する際に固定で
cp <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri> [--dryrun] [--quiet] [--include <value>] [--exclude <value>] [--acl <value>] [--follow-symlinks | --no-follow-symlinks] [--no-guess-mime-type] [--sse <value>] [--sse-c <value>] [--sse-c-key <value>] [--sse-kms-key-id <value>] [--sse-c-copy-source <value>] [--sse-c-copy-source-key <value>] [--storage-class <value>] [--grants <value> [
s3fsよりも高速に使えるgoofysを試してみた ｜ Developers.IO を見てMacで試してみました。 昔s3をローカルにマウントできるs3fs を使ってみたことがあるのですが、 遅すぎて使えないなぁと思った記憶があります。 goofysというのが高速に動作するとのことなので使ってみました。 kahing/goofys: a Filey System for Amazon S3 written in Go 公式ベンチを見る限り相当早そう。 準備 Install OSXFUSE 新・OS X ハッキング! (113) あのファイルシステムをOS Xでラクに読み書き(1) | マイナビニュース OSに依存しないファイルシステムを使うFUSEのMac実装である OSXFUSE をinstallします。 記事で紹介されている FUSE4x は OSXFUSE にmergeされ 現在はサ
西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang
まつけんです。 今回は、とれたまのコーナーで有名なテレビ東京さんの番組「ワールドビジネスサテライト」(以下、WBS)で紹介されるにあたって、どういう負荷対策をしたのかを紹介します。 WBSに紹介されて直後にサーバーアクセス殺到して落ちました、というような話は結構聞いていたので、機会損失という意味でも落ちるのはなんとか避けたいね、ということで対策をしましょうという話になりました。 前提 今回の負荷対策の前提となる条件を挙げます。 まず、ありがたいことにCerevoは最近、WBSに2度紹介されています。 LiveShellの紹介（映像はこちら）とCerevo DASHの紹介（映像はこちら）の2回です。 Cerevo DASHでは現在、iConvexというiPhoneアプリと連動する電子巻き尺ガジェットの支援を募集しています。是非、ご覧ください。 ということで、それぞれでの紹介内容にあわせて、別
はじめに 8月1日に、札幌にて「CM:道 Developers.IO Meetup 06」という勉強会イベントを開催致しました。会場は札幌市民ホールの第5会議室で、こじんまりとした部屋で和気あいあいと行わせて頂きました。ご参加頂いた皆様、ありがとうございました。 セッション 「CloudSearchによる全文検索」 by 渡辺修司 CloudSearchの概要から設計の考慮点、ハマるポイントまで、CloudSearchを理解して頂ける内容であったかと思います。全文検索システムを構築から運用まで手がけるのはなかなか大変なので、フルマネージドサービスであるCloudSearchをご利用頂くことで、大きな運用コストの削減を計ることが出来るのでは無いでしょうか。 「Amazon S3 暗号化と運用」 by 石川覚 S3における暗号化の概要と使い方、考慮すべき点について調査したものをまとめた資料にな
こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
The newest AWS Heroes are here – September 2023 Each quarter, the AWS Heroes program recognizes technical enthusiasts who lift up the greater AWS community through various approaches. While these inspirational individuals are driven to knowledge share, they sometimes discover novel and fun ways of using technology, such as leveraging LEDs to create a magical display of holiday lights. Many are als
「低価格」のクラウド・ストレージ・サービスとしてメジャーなAmazonのS3（Simple Storage Service）ですが、現時点における料金はストレージ１GBあたり月額15セント、つまり約15円です。安いようですが、1TBのデータを１ヶ月保管すると15000円、これ以外にデータ転送料に応じた料金がかかります。1TBのベアドライブの価格が１万円を割っていることを考えると決して安くはありません。 もう少し公平な比較として、１TBのエンタープライズ・ストレージについて考えます。構成によって容量あたり単価は大きく変わりますが、１TBあたり20万円とすればそれほど大きくはずれないでしょう。ハードウェア価格はTCOの30%程度という経験則を使ってTCO（総合保有コスト）を推定すると60万円。ライフサイクルを5年とすると月額10000円です。転送料金不要であることを考えれば、クラウドを使うより
むかしむかし、竹取の翁というものがいましたが、RailsにはPaperclipというプラグインがあります。Railsでファイルアップロード機能を超簡単に実装することができます。これはホントに便利。私も6本ほど竹を取ることができました。 no title modelにこんなコードを書くと、ファイルアップロードできます。 has_attached_file :photo, :storage => :s3, :s3_credentials => { :access_key_id => ENV['S3_KEY'], :secret_access_key => ENV['S3_SECRET'] }, :bucket => 'shunsuk', :styles => {:square => '100x100#'}, :path => ':id/:style.:extension', :url => "
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く