10年続いているwebサービスの画像サーバをノーメンテでftpサーバからs3互換のストレージサーバに移行している話
•
27 likes•23,404 views
PHPカンファレンスでの発表資料です
![やったこと
● PHP5.3でテストを動かす
● テストコードをPHP5.3対応
● テストを実行
● ひたすら直す！
● []→array()
● traitをよしなに対応
● Travisで一応5.3〜5.6のテストは通っている](https://image.slidesharecdn.com/10webftps3-151003023120-lva1-app6891/75/10-web-ftp-s3-28-2048.jpg)
10年続いているwebサービスの画像サーバをノーメンテでftpサーバからs3互換のストレージサーバに移行している話
- 1. 10年続いているWebサービスの 画像サーバをノーメンテで FTPサーバからS3互換のストレー ジサーバに移行している話 GMO Pepabo, Inc. Masataka Kono 2015-10-03 PHPカンファレンス
- 2. 自己紹介 ● カラーミーショップのエンジニア ● ペパボに入社して２年９ヶ月 ● Webプログラマー歴も２年９ヶ月 ● PHPerです ● Twitterは @mapyo です ● みんなからは「ぼいらー」
- 3. ぼいらー？ ぼいらー？
- 5. お話させて頂く内容 ● 講演のタイトルに出てくる用語の説明 ● 移行のイメージ ● ファイルアクセスを抽象化してくれるライブラリを 探したりPHP5.3対応したり ● 画像サーバとのやり取りを共通化 ● ひたすらリファクタリング ● 具体的なデータの移行の方法 ● ひたすら移行していく
- 7. 講演のタイトルに出てくる用語の説明 ● 10年続いているWebサービスとは？ ● 画像サーバ（FTPサーバ）とは？ ● S3互換のストレージサーバとは？
- 10. カラーミーショップ ● 10年続くネットショップ運営サービス ● 大部分はPHP ● 独自フレームワーク ● Rails(公開api) ● CoffeeScript ● AngularJS ● エンジニア募集中！
- 12. 画像サーバ（FTPサーバ）の定義 ● ブラウザでアップした商品画像などのファイル置き場 ● 直接FTPサーバにユーザさんがアクセスする事はない ● 全部で１８台。総容量6T弱 ● ４ロールでFTPサーバにアクセス
- 15. S3互換のストレージサーバ ● 今回の移行プロジェクトと同時に開始 ● 社内用の大統一オブジェクトストレージサービス ● APIがS3互換で裏側がMogileFS ● S3のAPIが使用可能（全てではない） ● Bayt(ベイト)と名付けられました ● 今回のお話では一先ずS3と思って頂けると。 ※僕は作ってません。 ※この細かい話は出てきません ※詳細は第３回ペパボテックカンファレンスで発表されたスライドをご確認ください。
- 19. ライブラリを探す ● ファイルアクセスを抽象化してくれるライブラリ ● FTPからS3互換サーバに移行した時に同じイン ターフェースになるように。 ● 自作するのはそれなり手間がかかりそうだ なぁ。
- 20. Flysystem ● GitHubのスター数は2000以上！ ● FTP, S3だけじゃなくてLocalとかDropboxとか Azureとかいろいろ ● Laravel, Symfony, Zendなど、メジャーなフレー ムワークで簡単に使える仕組みも用意されてい る https://github.com/thephpleague/flysystem
- 22. めっちゃ便利そう！！
- 23. あ、、、
- 25. PHPのバージョンの壁 ● サービスでメインで動いているPHPのバージョンは5.3系 ● とはいえ、今からPHPのバージョンアップに時間は裂けな い。。 ● 他にもあったけど、機能が足りなかった ● 最初は、このライブラリの実装を参考に5.3でも動くようにし ていた。 ● でも、コピペしてPHP5.3対応してるだけな感じ。。。
- 28. やったこと ● PHP5.3でテストを動かす ● テストコードをPHP5.3対応 ● テストを実行 ● ひたすら直す！ ● []→array() ● traitをよしなに対応 ● Travisで一応5.3〜5.6のテストは通っている
- 29. 画像サーバとのやり取りを共通化！ ● Flysystemを使いつつ、画像サーバ特有の処理 を共通化したものを作る ● しかし、４つのロールで画像サーバとやりとりす る処理がある ● コピペコードにならないように社内用の Composerライブラリに追加。テストも書いた。
- 30. ひたすらリファクタリング！！！ ● 画面は５０画面近く。細かい修正もいれるともっ とあった。 ● グローバル関数やグローバル変数との戦い ● FTPのコネクションをグローバル変数に入れて いくつかのグローバル関数で使いまわしてたり ● ある程度まとまったグローバル関数たちをまと めてクラス化したり
- 33. ノーメンテで画像データを移行する方法 1. APPサーバからFTPサーバとS3互換サーバの 両方に更新されるように修正 2. FTPサーバからS3互換サーバへファイルをイン ポートする 3. FTPサーバになくて、S3互換サーバにあるファ イルをS3互換サーバから消す。 4. CDNの接続先を切り替える（FTP→S3） 5. FTPとS3両方に更新していた処理をやめる
- 36. インポートする処理について ● s3cmdを使ってファイルをputする ● 既にファイルがある場合はputをスキップ ● つまり、S3互換サーバにないファイルのみput する ※ちょっとややこしいのでもう一回戻って説明しま す。 ※１パターンを除いてこれで対応可能
- 38. ３．余分なファイルの削除とチェック ● S3互換サーバからファイルの一覧取得 ● FTPサーバからファイルの一覧取得 ● ２つを比較 ● S3互換サーバにあって、FTPサーバにないもの をS3互換サーバから削除 PHPで削除用スクリプトを作って対応
- 43. この作業を×１８台！ ● １台につき、３日〜４日くらい ● 並列で進められる部分は進めた ● インポートの処理が負荷の関係で並列で出来なかった ● だいたい３ヶ月くらいかかった。 しかし！
- 46. 最後に２ ● ユーザさんとしては全く普段と変わらない ● しかし、裏側の仕組みはガラリと変わっている ● というのがなんか面白かった ● 大きな障害もなく、無事移行が完了出来たのが 一番よかった！！！