■イブもクリスマスも予定のない俺とみんなのためのエロサイトを作った

作ったサイト

エロ動画を色々なところから収集するサイトです。

skrsvideo

http://skrsv.info/

サーバー選び

今回プログラミング言語はRubyを選択したため、基本的にはVPS・クラウド的なサーバーでLinuxが動作する環境を探しました。

エロサイトを運営するにあたって問題になるのがサーバー選びです。

基本的に日本のレンタルサーバーではアダルトサイトの運用を禁止しています。

普段使っているさくらのVPSが利用できず、AWSもなんだかグレーな感じ（東京リージョン以外なら・・・？）

そんなわけで探し、GMOグループのWebkeepersを使いました。

Webkeepersのサーバーは海外にあるらしいです。

質問： アダルトサイトの運用はできますか？

http://faq.webk.net/faq/index.php?qc=1&qc_sub=4&id=99

使っても良いよ〜というお墨付き、

そして価格も手頃だったためここに決定。

システム

MariaDBを選んだ理由はなんとなく、MySQLとの違いはほぼありません。利用するGEMもmysql2でいけます。

NginxはWebサーバで、ページキャッシュもしています。

ちなみにJavaScriptは使わずすべてCSSで作る方針にしました。

スマホ・PC両対応のためにMedia Queryでレスポンシブにしています。

Webの流れ

Nginx

↓

unicorn

↓

Ruby on Rails

↓

MariaDB

という流れです

使っているGEM

gem 'mysql2'

gem 'rails_config'

gem 'kaminari'

gem 'haml-rails'

gem 'sass-rails'

gem 'nokogiri'

gem 'unicorn'

フロントはhamlとsassで、難しいことはしていないのでcompassはいれませんでした。

あとはデバッグ用にrails_config、pry系が入っています。

クローリング・スクレイピングでnokogiriを使います。

クローラー

skrsvideoでは動画のURLを取得するためにクローラーもどきでスケジューリングして収集しています。

スケジューリングにはcrontabを使用しています。

crontabでRakeタスクを定期的に叩きます。

コマンドはこんな感じ

RAILS_ENV=production bundle exec rake item:search

Rakeタスクはnokogiriでxvideosへのリンクを集めています。

doc = Nokogiri::XML( open(URI.parse(url)).read )

urls = []

doc.css('a').each do |link|

　urls.push link[:href] if link[:href] =~ /xvideos.com\/video(\d+)/

end

Nokogiriのスクレイピングでaタグのリンクを取得し、URLがxvideosのものかチェックして保存って感じです。

動画を探し終えるとaタグからランダムでピックアップし次のページに進んでいきます・

動画が見つかったページはドメインをDBに記録して、しばらくしたら再びクローリングをするようにし、収集の効率化。

サイトの機能

(45 min)←コレの安心感は異常ｗｗｗｗｗｗ

http://blog.livedoor.jp/dennououjo/archives/39873075.html

これを思い出して、動画の時間を表示するようにしました。

３０分以上の表示はちょっと頑張ったところ

http://skrsv.info/30_min_more

AV女優とタグが表示されるようになっています。

これはタイトルの文字列から部分一致で引っかかったものを表示しています。

AV女優の名前を表示するためにWikipediaからとってきたら、ちょっと膨大な数になってしまったため断念。

どんだけ女優いるんだって感じですね。

DMMのランキングに載っていた方だけをとりあえず入れています。

タグも同様にDMMから

おわりに

１日でつくろうと思っていたら思った以上にサーバーが見つからないで、サーバー選びに１日かかってしまいました。

あとはFC2とか対応できたらいいなーと思います。

Permalink | 記事への反応(2) | 23:10

ツイートシェア