Builderscon 2017で登壇してきました。 builderscon.io 登壇資料はこちらです。 今回も僕が超絶リスペクトしてる id:t-wada さんと そこそこリスペクトしてる 空前絶後のォォ！！！！超絶怒涛にリスペクトしている上司の id:onishi さんの名言を引用させてもらいました。これはテストコードやモニタリングで品質が見える化されますが「見える化されるだけでは問題は解決しない」という本質をお伝えしています。我々はエンジニアなので技術で問題を解決していくわけですし、問題を解決するためには手を動かすしかありません。ですのでまさに今の現場を改善していくのはあなた自身です。 あとは今年、話をしてきたデータベースリファクタリングの総集編って感じです。ホントは実例のRDBアンチパターンを元にリファクタリングしていきたかったんだけど60分では短すぎて「続編に期待」みたいなレベ
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
以前の記事「$HOME/.ssh/configを活用していますか？」では、設定ファイルを少し頑張って書けば普段のSSHライフが随分変わりますよ、と紹介しました。今日はその続編です。前回よりマニアックな設定を紹介します。 2段以上先のサーバにログインする Dynamic Forward機能を使う 共通設定をまとめて書く 2段以上先のサーバにログインする 目的のサーバにログインするために、踏み台的なサーバを経由しないと入れない環境があります。例えば、dmz経由でないとDBサーバにログインできない環境、というのは良くある構成でしょう。 このような場合に、ProxyCommandパラメータが利用できます。 上の設定で「ssh db1」とすると、sshでdmzに接続し、dmzから192.168.0.201へログインします。これを利用するには踏み台サーバにncコマンドが必要ですが、大抵の環境にインスト
渡辺です。 待望の機能「RDSインスタンスの起動/停止」がリリースされました！ 制限も多いようです（20:30頃、追記しました）。 さらに制限について追記しました（2017/6/2 8:00） RDSインスタンスを停止してみる AWS CLIを最新バージョンにしてからstop-db-instanceコマンドを実施します。 $ aws rds stop-db-instance --db-instance-identifier test ステータスが「停止中（Stopping）」になりました。 しばらくすると、「停止中（Stopped）」になります。 もちろん、マネジメントコンソールからも実施できます。 RDSインスタンスを起動してみる 先ほど停止したインスタンスをstart-db-instanceコマンドで起動します。 $ aws rds start-db-instance --db-ins
http://www.rokurofire.info/2013/04/10/webservice/ の続き 以下は、以前私がとても勇気づけられた記事（自分でWEBサービスを作りたいと思っている人へ）と同じように、時系列を追ってどんな勉強をしたかを書いておきます。 事の発端 8月 お腹痛い。病院行ったら急性虫垂炎。 → 手術の場合は大腸半分取るよん。 9月 いろいろ手をつくして一時退院。この時点でHTML、JS、CSSはできるが、サーバサイドの知識がゼロでした。Apacheでローカル環境構築はやったことあったくらい。 すぐにVPSを借りてサーバ周りをいじり始め、環境を作っては壊しの繰り返し。やっているうちに、Apache+PHP+MySQL+Git くらいはすぐに環境構築できるようになりました。 10月 これから始めるならRubyがいいよとアドバイスを受け、なぜかRailsの本を買い、１か月
この記事は FuelPHP Advent Calendar 2012 の 22日目の記事です。 昨日は[twitter:@konkon1234]さんの「FuelPHPで１サイトを作ってみて気が付いた点など」でした。 あさのひとしと申します。 今回はタイトルの通り、FuelPHPのQueryBuilderを使いこなすために悪戦苦闘した結果得られたエッセンスをノウハウとしてまとめてみました。 少し長いですが、どうぞよろしくお願い致します。 はじめに さて、みなさんは普段どれくらいの「SQL文」を書かれるでしょうか？ ORMが登場して、ほとんどSQL文自体を書くことは少なくなったのかなと思います。 ただ、時には効率重視にする必要がある場合もあります。 その場合はDBからデータを取得して処理するのではなく、できる限りの処理をデータベース側に行わせたいものです。 そういったときにサブクエリが効いてく
MySQL 5.7が正式公開。前バージョンより3倍高速、マルチソースレプリケーションなど。一方で新しい「罠」に対する警告も 来週10月26日にはサンフランシスコで開催されるOracle OpenWorld 2015でMySQLのイベント「MySQL Central」が行われます。それに合わせて新バージョンのお披露目となりました。 MySQL 5.7の主な特長は次の通りです。 実行速度の向上 SysBenchのSysBench Read-only Point-Selectsの結果、1024コネクションでMySQL 5.7はMySQL 5.6の3倍となる160万クエリ／秒（QPS）の値を示しました。 InnoDBの新機能など 性能向上や並列度の向上に加え、オンライン状態での操作向上、Spatial Index、ネイティブパーティショニングなどの新機能が加わりました。 レプリケーションの強化 マ
こんにちは、@yoheiMuneです。 以前にフロントエンドエンジニアにオススメなデータベース、MongoDBに入門とフロントエンドエンジニアにもできるMongoDBを使ったログ分析のブログを書いたのち、MongoDBを引き続き使っていますが、findの使い方を調べることが多く、今回はそれらをブログに残しておきたいと思います。 https://flic.kr/p/55XJ83 目次 Mongoの検索メソッドは多機能 Mongoのfind、findOne、count、distinctは検索を行うことができるメソッドたちです。使うときそれぞれのユースケースに合わせた使い分けをしていく必要があり、それぞれのメソッドの機能をある程度知っている必要があります。今回はSQLのselect文をMongoで実現するにはという切り口で、Mongoの検索機能を学んでみたいと思います。 今回利用するデータ 今回
from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo #from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from collections import defaultdict import numpy as np KEYS = { # 自分のアカウントで入手したキーを下記に記載 'consumer_key':'**********', '
手作りMEAN Stack 業務アプリをAngularJS+PHP+MySQLで組んでいたのですが、JavaScriptとPHPの文法の微妙な違いのおかげでケアレスミスが多く出てきてしまいました。 そこで、フロントエンドもバックエンドもJavaScriptで統一できる、流行りのMEAN Stack(MongoDB+Express+AngularJS+Node.js)を試してみようと考えた次第です。 MEAN Stackのひな形を作るツールもいろいろあるのですが、今回は手作りで作成してみます。 WindowsとUbuntuの導入方法を挙げますが、他のOSでもほとんど同じ感じでいけると思います。 M: MongoDBのインストール・設定 言わずと知れたNoSQL界の雄です。 Windowsの場合 http://www.mongodb.org/ こちらからダウンロードしてインストールします。今回
こんにちは。モリフジです。 MongoDB大好きです。 MongoDBはdocument指向の分散DBで、shardingやreplicationの仕組みを備えている非常に使い勝手がいいデータベースです。 MongoDBはMySQLやPostgreSQL、HBase、Hiveと同様にinteractive shellを備えているのですが、これが結構いろいろできることをご存じない方は多いかと思いますので、紹介したいと思います。 mongo – The Interactive Shellにいろいろと書いてあるのですが、定常的なcronにするには使い勝手がいいとは言えません。 また、MongoはJavaScriptエンジンを内包しており(現在はMozillaのSpiderMonkeyがJavaScriptエンジン。src的にはv8の切り替えの準備も進んでいます)、JavaScriptでロジック
2015/04/30 schoo WEB-campus https://schoo.jp/class/2218 Read less
) 4月1日に10年続くとあるWebサービスをフルリニューアルしました。 リニューアルの目的は、システムが度重なる機能拡張により、必要以上に複雑化してしまい、ちょっとした修正でも非常に時間がかかるので今後、事業のスケールを拡大していく上のが難しくなってきたためです。 特に大きなところですと、スマホサイトがリニューアル前のサイトだと、スマホとPCで機能が完全に分断されてしまっていました。サイトを立ち上げた当初はスマートフォンすらなかった時代なのでしょうがないとは思いますが、これをこれ以上保守していくのはしんどいので、スマホファーストの思想を取り入れサイトを設計していきました。 技術的にも、PHPからRubyに変更して、ELBやS3をとりいれ、Githubベースの運用に変更することで、時代の流れに取り残されていたWebサイトを今風な感じの仕組みへと変更しました。 リニューアル自体はプロジェクト
2015-04-07 普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ テクノロジー プログラム Tweet ロゴ見て気づいたのですが、 MongoDBの頭文字って小文字なんですね。 そんなことは置いといて。 最近mongoDB（小文字に変えたｗ）を使う機会がありました。 僕が普段触っているMySQLと違って、 ググっても、まあー情報が少ないんですよね。 コマンドとかは割りとあるのですが、 PHPでの操作とかは少なかった印象です。 そこで今回は、 PHPでの操作 mongoDBの復旧（リストア） の2つを備忘録として、まとめておこうと思います。 PHPでループさせて検索ができない こういうことです↓ ※サンプルの一部はPHPの公式ドキュメントから拝借しました。 つまり、検索値（findの条件）を変数にしてループすることが出来ないようです。 まあ、そもそも何回もDB接続せずに
ウェブアプリはネイティブアプリに比べ、読み込みに時間がかかるという印象があります。たしかに、インストール時にある程度のデータを読み込んでしまうネイティブアプリに対して、その都度ダウンロードするウェブアプリではより通信環境に左右されるといった点があります。 しかし、HTML5で追加されたローカルキャッシュ系の機能を使うことでその問題をいくらか解決することができます。 追加されたローカルキャッシュ系の機能にはCookieに似たlocalStorageやsesstionStorage、指定したファイルをキャッシュできるオフラインアプリケーションキャッシュ、ローカルデータベースとして利用できるWebSQL、Indexed DBなどがあります。「ピグトーク」ではどのようにローカルキャッシュを使用したか、説明していきたいと思います。
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く