[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

タグ

logに関するtorazukaのブックマーク (24)

  • Apache DistributedLog

    Overview Downloads Quick Start Setup & Run Example Tutorials Basic Messaging Analytics Documentation Snapshot (Developement) 0.6.0-SNAPSHOT Releases 0.5.0 0.4.0-incubating Project Ideas FAQ Blog Community Community Mailing Lists Source Code Issue Tracking Team Contribute Developer Setup Contributing to DistributedLog Coding Guide Guides Release Guide Project Project Presentations Twitter Github Sl

  • GitHub - elastic/beats: :tropical_fish: Beats - Lightweight shippers for Elasticsearch & Logstash

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - elastic/beats: :tropical_fish: Beats - Lightweight shippers for Elasticsearch & Logstash
  • [Tips] Amazon RDSのログファイルから全てのメッセージを取得する方法 | DevelopersIO

    はじめに 藤です。 今年もあと3週間です。忘年会の時期になりましたね。今年はプライベートの忘年会の予定がないことに気づきました(アハハ 概要 Amazon RDSはOS上にあるログファイルをAPIを通して閲覧することができ、ログファイルをシステムに取り込みやすい環境が整えられています。先日、RDS for MySQLのスロークエリーログをAWS LambdaでElasticsearchに取り込むという記事をエントリしました。こちらでMySQLのスロークエリログをOSにログインすることなく(RDSはそもそもできませんが)、DB接続することなく、APIによりログメッセージを取得しました。非常に便利な仕組みです。 ただ少し特徴があり、そちらを理解しないとハマることになります。 DBパラメータグループによる設定 デフォルトDBパラメータグループでは各種ログはテーブルへ出力される設定となっています

    [Tips] Amazon RDSのログファイルから全てのメッセージを取得する方法 | DevelopersIO
    torazuka
    torazuka 2015/12/12
    データが取れなくなるまでMarkerで手繰ればよかったのか。ナルホドー
  • スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech

    スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…

    スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
    torazuka
    torazuka 2015/03/22
  • Apacheのログをパースしてみる - はこべにっき ♨

    昨日の日記で宣言したように,ApacheのログをRubyでパースするなどしたよ.あくまでも,勉強会当日ではなくて,今日まったり書いたコードだよ. 第二問 ログ解析 Apacheのログを解析して以下を調べる '/index.php'へのアクセス回数 最初のMacユーザのアクセスの日時 Goolge経由のアクセス数 曜日別アクセスのランキング ブラウザごとのアクセスランキング 手元にあったapacheのログがリファラを取ってなかったので,Google経由のアクセス数は調べませんでした. 準備 以下のように,ApacheのログのEntryを抽象化したApacheLog::Entryクラスを書いた.テストケースは,こちら. そこそこ一般的だと思われる,以下のような形式のログが対象. 192.168.0.1 - - [08/Feb/2008:04:15:44 +0900] "GET /plagger

    Apacheのログをパースしてみる - はこべにっき ♨
  • Home

    Graylog v6.1: New Features Designed to Cut Complexity and Boost Efficiency Graylog v6.1 simplifies both security and IT operations, offering smarter ways to manage data and gain critical insights. With enhanced tools to reduce alert fatigue, cut storage costs, and streamline investigations, this release empowers teams to work more efficiently without sacrificing performance. Focus on high-risk thr

    Home
  • Logをs3とredshiftに格納する仕組み

    1. LogをS3と Hive Redshi/ に 格納する仕組み 2013年5月22日 株式会社ゆめみ 森下 健 mokemokechicken@twi;er 1 2. 作るきっかけ アプリケーションログをMySQLに保存している (調査目的) MySQLだとスケールしない S3やHadoop(Hive)上に保存しよう (スケールしそう) 2 100〜200Write/sec くらいでキツイ

    Logをs3とredshiftに格納する仕組み
  • 2つのログファイル boot.log と server.log そしてJBossのアーキテクチャ - mir the developer

    JBossには2種類のログファイルが存在します.それが"boot.log"と"server.log"です."server.log"は日付が変わるとローテートされていきますので,"server.log.20050606"のようなファイルも運用環境ではいっぱいできているかもしれません. さて,この2種類のログファイルですが何がどう違うんでしょう? そしてもう1つ,名前からして"boot.log"は起動時のログで"server.log"は起動してからのログという風な雰囲気を漂わせていますが,一体いつこの2つのログファイルの出力先は切り替わるのでしょう? それとも切り替わっているのじゃなくて2系統のログがあるのかな? そんな疑問をみなさんも持ったことありませんか.その謎を今日解消します. 現在のJBoss(ver3.x系やver4.x系)ではマイクロカーネルにJMXを使っています.JBossの起動

    2つのログファイル boot.log と server.log そしてJBossのアーキテクチャ - mir the developer
  • Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog

    追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー

    Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
    torazuka
    torazuka 2013/02/07
    LTSVって何?と思ったら、Labeled Tab Separated Valueというのか。ふむふむ
  • ロギングライブラリの選択

    [ C++で開発 ] ロギングライブラリの選択 プログラムの開発・保守に欠かせない機能が「ロギング」です。開発中のデバッグ効率や、運用中の障害解析に、ロギングの機能が効いてきます。しかしながら、これを使えば、という定番がないのがC++の現状です。 ロギングライブラリの調査 ロギングライブラリには、ロギング機能のみを提供するロギング単体ライブラリと、フレームワークの一部としてロギング機能を提供するものがあります。 log4cpp log4cxx log4cplus Pantheios Google glog Boost.Log Pocoフレームワークのロギング ACEフレームワークのロギング 比較メモ ログレベル、カテゴリ(分類)によるログ出力有無・出力先の設定 ログファイルのローテーション 出力形式の設定(タイムスタンプの分解能・時刻帯の指定、ロケール、他) ログ出力コーディングの簡潔さ

  • ログ収集フレームワークの新バージョン「FlumeNG」

    音田 司 BigDataといえば、大規模イベントログ収集は必須!! 簡単、かつ、リアルタイムにログを収集するために、 今、ストリーム転送が注目されています。 そのためのOSSプロダクトとして、 今回は、Javaで開発されている 「FlumeNG」 について、解説します。 プロダクトはHadoopディストリビューションのCDHでサポートされている 「Flume」の進化系のプロダクトであり、今後要注目のプロダクトと考えています。Read less

    ログ収集フレームワークの新バージョン「FlumeNG」
  • Apache Flume (NG)

    Apache Flume is a system for collecting streaming data from various sources and transporting it to destinations such as HDFS or HBase. It has a configurable architecture that allows data to flow from clients to sinks via channels. Sources produce events that are sent to channels, which then deliver the events to sinks. Flume agents run sources and sinks in a configurable topology to provide reliab

    Apache Flume (NG)
  • java-ja『LOG.debug("nice catch!")』に参加してきた #java_ja - Diary of absj31

    LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetter (写真:会場入り口。あれ、イベント名が…こちらが正式名称だったのかな。) try { java-jaで例外とロギングについて勉強します 話していただくのは 俺たちのt-wadaこと和田さんと PFIの田中英行さん 歩く萌え要素こと西尾泰和さん 歩くモヒカン太一 です try { LT.add(ヨシオリ) LT.add(crexista, 'クライアント側でナイスキャッチ') LT.add(@shomah4a, 'PyconJPのCfPの宣伝') } catch (LTTimeoutException lte) { LOG.debug(ドラ) } try { 他にも発表いただく

    java-ja『LOG.debug("nice catch!")』に参加してきた #java_ja - Diary of absj31
    torazuka
    torazuka 2012/06/28
    2つ目のセッション発表者が @regtan になってるけど、@ryushi かと……。遍在する佐藤太一バグが顕在化した歴史的瞬間なので要魚拓で。/凄い詳しいまとめだなぁ。/直されてしまいました。
  • #java_ja で例外とロギングについて勉強会をやるというのでいってきた&飛び込みLTやった&運用の視点から見たアプリケーションのログについて - たごもりすメモ

    LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetterまとめ blogエントリを書くまでがjava-jaだと聞いたのでとりあえず書く。超まとまってません。各スピーカーの話の内容については他の人のblogに(たぶん)書いてあるのでそっちを見るとかTogetterを眺めるとかすればよいのではないでしょうか。 主催のみなさま、および会場提供のGREEさま、ありがとうございました。そういえばGREEでの勉強会って初めて参加した気がする。六木ヒルズの入館、だいぶ簡単になりましたね。 いってきた どっちかというとアプリケーションのコード書く人が多かったんですかね。という感じで、アプリケーションコードからいかにして例外を投げるか、それをどのよ

  • ELB配下のEC2アクセスログについてあれこれ | DevelopersIO

    ELB配下のEC2インスタンスは接続元がELBのアドレスになる ELB配下のEC2インスタンスが、接続元のIPアドレスなど情報を得ようとする場合、初期設定ではおそらくELBのIPアドレスが返されてしまいます。これは、ELBを経由しているので当たり前といえば当たり前ですが、これではどこからアクセスされているのか把握できません。そこで、ELBの機能を利用して接続元のIPアドレス等を取得したいと思います。 X-Forwarded-ForとX-Forwarded-Proto ELBには市販されているロードバランサー製品と同じように、接続元のIPアドレスをヘッダー情報に付けてくれます。そこで、EC2インスタンス側でその情報を取得してログとして書き出してみます。また、ELBはSSLターミネーション機能がありますので、接続元がどのプロトコル(HTTPかHTTPSか)でEC2インスタンスにアクセスしたのか

    torazuka
    torazuka 2012/06/20
    ログ設定の話。ELBの下でもアクセス元を取る方法。/あと、たしかにELBの死活監視ログは省いておきたいなぁ。
  • 方針設計 - Javaロギング

    仕様で規定されているものは別として、プログラムの問題分析にはどのようなログが 理想的かは経験に基づく状況判断に依存するところが大きいところです。ここでは チーム開発におけるログ出力の方針などについて説明します。 一般的なシステム開発では統合テスト付近から後は開発物が開発者人の手を離れて テストされることになります。同時に開発者は目の前で問題の発生を見られないまま 分析しなければならない状況が多くなってきます。 基的にテスターなどからの状況説明、ログ、画面キャプチャなどから推測される プログラムの動きをソースコード上で追う事になるわけですが、問題の報告には 主観や個人の能力、勘違い、先入観などが入りやすいことも事実です。このような 中で客観性の高いログはとても重要です。 ソースデバッガやプロファイラは問題の詳細を調査するために大変有用なツール ですが、システム開発で使用するログとは目的が

    torazuka
    torazuka 2012/05/09
    "誰が見るかを想定することでそのログの出力レベルが決定します。これは同時にそのログをどのフェーズまで出すかという事につながります" とても大事。
  • マンスリーAFCCニュース:2012年9月 モバイルユーザを狙う脅威の動向を俯瞰する ~入門編~(PDF)

    Operationalize your investment and speed your time to value for ID Plus, SecurID, and RSA Governance & Lifecycle. Resources include 24/7 tech support from a world-class team, personalized support, and peer-to-peer knowledge sharing. Rely on RSA to identify the capabilities and strategic direction that will serve you best, no matter where you are on your identity journey. Build an intimate understa

    マンスリーAFCCニュース:2012年9月 モバイルユーザを狙う脅威の動向を俯瞰する ~入門編~(PDF)
    torazuka
    torazuka 2012/05/09
    観点出しに有効。
  • あなたの会社はどのタイプ?~本当に使えるログ管理を行なうための4つの方法

    EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

    あなたの会社はどのタイプ?~本当に使えるログ管理を行なうための4つの方法
    torazuka
    torazuka 2012/05/09
  • イベントログ収集ツール fluent リリース! - Blog by Sadayuki Furuhashi

    こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました! Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です:イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め

    イベントログ収集ツール fluent リリース! - Blog by Sadayuki Furuhashi
    torazuka
    torazuka 2011/10/01
    JSONで出力してくれるpluggableなログツール。/"今後はプログラムで処理しやすくするために、構造化されたログに移行していく必要があるでしょう" そうなのかも。
  • うさぎとSEのブログ: ログに対する認識の甘さ

    ソフトウェアを開発する方ならば、多くの方はログをプログラムから出力しているかと思います。 ログは例えばリリースした後に客先で動作しないなどの何らかの不具合が発生した際に、原因等を探るとても重要な情報源です。そのため、ログを適切に出力、保存されなければ、そのログはただ要領が大きいだけのゴミにしかなりません。 ただ、ログを出力するということは、 1. 何を出力するべきなのか? 2. いつ、だれが、何に利用するのか? 3. いつ出力するのか? 4. 何を出力してはいけないのか? 等を考えながら出力している方は少ないように思います。 ログを出力するときに、ログに対してもみなさんは設計書を作成していますか? ばかばかしい、ログなんてメインの業務処理から考えればオプションのような位置づけだと思うかもしれません。 ですが、ログ出力を正しく行わないと、私の周りでは、今までこういった問題が発生してきました。