メールマガジン

  1. サーバ構築のデージーネットTOP
  2. メールマガジン
  3. デージーネットマガジン2月号
  4. GraylogとLogstashを利用したログ収集及び検索システム構築事例

GraylogとLogstashを利用したログ収集及び検索システム構築事例

ソリューション開発部 加藤 大嗣

今回は、通信事業者様にログ収集及び検索システムを導入した事例です。お客様は、既存のログ収集システムの更改を検討されていました。高速に検索でき、過去のデータも検索できるようなシステムをご要望でした。

お客様が悩まれていた課題

お客様は以下の内容の課題がありました。

  • 既存のログ収集/検索システムがアプライアンス機で費用が高い
  • 一般的なサーバではCLI操作に慣れていないとログを調べることが難しい
  • 特定期間のログを抽出して調べたいが、方法がわからない

デージーネットからのご提案

デージーネットからは以下の2つを提案しました。

Webブラウザでログ検索ができるGraylogを提案

Graylogとは、GUIからログサーバの管理やログの参照、検査、可視化などを行うことができる統合ログ管理ソフトウェアです。Graylogは、ビックデータ解析などで使われる全文検索エンジンのElasticsearchを利用して動きます。大量のログを高速に検索することができるため、各種デバイスやソフトウェアから出力されるログを集中管理することができます。Graylogを提案することで既存アプライアンス機と同様、Webブラウザで簡単にログ検索が行えるようになりました。

過去のログをインポートできるLogstashを採用

お客様は、過去5年間のログ収集をご要望されておりました。ただし、GraylogはElasticsearchの利用で大量のリソースを消費します。Graylogでそのまま5年間をリアルタイムでログ検索することはリソースが大量に必要なため構成を変更しました。直近半年分は、リアルタイムでGraylogでブラウザから閲覧できるように、5年分はrsyslogでログをため込み、Logstashを用いて特定期間のログを任意のタイミングでGraylogにインポートするようにしました。

導入時の工夫

導入にあたって以下を工夫しました。

Logstashでログをインポートするときタイムスタンプを変換

通常のインポートではGraylogで表示されるタイムスタンプはインポートしたタイミングになります。しかしそれでは本来のタイムスタンプとずれてしまい、期間での検索ができません。そこで、Logstashでログ解析を行い、Graylogへのインポート時にタイムスタンプを本来の時間に差し替えをしました。

大量のログがきてもGraylogで表示

Graylogが利用するElasticsearchの影響で、ログ検索の表示件数にデフォルトで制限がかけられています。そのため、移行作業時にログの流量を確認し、大量にきても保存されているすべてのログを表示できるようにしました。

導入後の結果

今回OSSのGraylogを用いることでアプライアンス機で行っていた同等の運用を価格を抑えて実現できました。またLogstashでのログインポート方法はマニュアル及び説明会を行ったことで、自分たちで簡単にログのインポートが対応できるようになりました。

関連ページ

GraylogとLogstashを利用したログ収集及び検索システム構築

構築事例（GraylogとLogstash）

今回は、通信事業者様にログ収集及び検索システムを導入した事例です。お客様は、既存のログ収集システムの更改を検討されていました。

デージーネットからのお知らせ

社内のコミュニケーション活性化!OSSのチャットシステム「Rocket.Chat」ご紹介セミナーを開催します。

今回は、オープンソースソフトウェア（OSS）のチャットシステムRocket.Chatをご紹介します。

  • 日程：2022年3月25日(金)
  • 時間：15：00〜16：00

詳細↓↓
https://www.designet.co.jp/seminar/seminar.php?seminar_id=65

無料資料ダウンロードに【Apache Superset調査報告書】を掲載しました。

Apache Supersetは、データの検索や可視化を行うためのBIツールの一種です。MySQLやPostgreSQL等のRDBMS のほかに、約40種類のデータソースを扱うことができます。本書は「Apache Superset」についての調査報告書です。

https://www.designet.co.jp/download/#operation

『メールセキュリティ対策調査』についてのプレスリリースがSecurityInsightに取り上げられました！

https://www.designet.co.jp/info/?id=498

NextcloudのプラグインアプリRcConnectとReserveRoomについてマニュアルを追加しました。

https://www.designet.co.jp/open_source/

日本企業のメールセキュリティ対策調査結果40%以上の企業でメールセキュリティ改善が進まず働き方変化に伴うセキュリティ強化を推進

https://www.designet.co.jp/info/?id=494

メールサーバの安全性を無料でチェックできるサイトを公開しています。

メールセキュリティへの関心が高まる中、メールセキュリティのチェック項目を整理して、誰でも簡単にチェックできるツールはありませんでした。本サイトでは、メールアドレスを入力するだけで、メールサーバのセキュリティを無料でチェックできます。

メールサーバセキュリティ診断MSchecker外部サイトへ

前へ（今月の気になるオープンソース情報）

デージーネットマガジン2022年2月号記事一覧

GraylogとLogstashを利用したログ収集及び検索システム構築事例の先頭へ