システム構築

構築事例:GraylogとLogstashを利用したログ収集及び検索システム構築

Open Smart Design

今回は、通信事業者様にログ収集及び検索システムを構築した事例についての記事です。お客様は、既存のログ収集システムの更改を検討されていました。システムを起動した際に高速に検索でき、過去のデータも検索できるようなものが良いというご要望に対し、GraylogとLogstashを利用したシステムの構築をご提案しました。

お客様が悩まれていた課題
既存のログ収集/検索システムがアプライアンス機で費用が高い
一般的なサーバではCLI操作に慣れていないとログを調べることが難しい
特定期間のログを抽出して確認したいが、方法が分からない
+導入企業プロフィール
導入企業業種

情報通信業

ユーザー規模

-

利用OS

Red Hat Enterprise Linux 8

導入月

2021年8月

デージーネットが提案した「GraylogとLogstashを利用したログ収集及び検索システム構築」

アイコン男性

解決ポイント

Webブラウザでログ検索ができるGraylogを提案

Graylogとは、GUIからログサーバの管理やログの参照、検査、可視化などを行うことができる統合ログ管理ソフトウェアです。言語はJavaで開発されています。Graylogは、ビッグデータ解析などで使われる全文検索エンジンのElasticsearchMongoDBを利用し、Graylogサーバ上で動作します。syslogやJSONなど様々な形式のログに対応し、大量のログを高速に検索することができるため、各種デバイスやソフトウェアから出力されるログを集中管理することができます。さらに、Grokと呼ばれる一種の言語を利用して、データを分析し抽出することができます。そのため、ログの中のIPアドレス、ユーザ名、URLなどを識別し、検索しやすい形式で管理することができます。またコマンド入力からではなくWebUIからの操作が可能で、別途に操作専用のアプリケーションをインストールする必要もなく、簡単にログを確認することができます。Graylogをパッケージにして提供することで、既存アプライアンス機と同様に、上記の通りWebブラウザで簡単にログ検索が実行できるようになりました。

GraylogとLogstashを利用したログ収集及び検索システム構成図

過去のログをインポートできるLogstashを採用

お客様は、過去5年間のログの収集・確認をご要望されていました。ただし、GraylogはElasticsearchの利用で大量のリソースを消費します。Graylogサーバーでそのまま5年間をリアルタイムでログ検索することはリソースが大量に必要なため、環境の構成を変更しました。次に直近半年分は、リアルタイムでGraylogでブラウザから閲覧するように、それより前については5年分ごとにrsyslogに取り込む形でログをため込み、Logstashと接続し、特定期間のログを任意のタイミングでGraylogにインポートするようにしました。

Logstashとは

次に、Logstashについて解説します。Logstashとは、Elastic社が開発しApache2ライセンスの下で公開されているOSSです。Logstashはログの収集と記録のための基本の機能を備えており、ログファイルに溜まっているドキュメントを解析してデータベースへ格納するなど、用途にあった形にデータを変換しリポジトリへ保存することができます。これらの処理は「Input(入力)」「Filter(変換)」「Output(出力)」という名前で呼ばれ、公式のサイト上でダウンロードできるプラグインとして提供されています。用途に合ったプラグインを、処理毎に選択してインストールすることで、使い方の可能性が無数に広がるという特徴をもっています。扱えるデータの形式を増やすことができ、さまざまなイベントや出力先へ対応が可能です。またLogstashはセクション毎に、何のデータをどのように処理するかなどの動作をきめ細かく設定して稼働することができます。同社開発のElasticsearch、Kibanaと連携し、データをまとめ、グラフで可視化することも可能です。

Logstashを使い、他のシステムと連携することで、データをただ貯めておくだけではなく、監視や統計など様々な用途に活用することができるようになります。今回は、任意のタイミングでデータベース内の過去ログにアクセスし、必要なファイルをディレクトリから取得しGraylogに送信するソリューションとしてLogstashを採用しました。

Logstashでログをインポートするときタイムスタンプを変換

注意点として、通常のインポートでは、Graylogで表示されるタイムスタンプはログのインポートが完了したタイミングで登録されます。しかしそれでは本来の値のタイムスタンプとずれてしまい、指定の期間での検索ができません。そこで、Logstashの設定ファイルにログ解析を行う設定を追加し、Graylogへのインポート時にタイムスタンプを本来の時間を記述させるようにしました。

大量のログがきてもGraylogで表示

Graylogが利用するElasticsearchの影響で、ログ検索の表示件数にデフォルトで制限がかけられています。そのため、移行作業時に複数のログの流量や数を確認し、制限以上に大量にきても、保存されているすべてのログを表示できるようにしました。

導入後の結果

アイコン女性

今回OSSのGraylogを用いることで、アプライアンス機で行っていたものと同じ運用を価格を抑えて実現することができました。またLogstashを使うログのインポート方法は、マニュアル作成及び説明会を最初に行ったことで、自分たちで簡単にログのインポート対応ができるようになり便利になりました。

【Webセミナー】脱PPAPへ、パスワード付きZIPファイルに代わるセキュリティ対策セミナー

日程: 5月19日(木)Webセミナー
「BigBlueButton」を使用します。
内容: パスワード付きZIPファイルのメール送信(PPAP)の代替となるセキュリティ対策をご紹介します。
ご興味のあるかたはぜひご参加ください。

セミナー申込

GraylogとLogstashを利用したログ収集及び検索システム構築の関連ページ

IoTプラットフォーム・機械学習基盤の構築の事例一覧

デージーネットの構築サービスの流れ

デージーネットの構築サービス(Open Smart Design)では、OSSを安心して使っていただくために、独自の導入ステップを採用しています。詳しい情報は以下のリンクからご覧ください。


詳細情報ボタン

サービスの流れイメージ

様々な事例を集めたモデルプラン(費用例付き)をお送りしています。

代表的な事例を集めた「モデルプラン」をお送りしています。費用の例も記載しておりますので、価格感も知って頂ける資料となっております。
ご希望の方は、下記よりお申し込みください。


モデルプランをご希望の方

モデルプラン資料イメージ

各種費用についてのお問い合わせ

コンサルティング費用、設計費用、構築費用、運用費用、保守費用など、各種費用についてのお見積もりは以下のフォームよりお気軽にお問合せ下さい。


unboundやPowerDNSを使用したDNSサーバのモデルプランをご希望の方

全国対応イメージ

GraylogとLogstashを利用したログ収集及び検索システム構築の先頭へ