システム構築

サーバー構築のデージーネットTOP > OSS情報 > システム構築 > ビッグデータ/IoT構築 > Elasticsearchを使ったログ解析システム構築

構築事例:Elasticsearchを使ったログ解析システム構築

Open Smart Design

CATVのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。従来は、DHCPサーバ、WWWサーバ、メールサーバ、課金システムなどの膨大なログをgrepコマンドを使って調査し、利用者を特定していました。そのため、調査は大変時間がかかる作業でした。この調査を効率化できないかと相談を受け対応しました。

お客様が悩まれていた課題
膨大なログから特定のデータを見つけるのに時間が掛かる
複数のログから必要な情報を見つけるのが難しい
+導入企業プロフィール

導入企業業種

CATV(岡山県)

ユーザー規模

5万人

利用OS

Debian 8

導入月

2015年8月頃

デージーネットが提案した「Elasticsearchを使ったログ解析システム構築」

解決ポイント

Elasticsearchを使った大容量ログ検索システムを構築

CATVのインターネットサービスのシステム管理者様からお問い合わせをいただきました。ケーブルテレビのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。しかし、この作業は、DHCPサーバ、WWWサーバメールサーバ、課金システムなどの膨大なログから、特定のIPアドレスに関連した情報を探す作業で、かなり時間を掛けて調査をしていました。この調査を効率化できないかと相談を受け対応しました。

Elasticsearchを使った大容量ログ検索システム構成例

Elasticsearchにログを保管

各種サーバからのログをデータベースに保管して検索性を向上する方法を検討しましたが、データ量が非常に多いためMySQLなどのRDBでは処理に時間がかかることが分かりました。そのため、ビックデータの解析ツールとして知られているElasticsearchを使うことになりました。様々なサービスから出力されるログは、rsyslogを経由してElasticsearchに保管することになりました。

GUIとしてSyLASを導入

Elasticsearchには、ログを閲覧するための仕組みが付属していません。通常はkibanaを使いますが、本件ではElasticsearchに対応したログ検索インタフェースとして、ElasticsearchとSyLASを組み合わせて導入しました。

Elasticsearchをチューニング

大量のログを短時間で解析できるようにするため、Elasticsearchには様々なチューニングを行いました。使用するメモリの量の調整や、インデックスの設定、出力するデータ形式の調整などです。こうしたチューニングを行った結果、大量のログから特定のIPアドレスに関連する情報をすぐに取り出せるようになりました。

導入後の結果

ログ調査時間が短縮され、従来の10分の1程度の時間で調査ができるようになりました。また、GUIだけで調査を行えるため、Linuxの知識がない担当者でも作業が行えるようになり、システム管理者の負荷が大きく軽減されました。

Elasticsearchを使ったログ解析システム構築の関連ページ

ビッグデータ/IoT構築の事例一覧

デージーネットの構築サービスの流れ

デージーネットの構築サービス(Open Smart Design)では、OSSを安心して使っていただくために、独自の導入ステップを採用しています。詳しい情報は以下のリンクからご覧ください。


様々な事例を集めたモデルプラン(費用例付き)をお送りしています。

代表的な事例を集めた「モデルプラン」をお送りしています。費用の例も記載しておりますので、価格感も知って頂ける資料となっております。
ご希望の方は、下記よりお申し込みください。


モデルプランをご希望の方

各種費用についてのお問い合わせ

コンサルティング費用、設計費用、構築費用、運用費用、保守費用など、各種費用についてのお見積もりは以下のフォームよりお気軽にお問合せ下さい。


unboundやPowerDNSを使用したDNSサーバのモデルプランをご希望の方

Elasticsearchを使ったログ解析システム構築の先頭へ