システム構築

サーバー構築のデージーネットTOP > システム構築 > ビッグデータ/IoT構築 > ElasticSearchを使ったログ解析システム構築

構築事例:ElasticSearchを使ったログ解析システム構築

Open Smart Design

CATVのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。従来は、DHCPサーバ、WWWサーバ、メールサーバ、課金システムなどの膨大なログをgrepコマンドを使って調査し、利用者を特定していました。そのため、調査は大変時間がかかる作業でした。この調査を効率化できないかと相談を受け対応しました。

導入企業業種
CATV(岡山県)
ユーザー規模
5万人
利用OS
Debian 8
導入月
2015年8月頃
お客様が悩まれていた課題
膨大なログから特定のデータを見つけるのに時間が掛かる
複数のログから必要な情報を見つけるのが難しい

デージーネットが提案した「ElasticSearchを使ったログ解析システム構築」

解決ポイント

ElasticSearchを使った大容量ログ検索システムを構築

CATVのインターネットサービスのシステム管理者様からお問い合わせをいただきました。ケーブルテレビのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。しかし、この作業は、DHCPサーバ、WWWサーバメールサーバ、課金システムなどの膨大なログから、特定のIPアドレスに関連した情報を探す作業で、かなり時間を掛けて調査をしていました。この調査を効率化できないかと相談を受け対応しました。

ElasticSearchを使った大容量ログ検索システム構成例

ElasticSearchにログを保管

各種サーバからのログをデータベースに保管して検索性を向上する方法を検討しましたが、データ量が非常に多いためMySQLなどのRDBでは処理に時間がかかることが分かりました。そのため、ビックデータの解析ツールとして知られているElasticSearchを使うことになりました。様々なサービスから出力されるログは、rsyslogを経由してElasticSearchに保管することになりました。

GUIとしてSyLASを導入

ElasticSearchには、ログを閲覧するための仕組みが付属していません。通常はkibanaを使いますが、本件ではElasticSearchに対応したログ検索インタフェースとして、ElasticSearchとSyLASを組み合わせて導入しました。

ElasticSearchをチューニング

大量のログを短時間で解析できるようにするため、ElasticSearchには様々なチューニングを行いました。使用するメモリの量の調整や、インデックスの設定、出力するデータ形式の調整などです。こうしたチューニングを行った結果、大量のログから特定のIPアドレスに関連する情報をすぐに取り出せるようになりました。

導入後の結果

ログ調査時間が短縮され、従来の10分の1程度の時間で調査ができるようになりました。また、GUIだけで調査を行えるため、Linuxの知識がない担当者でも作業が行えるようになり、システム管理者の負荷が大きく軽減されました。




利用OSS

Elasticsearchとは

Elasticsearchは、大容量データを扱うことを想定した全文検索エンジンです。オープンソースソフトウェアとして提供されています。Elasticsearchを使用すると、数百台で構成するような大規模検索システム、ショッピングサイト等のたくさんの商品から関連する商品を検索するシステム等を構築することが可能です。
Elasticsearchには、主に以下の特長があります。

  • 全文検索に対応

    全文検索に特化しており、検索速度を向上させるように設計されています。事前に検索対象となるデータを検索し易い形式で保存するため、高速な検索ができます。

  • 大量のデータを高速に検索できる

    Elasticsearchでは、大量のデータから指定したキーワードに一致するデータを抽出することができます。この機能は大量のログデータから特定のキーワードを含むログだけを検索するような時に利用できます。また、指定したキーワードに関連するデータを抽出する機能もあります。

  • 冗長性を確保

    Elasticsearchは、複数のサーバに分散して構成することが想定されており、冗長性に優れています。Elasticsearchに登録するデータは、複数のサーバにレプリカを作成することで、冗長性を保っており、サーバの1台が障害で停止しても、データを失うことなく利用ができます。本案件でも、複数のログサーバを使ってデータの冗長性を確保しています。

  • 拡張性にも優れる

    一台では性能が足りない場合には、検索処理やデータ配置を分散することができます。また、システムを拡張する時には、システムを停止することなくサーバを追加できます。今回の事例では、それほど大きなシステム構成は取りませんでした。しかし、将来的にログの量がさらに増えた場合には、システムを容易に拡張することができるのです。
    サーバの追加時には、データは自動的に各サーバに分散して再配置されます。そのため、システムを停止することなく拡張を行うことができます。

  • Restful API

    Restful APIと呼ばれるAPIを使って、外部システムからElasticsearchとの連携をシームレスに行なうことができます。今回利用したSyLASは、このAPIを使ってElasticSearchを制御します。

ビッグデータ/IoT構築の事例一覧

様々な事例を集めたモデルプラン(費用例付き)をお送りしています。

代表的な事例を集めた「モデルプラン」をお送りしています。費用の例も記載しておりますので、価格感も知って頂ける資料となっております。
ご希望の方は、下記よりお申し込みください。

モデルプランをご希望の方

ElasticSearchを使ったログ解析システム構築の先頭へ