Elasticsearchとは

大容量データを扱うことを想定した全文検索エンジン。
Elastic Stackの中でデータの検索を行う機能を担当している。Elastic社が提供しているオープンソースであり、Apache2ライセンスの下で公開されている。

Elasticsearchを利用すると、大容量のデータから必要なデータを素早くに取り出すことができる。例えば、大量に出力されているDHCPサーバのログからIPアドレスやMACアドレスを抽出し、そこから利用ユーザを特定するといったことができる。

Elasticsearchには、以下のような特徴がある。

全文検索

指定したキーワードに一致するデータを大量のデータから高速に抽出することができる。また、指定したキーワードに関連するデータを抽出することもできる。
この機能は大量の商品リストから特定のキーワードを含む商品だけを検索するような時に利用できる。

分散構成

Elasticsearchは、複数のサーバをひとつのクラスタとして構成することができる。
Elastcisearchで扱うデータは、クラスタに所属する各サーバに分散して保存される。ひとつのデータを複数のサーバに配置することも可能となっており、データ冗長化を行うこともできる。

スケーラビリティ

システムを停止することなくElasticsearchサーバを追加して、システムを拡張することができる。
導入時は最小構成で始め、データ量やアクセス量が増加してきた時に、規模に合わせてサーバを追加するというようなシステム拡張が可能となっている。サーバを追加した時、Elasticsearchが持っているデータは各サーバに自動的に再配置される。

ハイアベイラビリティ

クラスタを構成するひとつのサーバが停止してしまった時、そのサーバを切り離した状態でサービスを継続することができる。データを複数のサーバに配置する構成にしておけば、データが失われることもなく、完全な冗長化システムを構築することができる。

Restful API

データ登録やデータ検索は、Elasticsearchが提供するAPIを通して行う。APIはRestful APIの形式となっている。
APIを使用することで、Elasticsearchを使用したデータ登録やデータ検索が、外部システムから容易に利用することができる。

Elasticsearchの用途

近年、ビッグデータを扱うことが増えているが、そのデータ配置方法や高速に検索する仕組みが課題となっている。
Elasticsearchを利用すれば、大量データを複数サーバに分散して配置したり、複数のサーバにデータを配置することでデータ冗長化をしたりすることができる。また、高速に全文検索を行うこともできるため、安全で便利にビッグデータを扱うシステムを構築することができるようになる。

デージーネットの取り組み

デージーネットでは、システムログから指定したキーワードで検索を行うためのオープンソースソフトウェア SyLAS を開発して公開している。
SyLAS 6.00では、ログ検索先としてElasticsearchを選択できるようになった。これにより、大量に出力されるログから欲しい情報を高速に抽出できるようになった。