ElasticSearchやApacheSolrを使用したビッグデータ・IOTインフラ構築

サーバー構築のデージーネットTOP > システム構築 > ビッグデータ・IoTインフラ構築

ビッグデータ・IoTインフラ構築

Open Smart Design

携帯ネットワーク、無線インフラなどの進化により、インターネットは私たちにとって身近なものになってきました。それによって、私たちの活動の様々なデータが収集されるようになってきています。さらに、様々な物に通信機能を持たせることにより、データの幅も広くなりつつあります。
デージーネットは、これまでに様々なオープンソースソフトウェアを活用して、インターネットサービスプロバイダやインターネットサービス事業者のシステムを構築してきました。こうしたシステムでは、もともと利用者が多く、膨大なデータを整理して管理し、高速に動作することが求められて来ました。また、データの保全についても非常に重要視されています。
デージーネットでは、こうした経験を活用して、ビッグデータIoTのためのインフラの構築を行なっています。

IoTシステムの構成

IoTを扱うシステムには、図のような構成要素があります。

unboundやApache Solrを使用したビッグデータ・IOTインフラの構成例

IoTエンドポイントは、携帯ネットワーク、無線インフラなどのIoTインフラを経由して、インターネットに接続されています。IoTエンドポイントで収集したデータは、こうしたネットワークインフラを通して、クラウドインフラに送られます。収集されたデータは膨大です。すなわち、ビッグデータとなります。

従来は、このようなデータを処理するためには、スーパーコンピュータが利用されて来ました。しかし、そのために必要なコストは膨大で、一部の研究者や大企業しか利用することができませんでした。このような問題を解決するために、汎用的なサーバコンピュータを集めたコンピュータクラスタが使われるようになりまじた。

コンピュータクラスタの中では、大量のデータを分散して管理します。また、コンピュータクラスタの計算資源を利用して解析処理を分散して行ないます。分析は、エンドユーザの解析アプリケーションが行ないクライアント機器で可視化されます。

IoT、ビッグデータとオープンソースソフトウェア

このようなIoTを構成するシステムのうち、IoTインフラ、インターネットインフラは、これまでのインターネットの技術を発展させたものです。インターネットの通信技術の多くは、オープンソースソフトウェアで実装されています。そのため、IoTネットワークでも、多くのオープンソースソフトウェアが使われています。

また、コンピュータクラスタを実現する技術は世界中で研究されてきました。そうした技術の多くが、オープンソースソフトウェアとして公開されています。そのため、特にビッグデータの分野は、製品ではなくオープンソースソフトウェアが市場を牽引する初めての分野であると言われています。

解析アプリケーションでは、機械学習やAIエンジンなどの技術が使われます。こうした技術の核となる部分も、GoogleなどがオープンソースソフトウェアとしてAIエンジンを公開しています。アプリケーション開発ベンダーは、こうしたオープンソースソフトウェアや製品ソフトウエアを活用して、解析アプリケーションを開発します。

デージーネットの取り組み

デージーネットは、これらの構成要素のうち、主にコンピュータクラスタの分野を手がけています。大容量のデータの保存のためには、オブジェクトストレージ、ソフトウェアデザインドストレージ(SDS)、分散ストレージなどの技術を利用します。こうしたストレージ技術には、デージーネットがもっとも得意とするコンピュータの冗長化の技術や、プライベートクラウドの技術が利用されています。DRBD9、OpenStackのストレージ技術などを利用します。

大容量のデータを高速に解析するためには、データベースの分散が必要です。RDBの分散技術としては、MySQL Galera Clusterなどの技術を利用します。また、NoSQL、KVS(Key Value Store)と呼ばれるRDB以外のデータベースとして、MongoDB、Cassandraなどを利用します。

コンピュータクラスタを構成するには、プライベートクラウドの技術が必要です。デージーネットでは、OpenStack、CloudStack、Nutanixなどのプライベートクラウド技術を利用しています。

コンピュータクラスタ上で動作する分散プラットフォームとしては、Hadoop、Apache Sparkなどを利用しています。また、分散解析エンジンとしては、ElasticSearch、Apache Solrなども活用します。

IoT・ビッグデータで必要なコンピュータクラスタを構築するためには、このような様々なオープンソースソフトウェアが必要です。デージーネットは、オープンソースソフトウェアの専門家として、先進的なIoT・ビッグデータのインフラ構築、システムの設計・改善などのコンサルティングに取り組んでいます。

ビッグデータ/IoT構築事例

ElasticSearchを使ったログ解析システム構築事例

CATVのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。従来は、DHCPサーバ、WWWサーバメールサーバ、課金システムなどの膨大なログをgrepコマンドを使って調査し、利用者を特定していました。そのため、調査は大変時間がかかる作業でした。この調査を効率化できないかと相談を受け対応しました。

Apache Solrによるメール全文検索システム事例

デージーネットが以前に構築したインターネットサービスプロバイダのメールシステムについて、メールの検索が遅く、検索をするとシステムの負荷も高くなる状態を改善できないかと相談を受けました。デージーネットからは、IMAPサーバのdovecotに全文検索の機能を付加する提案をし、実際に導入を行 ないました。

ElasticSearchやApacheSolrを使用したビッグデータ・IOTインフラ構築のモデルプランをご用意しています

様々な事例を集めたモデルプラン(費用例付き)をお送りしています。

代表的な事例を集めた「モデルプラン」をお送りしています。費用の例も記載しておりますので、価格感も知って頂ける資料となっております。
ご希望の方は、下記よりお申し込みください。

ElasticSearchやApacheSolrを使用したビッグデータ・IOTインフラ構築のモデルプランモデルプランをご希望の方

ElasticSearchやApacheSolrを使用したビッグデータ・IOTインフラ構築のモデルプラン

 

各種費用についてのお問い合わせ

コンサルティング費用、設計費用、構築費用、運用費用、保守費用など、各種費用についてのお見積もりは以下のフォームよりお気軽にお問合せ下さい。

unboundやPowerDNSを使用したDNSサーバのモデルプランをご希望の方

システム構築一覧

ビッグデータ・IoTインフラ構築の先頭へ