IoTプラットフォーム・機械学習基盤の構築
携帯ネットワーク、無線インフラなどの進化により、インターネットは私たちにとって身近なものになってきました。それによって、私たちの活動の様々なデータが収集されるようになってきています。さらに、様々な物に通信機能を持たせることにより、データの幅も広くなりつつあります。
デージーネットは、これまでに様々なオープンソースソフトウェアを活用して、インターネットサービスプロバイダやインターネットサービス事業者のシステムを構築してきました。こうしたシステムでは、もともと利用者が多く、膨大なデータを整理して管理し、高速に動作することが求められて来ました。また、データの保全についても非常に重要視されています。
デージーネットでは、こうした経験を活用して、IoTプラットフォームや機械学習基盤の構築を行っています。
IoTプラットフォーム
IoTプラットームには、図のような構成要素があります。
IoTエンドポイントは、携帯ネットワーク、無線インフラなどのIoTインフラを経由して、インターネットに接続されています。IoTエンドポイントで収集したデータは、こうしたネットワークインフラを通して、クラウドインフラに送られます。収集されたデータは膨大です。すなわち、ビッグデータとなります。
従来は、このようなデータを処理するためには、スーパーコンピュータが利用されて来ました。しかし、そのために必要なコストは膨大で、一部の研究者や大企業しか利用することができませんでした。このような問題を解決するために、汎用的なサーバコンピュータを集めたコンピュータクラスタが使われるようになりまじた。
コンピュータクラスタの中では、大量のデータを分散して管理します。また、コンピュータクラスタの計算資源を利用して解析処理を分散して行います。分析は、エンドユーザの解析アプリケーションが行いクライアント機器で可視化されます。
IoTプラットフォーム、機械学習基盤とオープンソースソフトウェア
このようなIoTを構成するシステムのうち、IoTインフラ、インターネットインフラは、これまでのインターネットの技術を発展させたものです。インターネットの通信技術の多くは、オープンソースソフトウェアで実装されています。そのため、IoTネットワークでも、多くのオープンソースソフトウェアが使われています。
また、コンピュータクラスタを実現する技術は世界中で研究されてきました。そうした技術の多くが、オープンソースソフトウェアとして公開されています。そのため、特にビッグデータの分野は、製品ではなくオープンソースソフトウェアが市場を牽引する初めての分野であると言われています。
解析アプリケーションでは、機械学習やAIエンジンなどの技術が使われます。こうした技術の核となる部分も、GoogleなどがオープンソースソフトウェアとしてAIエンジンを公開しています。アプリケーション開発ベンダーは、こうしたオープンソースソフトウェアや製品ソフトウエアを活用して、解析アプリケーションを開発します。
機械学習基盤
機械学習基盤とは、機械学習を行うために必要な様々なリソースを用意し、迅速に機械学習のモデリングや実験を行えるようにするための設備です。機械学習によるシステム開発を円滑に行うためにはコンテナを利用することが多く、機械学習基盤としてコンテナ型仮想化の技術が使われています。
デージーネットの取り組み
デージーネットは、これらの構成要素のうち、主にコンピュータクラスタの分野を手がけています。大容量のデータの保存のためには、オブジェクトストレージ、ソフトウェアデザインドストレージ(SDS)、分散ストレージなどの技術を利用します。こうしたストレージ技術には、デージーネットがもっとも得意とするコンピュータの冗長化の技術や、プライベートクラウドの技術が利用されています。DRBD9、OpenStackのストレージ技術などを利用します。
大容量のデータを高速に解析するためには、データベースの分散が必要です。RDBの分散技術としては、MySQL Galera Clusterなどの技術を利用します。また、NoSQL、KVS(Key Value Store)と呼ばれるRDB以外のデータベースとして、MongoDB、Cassandraなどを利用します。
コンピュータクラスタを構成するには、プライベートクラウドの技術が必要です。デージーネットでは、OpenStack、CloudStack、Nutanixなどのプライベートクラウド技術を利用しています。
機械学習基盤では、コンテナ型仮想化の技術も利用します。デージーネットでは、docker/Kubernetesを利用した機械学習基盤の構築を行っています。
コンピュータクラスタ上で動作する分散プラットフォームとしては、Hadoop、Apache Sparkなどを利用しています。また、分散解析エンジンとしては、Elasticsearch、Apache Solrなども活用します。
IoT・ビッグデータで必要なコンピュータクラスタを構築するためには、このような様々なオープンソースソフトウェアが必要です。デージーネットは、オープンソースソフトウェアの専門家として、先進的なIoT・ビッグデータのインフラ構築、システムの設計・改善などのコンサルティングに取り組んでいます。
IoTプラットフォーム・機械学習基盤の構築
<<>事例
<