システム構築

構築事例:GridDBとGrafanaを利用したIoTデータ収集システム

Open Smart Design

電子機器の開発を行うお客様から、電源管理システムについてのデータ管理をしたいというご要望がありました。そこでデージーネットではスケールアウト型NoSQLデータベースで、IoTアプリケーションで生成される膨大な量のデータを把握・分析するために、効率よく処理するGridDBとダッシュボードツールのGrafanaを提案しました。

お客様が悩まれていた課題
電源管理システムから送られてくるデータを収集・分析できていない
システムから送られるデータのプロトコルやフォーマットが決まっていない
できればデータの可視化も行いたい
+導入企業プロフィール

導入企業業種

電子機器開発

ユーザー規模

利用OS

CentOS7

導入月

2020年11月

デージーネットが提案した「GridDBとGrafanaを利用したIoTデータ収集システム」

アイコン男性

解決ポイント

GridDBとGrafanaを利用したIoTデータ収集システムを導入

データ収集可視化のための基本設計

定義として、確認するデータを決め、必要なものだけ恒久的に保存する動きとしました。まず、受信したデータを一度全てGirdDB内のデータベースの一時領域に配置します。そして一時領域より条件にマッチしたものをGirdDB内の恒久領域に保存し、それをGrafanaで確認するようにしました。構成は下記のような図になっています。

GridDBとGrafanaを利用したIoTデータ収集システムイメージ

GridDBとGrafanaのシステム構成

打ち合わせの段階では、データの仕様に未定の項目が複数ありました。そのためデータ仕様の変化に柔軟な対応ができる方法や設定を重視しました。送信されるデータ(JSON形式)のカラム名やカラム数が変更や追加、そして蓄積される毎に、JSONデータの例を使用してお客様と認識合わせを繰り返しました。

データ収集にはGridDB、Fluentd、データ参照にはGrafanaを利用

データベースサーバにはビッグデータIoTデータに適しているGridDBを提案しました。GridDBは、東芝デジタルソリューションズ株式会社が開発しました。オープンソースソフトウェアであるGridDB Community Edition(GridDB CE)は、2016年から公開されており、AGPL(Affero GeneralPublic License、クライアントはApache License,version 2.0)のライセンスの下で利用することができます。インメモリでのデータ管理による高速処理やスケールアウトによる大容量化と負荷分散ができることを特徴としています。また、クラスタでも動作が可能です。

コレクションコンテナとIoTに適した時系列コンテナの2種類のコンテナタイプをサポートしています。コレクションコンテナとは、一般的なキーとデータを管理するコンテナです。時系列コンテナとは、時刻(TIMESTAMP)型のキーを持つデータを効率的に管理するコンテナです。今回は、コレクションコンテナに開発したプログラムで使用する情報やデータを格納し、時系列コンテナには、実際にシステムで取得したデータを入れることで、効率良く大量のデータを管理することができました。

また今後、システムから送られてくるデータは1秒間に110個程度と予想され、グループが増えることが予定されていました。クラスタリングによる冗長性の確保やスケールアウトにも対応可能なためGridDBを採用しました。

そしてデータ受取には、多くのプロトコル・データフォーマットに対応しているFluentdを提案しました。データの可視化もご希望でしたのでグラフ表示ソフトウェアGrafanaもインストールしました。

データ保存用プログラムの開発

集めたデータを保存するプログラムがなかったため、別でプログラム開発を行いました。確認用のデータ領域にデータを移動させるようにしました。開発したデータ保存プログラムでは、通常時は1分毎に間引きされたデータを、異常時は前後合わせて6分間分の間引きされていないデータを保存するようにしました。そうすることで、異常発生時に細かくデータを確認でき、通常時のデータと見比べられるようにしました。

導入後の結果

アイコン女性

今までになかった、電源管理システムのデータを収集するシステムが実現でき、今後のシステム構築の基盤となるものができました。また、システムを導入したおかげで多量のデータにも対応できるようになりました。Grafanaの機能により確認したいもののみグラフ化して表示させることやデータをcsv形式でエクスポートできるので、作成したcsvファイルから細かいデータの詳細を確認して機器故障時の調査等に役立てられるようになりました。

【Webセミナー】CentOS8 サポート終了に伴う今後の考え方

日程: 1月22日(金)Webセミナー「BigBlueButton」を使用します。
内容: CentOS8のサポートが2021年に終了すると発表されました。CentOS8を利用していたユーザは今後、どのようにしていくとよいのかわかりやすく解説します!
ご興味のあるかたはぜひご参加ください。

セミナー申込

GridDBとGrafanaを利用したIoTデータ収集システムの関連ページ

IoTプラットフォーム・機械学習基盤の構築の事例一覧

デージーネットの構築サービスの流れ

デージーネットの構築サービス(Open Smart Design)では、OSSを安心して使っていただくために、独自の導入ステップを採用しています。詳しい情報は以下のリンクからご覧ください。


詳細情報ボタン

サービスの流れイメージ

様々な事例を集めたモデルプラン(費用例付き)をお送りしています。

代表的な事例を集めた「モデルプラン」をお送りしています。費用の例も記載しておりますので、価格感も知って頂ける資料となっております。
ご希望の方は、下記よりお申し込みください。


モデルプランをご希望の方

モデルプラン資料イメージ

各種費用についてのお問い合わせ

コンサルティング費用、設計費用、構築費用、運用費用、保守費用など、各種費用についてのお見積もりは以下のフォームよりお気軽にお問合せ下さい。


unboundやPowerDNSを使用したDNSサーバのモデルプランをご希望の方

全国対応イメージ

GridDBとGrafanaを利用したIoTデータ収集システムの先頭へ