構築事例：Alertmanagerを利用した監視システム

お客様は、以前デージーネットが構築した監視サーバ（Zabbix＋SyLAS）を利用していました。 ただZabbixの通知機能では、仮にZabbixで管理している1,000台のサーバが接続されているスイッチに障害が発生した場合、1,000個のアラートが発行されるという問題があります。そのため、監視対象のサーバやネットワーク機器から受け取るトラップが大量で、情報が埋もれてしまうという課題をお持ちでした。

そこでデージーネットでは、Alertmanagerを導入することで、今回導入を予定していたZabbix、syslogどちらのアラート管理も可能とする仕組みをご提案しました。

Alertmanagerは、オープンソースソフトウェアのアラート管理システムです。Prometheus等のクライアントアプリケーションからのアラートを受信して処理します。rsyslogやZabbix、Slackなどの機能と連携しアラート管理をすることが可能です。
Alertmanagerでは、重複排除、グルーピング、アラートの抑制、電子メール等によるアラートの送信を行うことができるため、大量のアラートを効率よく管理することが可能です。さらに、受信したアラートの状態を確認するためのWebUIを使用することもできます。

監視サーバとログ収集サーバを同居させる構成

もともと別で構築・保守をしていたZabbixサーバとsyslogサーバがありましたが、これらを同居・冗長化することもあわせてご提案しました。これにより、syslogを冗長化したいというお客様のご要望を満たしつつ、Zabbixサーバとsyslogサーバを別々にリプレースすると3台必要だったところを、計2台で実装することができました。

導入にあたっての工夫

導入にあたって、以下を工夫しました。

受信ログのサンプル例を設定

syslog文字列検知・Zabbixアラート通知で受信しているログのうち、検知したい文字列を予めお客様からヒアリングし、それをAlertmanagerのsyslogサンプル例として設定しました。実際に出力されているログベースでサンプル例を作成したことで、AlertmanagerのWebUIや届いたメールを確認いただいた際に、どういった動作になるかをお客様がイメージしやすくなりました。

また、Zabbixのアラートは、管理者宛てに来たアラートをAlertmanagerに連携する設定とし、運用時に実際の動作が確認しやすいように意識しました。

本番運用に近い環境で検証を実施

Alertmanagerを含めたsyslog-ZabbixのHAクラスタ構成検証環境を構築し、本番運用に近い形で検証を実施しました。その動作をもとにマニュアルやお客様への動作説明へ反映をし、設定方法や各種パラメータの動作について説明したことで、お客様側でも柔軟にアラート管理をすることができるようになりました。

サーバで異なるネットワーク構成を検討

Zabbixサーバのネットワークとsyslogサーバではネットワークが異なり、これらのサーバが同居することになるため、ネットワーク構成を検討し直しました。障害発生時にどちらかのサーバにサービスが移った場合でも問題なくお互いの通信が取れるように、ネットワークの設計を工夫しました。これにより、それぞれのサービスから見たIPアドレスの変更をすることなく、Zabbixサーバとsyslogサーバがともにスムーズな実運用に移ることができるようにしました。

監視サーバ構築の事例一覧

• Zabbixによる監視システム事例
• 障害監視・受付システム事例
• Cactiによる運用監視サーバ事例
• スパムメール監視システム事例
• Cactiによる大規模監視システム事例
• Icinga2＋Grafanaを利用した監視システム構築事例
• Zabbix＋Redmine＋Mattermostによる運用管理支援システム構築事例
• Alertmanagerを利用した監視システム事例