構築事例:Apache Solrによるメール全文検索システム
デージーネットが以前に構築したインターネットサービスプロバイダのメールシステムについて、メールの検索が遅く、検索をするとシステムの負荷も高くなる状態を改善できないかと相談を受けました。デージーネットからは、IMAPサーバのdovecotに全文検索の機能を付加する提案をし、実際に導入を行いました。
- お客様が悩まれていた課題
- メールの検索に時間が掛かる
- メールサーバの負荷が高い
- +導入企業プロフィール
- ★
導入企業業種
情報・通信
ユーザー規模
20万人
利用OS
CentOS 6
導入月
2016年8月
デージーネットが提案した「Apache Solrによるメール全文検索システム」
メールを全文検索のエンジンのApache Solrへ登録
全文検索エンジンにApache Solrを採用
全文検索を実現するために、Apache Solrの導入を提案しました。Apache Solrは、オープンソースの全文検索のエンジンで、ほぼリアルタイムでのデータ登録やインデックス化をすることができる特徴があります。Apache Solrではビッグデータ解析などで使われるApache Luceneを全文検索エンジンに使っています。そのため、プロバイダのシステムが扱う大量のメールにも耐えられるシステムにすることができました。
全文検索エンジンにメールを自動登録
全文検索エンジンのApache Solrとメールサーバを連携するために、メールの配送にdovecotのLDAを使うようにシステム構成を変更しました。そして、dovecotにFTS Solrプラグインを導入しました。これによって、メールは、着信時に自動的に全文検索システムに登録されるようになりました。また、IMAPサーバで検索を行うと、自動的に全文検索システムを利用したメール検索が行われるようになりました。
全文検索サーバの冗長性を実現
もともとメールサーバは冗長化されていました。可用性を落とさないために、全文検索システムについても冗長性を確保する必要がありました。全文検索の性能と冗長性を考慮して、3台の全文検索サーバを構築し、Pacemaker、Apache Zookeeperなどを使って冗長性を実現しました。
導入後の結果
それまで2万通(800MB)のメールを検索するには、30分以上の時間が掛かっていました。全文検索システムを導入することで、この時間を一秒以下にすることができました。検索サーバを外部に配置したことと、検索が速くなったことでメールサーバの負荷も激減しました。そのため、メールサーバを利用するすべてのユーザの利便性が向上しました。
【Webセミナー】OSSのおすすめメーリングリストシステム紹介セミナー
日程: | 10月23日(水)Webセミナー「BigBlueButton」を使用します。 |
内容: | OSSで実現可能なメーリングリストシステムをご紹介します。 |
ご興味のあるかたはぜひご参加ください。 |
Apache Solrによるメール全文検索システムの関連ページ
- Apache Solr〜データを高速で全文検索するOSS〜
- 全文検索の仕組みを導入したメールアーカイブシステム構築事例
- Fessによるファイルサーバ検索システム構築事例
- Fessによるサイト内検索システム構築事例
- Elasticsearchを使ったログ解析システム構築事例
- Elasticsearch〜ビッグデータに対応した全文検索エンジン〜
- Fess〜全文検索システムのOSS〜
IoTプラットフォーム・機械学習基盤の構築の事例一覧
- Elasticsearchを使ったログ解析システム構築事例
- Apache Solrによるメール全文検索システム事例
- Graylogによるセキュリティログ管理サーバ事例
- IoT開発基盤構築でのKubernetes活用事例
- IoTプラットフォーム用HTTPプロキシ構築事例
- GridDBとGrafanaを利用したIoTデータ収集システム事例
- Graylogを利用したログ管理サーバの構築事例
- GraylogとLogstashによるログ収集システム構築事例
- GraylogによるLinux/Windowsに対応したログ収集・検索システム構築事例
- ビジネスチャットシステム構築でのKubernetes活用事例