構築事例:Apache Solrによるメール全文検索システム
デージーネットが以前に構築したインターネットサービスプロバイダのメールシステムについて、メールの検索が遅く、検索をするとシステムの負荷も高くなる状態を改善できないかと相談を受けました。デージーネットからは、IMAPサーバのdovecotに全文検索の機能を付加する提案をし、実際に導入を行ないました。
- お客様が悩まれていた課題
- メールの検索に時間が掛かる
- メールサーバの負荷が高い
- +導入企業プロフィール
- ★
導入企業業種
情報・通信
ユーザー規模
20万人
利用OS
CentOS 6
導入月
2016年8月
デージーネットが提案した「Apache Solrによるメール全文検索システム」
メールを全文検索のエンジンのApache Solrへ登録
全文検索エンジンにApache Solrを採用
全文検索を実現するために、Apache Solrの導入を提案しました。Apache Solrは、オープンソースの全文検索のエンジンで、ほぼリアルタイムでのデータ登録やインデックス化をすることができる特徴があります。Apache Solrではビッグデータ解析などで使われるApache Luceneを全文検索エンジンに使っています。そのため、プロバイダのシステムが扱う大量のメールにも耐えられるシステムにすることができました。
全文検索エンジンにメールを自動登録
全文検索エンジンのApache Solrとメールサーバを連携するために、メールの配送にdovecotのLDAを使うようにシステム構成を変更しました。そして、dovecotにFTS Solrプラグインを導入しました。これによって、メールは、着信時に自動的に全文検索システムに登録されるようになりました。また、IMAPサーバで検索を行なうと、自動的に全文検索システムを利用したメール検索が行なわれるようになりました。
全文検索サーバの冗長性を実現
もともとメールサーバは冗長化されていました。可用性を落とさないために、全文検索システムについても冗長性を確保する必要がありました。全文検索の性能と冗長性を考慮して、3台の全文検索サーバを構築し、Pacemaker、Apache Zookeeperなどを使って冗長性を実現しました。
導入後の結果
それまで2万通(800MB)のメールを検索するには、30分以上の時間が掛かっていました。全文検索システムを導入することで、この時間を一秒以下にすることができました。検索サーバを外部に配置したことと、検索が速くなったことでメールサーバの負荷も激減しました。そのため、メールサーバを利用するすべてのユーザの利便性が向上しました。
【Webセミナー】社内のネットワーク環境を改善!中小企業でも導入可能なNetFlowを使ったネットワーク解析セミナー
日程: | 12月7日(木)Webセミナー「BigBlueButton」を使用します。 |
内容: | 今回は、社内のネットワーク環境を改善できるネットワーク解析について紹介します。 |
ご興味のあるかたはぜひご参加ください。 |
Apache Solrによるメール全文検索システムの関連ページ
- Apache Solr〜データを高速で全文検索するOSS〜
- Fessによるファイルサーバ検索システム事例
- Fessによるサイト内検索システム事例
- Elasticsearchを使ったログ解析システム構築事例
- Elasticsearch〜ビッグデータに対応した全文検索エンジン〜
- Fess〜全文検索システム〜