構築事例:Apache Solrによるメール全文検索システム
デージーネットが以前に構築したインターネットサービスプロバイダのメールシステムについて、メールの検索が遅く、検索をするとシステムの負荷も高くなる状態を改善できないかと相談を受けました。デージーネットからは、IMAPサーバのdovecotに全文検索の機能を付加する提案をし、実際に導入を行いました。
- お客様が悩まれていた課題
- メールの検索に時間が掛かる
- メールサーバの負荷が高い
- +導入企業プロフィール
- ★
導入企業業種
情報・通信
ユーザー規模
20万人
利用OS
CentOS 6
導入月
2016年8月
デージーネットが提案した「Apache Solrによるメール全文検索システム」
メールを全文検索のエンジンのApache Solrへ登録
全文検索エンジンにApache Solrを採用
全文検索を実現するために、Apache Solrの導入を提案しました。Apache Solrは、オープンソースの全文検索のエンジンで、ほぼリアルタイムでのデータ登録やインデックス化をすることができる特徴があります。Apache Solrではビッグデータ解析などで使われるApache Luceneを全文検索エンジンに使っています。そのため、プロバイダのシステムが扱う大量のメールにも耐えられるシステムにすることができました。
全文検索エンジンにメールを自動登録
全文検索エンジンのApache Solrとメールサーバを連携するために、メールの配送にdovecotのLDAを使うようにシステム構成を変更しました。そして、dovecotにFTS Solrプラグインを導入しました。これによって、メールは、着信時に自動的に全文検索システムに登録されるようになりました。また、IMAPサーバで検索を行うと、自動的に全文検索システムを利用したメール検索が行われるようになりました。
全文検索サーバの冗長性を実現
もともとメールサーバは冗長化されていました。可用性を落とさないために、全文検索システムについても冗長性を確保する必要がありました。全文検索の性能と冗長性を考慮して、3台の全文検索サーバを構築し、Pacemaker、Apache Zookeeperなどを使って冗長性を実現しました。
導入後の結果
それまで2万通(800MB)のメールを検索するには、30分以上の時間が掛かっていました。全文検索システムを導入することで、この時間を一秒以下にすることができました。検索サーバを外部に配置したことと、検索が速くなったことでメールサーバの負荷も激減しました。そのため、メールサーバを利用するすべてのユーザの利便性が向上しました。
【Webセミナー】今さら聞けない!システム監視の基礎攻略セミナー
日程: | 1月30日(木)Webセミナー「BigBlueButton」を使用します。 |
内容: | 多くのシステムで導入されている監視ツール、でも監視って具体的に何?何で必要なの?そんな疑問を解消します。 |
ご興味のあるかたはぜひご参加ください。 |
Apache Solrによるメール全文検索システムの関連ページ
- Apache Solr〜データを高速で全文検索するOSS〜
- 全文検索の仕組みを導入したメールアーカイブシステム構築事例
- Fessによるファイルサーバ検索システム構築事例
- Fessによるサイト内検索システム構築事例
- Elasticsearchを使ったログ解析システム構築事例
- Elasticsearch〜ビッグデータに対応した全文検索エンジン〜
- Fess〜全文検索システムのOSS〜
- メールアーカイブシステムのおすすめOSS〜Messasy〜
メールシステム構築の事例一覧
- メールシステム・ActiveDirectory連携事例
- メールサーバ冗長化事例
- メールサーバのNFSメールスプール入れ替え事例
- postLDAPadminを利用したメールサーバ管理システム事例
- メールサーバのデータ移行(mbox形式→Maildir形式)事例
- メールサーバ(添付ファイル暗号化)事例
- 添付ファイルのPPAP問題を解決する代替としてSaMMAを利用事例
- メール転送時の添付ファイル削除システム事例
- 標的型メール攻撃対策システム事例
- Messasyを利用したメールアーカイブシステム事例
- メール承認システム(Mail Approval)事例
- RoundcubeによるWebメールサーバ事例
- RoundcubeによるWebメールサーバ(大学様向け)事例
- Sympaによるメーリングリスト管理システム事例
- SpamGuardによるメールサーバへのスパム攻撃対策事例
- SpamGuardによるメールサーバのパスワード漏洩対策事例
- HAproxyを利用したメール中継システム事例
- Sieveを利用したメールの振り分け機能つきメールシステムの導入事例
- Cockpitによるサーバ管理ツールの導入事例
- Mailmanを使ったメーリングリストサーバ事例
- Mailman 2を利用したメーリングリストサーバ構築事例
- MailAdmin2を利用したホスティングメールサーバ構築事例
- Googleメール送信者ガイドラインに対応したDMARC設定の導入事例
- 八王子市役所様へLGWANメールサーバ導入事例
- fmlからSympaへメーリングリストサーバ移行事例
- 全文検索の仕組みを導入したメールアーカイブシステム事例
- 山口ケーブルビジョン様へDMARCレポート解析サーバの導入事例
- Apache Solrによるメール全文検索システム事例