ローカル環境で生成AIを活用〜Ollamaで構築するローカルLLM環境〜

経営企画室　OSS企画チーム 小倉 崇志

今回は、PCや自社サーバ上で生成AIを実行できるソフトウェア「Ollama」をご紹介します。Ollamaを利用することで、外部のクラウドサービスへデータを送信せずに、文章生成、要約、文書検索、社内向けチャットボットなどの生成AI機能を利用できます。また、Open WebUI、Dify、Fessなどのソフトウェアと連携することで、ブラウザ上で利用できるチャットシステムや、社内文書を検索して回答するRAGシステムを構築することも可能です。

生成AIをローカル環境で利用するメリット

ChatGPTをはじめとするクラウド型の生成AIサービスは、手軽に高性能なAIを利用できる一方、入力したデータがインターネットを経由して外部サービスへ送信されます。そのため、法人で生成AIを利用する場合には、社内文書、顧客情報、技術情報などの機密データを入力してよいか、事前に検討する必要があります。また、サービスによっては、利用量に応じたAPI料金やユーザ単位の利用料金が発生します。

ローカルLLMは、自社のPCやサーバ上でAIモデルを実行します。そのため、データを社内環境に留めたまま処理でき、機密性の高い情報を扱うシステムにも活用しやすいという特徴があります。また、クラウド型のようなAPIの従量課金やユーザ数に応じた料金が発生しないため、利用規模や用途によっては、長期的なコストを抑えられる可能性があります。

Ollamaとは

Ollamaは、PCやサーバなどのローカル環境でLLM（大規模言語モデル）を実行・管理するためのソフトウェアです。Ollamaでは、利用したいAIモデルを選択し、コマンドラインやAPIを通じて実行できます。Linux環境にも対応しており、GPUとGPUドライバが正しく認識されていれば、AlmaLinuxなどのRHEL系OSや、Ubuntu、Debian系OSでも利用できます。Ollama自体にはWeb画面が搭載されていませんが、Open WebUIなどと連携することで、ChatGPTのようにブラウザ上で質問を入力し、回答を確認できる環境を構築できます。

Ollamaでできること

Ollamaを利用すると、主に以下のような環境を構築できます。

• ローカル環境での生成AIの実行
• 文章の作成、要約、校正、案出し
• APIを利用した外部システムとの連携
• 複数のAIモデルの管理と切り替え
• 回答方針や出力形式を指定したカスタムモデルの作成
• Open WebUIと連携したチャットシステム
• DifyやFessと連携したRAGシステム
• 社内文書を参照する検索・問い合わせシステム
• 利用者向けのサポートチャット

Ollamaは標準でAPIを提供しており、社内システムと連携して生成AIを活用できます。例えば、入力された文章の要約や問い合わせへの回答案作成などを自動化し、既存システムへAI機能を組み込むことが可能です。また、RAG（Retrieval-Augmented Generation）と組み合わせることで、社内文書を活用した検索・問い合わせシステムも構築できます。RAGは、社内マニュアルや規程、技術資料、FAQなどから質問に関連する情報を検索し、その内容をもとにAIが回答を生成する仕組みです。社内文書を外部のクラウド型生成AIへ送信することなく利用できるため、機密情報を扱う環境でも安心して活用できます。

用途に合わせたカスタムモデル

Ollamaでは、「Modelfile」と呼ばれる定義ファイルを使用して、既存のAIモデルに回答ルールや設定を追加できます。例えば、次のような動作をあらかじめ指定できます。

• 回答は必ず日本語で行う
• 最初に結論を記載する
• 回答を10行以内にまとめる
• 参照文書にない内容は推測で回答しない
• 専門用語には補足説明を付ける
• 設定変更や再起動を伴う場合は注意事項を記載する
• Linuxサーバ管理者として回答する

このように回答方針や出力形式を利用するシステムに合わせて固定できるため、ユーザが毎回細かい指示を入力する手間を減らし、回答形式のばらつきを抑えることができます。

導入時のポイント

Ollamaを導入する際には、利用目的に応じたサーバやGPUの選定が重要です。AIモデルには、8B、14B、27Bなどのパラメータ数があり、一般的にはパラメータ数が大きいモデルほど高い表現力を期待できます。一方で、モデルが大きくなるほど必要なGPUメモリや処理時間も増加します。そのため、導入時には次のような項目を確認する必要があります。

• 利用するAIモデル
• 同時に利用するユーザ数
• 質問から回答までに求める時間
• 処理する文書の長さやデータ量
• 搭載するGPUとGPUメモリ
• 保存するAIモデルに必要なストレージ容量
• チャット、文章作成、文書検索などの利用目的
• Open WebUI、Dify、Fessなどとの連携方法
• APIへアクセスできるネットワークの範囲
• 認証やアクセス制御の方法

導入のメリット

Ollamaを利用する大きなメリットは、社内データを外部の生成AIサービスへ送信せずに処理できる点です。機密情報を含む文書の要約、社内マニュアルを利用した問い合わせ対応、技術文書の検索など、クラウド型生成AIへデータを送信しにくい用途にも活用できます。また、APIの従量課金やユーザ単位のライセンス料金が発生しないため、多数の利用者が継続的に生成AIを利用する環境では、運用コストを管理しやすくなる可能性があります。さらに、利用するAIモデル、回答ルール、参照させる文書、連携するシステムなどを自社の要件に合わせて選択できるため、業務に特化した生成AIシステムを構築できます。

デージーネットでは

デージーネットでは、お客様の用途に合わせたローカルLLM環境の設計・構築をご支援します。Ollama単体の導入だけでなく、GPUを搭載したサーバの選定、Difyと連携したRAGシステム、社内文書検索、サポートチャットなど、お客様の利用目的に応じた構成をご提案します。また、利用するAIモデルの選定、回答方針のカスタマイズ、APIのアクセス制御、監視、バックアップなど、実際の運用を考慮した設計・構築も支援します。社内データを外部へ送信せずに生成AIを活用したい、ローカルLLMやRAGを利用したシステムを検討したいという場合は、ぜひお気軽にお問い合わせください。

関連ページ

Ollama〜ローカルLLM環境をOSSで構築する方法〜

デージーネットからのお知らせ

【株式会社デージーネット×Kotozna株式会社×マーケティングアソシエーション株式会社、3社共催】
DXで業務効率化！〜情報共有・生成AI・AIチャット・業務委託で実現する業務効率化〜を開催します。

今月は毎月のセミナーに加え、株式会社デージーネット×Kotozna株式会社×マーケティングアソシエーション株式会社、3社による共催セミナーも開催いたします。

日々の業務の中には、手作業による定型業務や属人化した運用など、気づかないうちに多くの”非効率”が潜んでいます。人手不足が深刻化する今、生産性を向上させるには、業務全体を見直し、それぞれの課題に適した改善策を講じることが重要です。「日々の業務負荷を軽減したい」「人手不足でも安定した業務運営を実現したい」「業務改善を進めたいが、何から着手すべきかわからない」とお考えの方は、業務改善の第一歩として、ぜひ本セミナーへご参加ください！

• 日程：2026年8月24日(月)
• 時間：14：00〜15：10（13:55〜入場開始）※Webセミナー

詳細↓↓
https://ma-inc.jp/seminar/it-02/

Ubuntu 26.04 LTS新機能紹介セミナー〜最新機能と活用シーンをわかりやすく解説〜を開催します。

Ubuntu 26.04のリリースにより、最新のLinux環境を活用したシステム構築・運用への関心が高まっています。今回は、2026年4月23日に公開されたUbuntu26.04の新機能や変更点についてご紹介します。

• 日程：2026年8月27日(木)
• 時間：15：00〜16：00

詳細↓↓
https://www.designet.co.jp/seminar/seminar.php?seminar_id=123

2026/8/20(木)・21(金) 東京ビッグサイトで開催される、「第2回 IT・情シスDXPO東京’26【夏】」 にデージーネットが出展します。

https://www.designet.co.jp/info/?id=938

Graylog Content Packs 「windows_authentication」のsidecar版マニュアルを公開しました。

https://www.designet.co.jp/ossinfo/graylog/graylog-windows_authentication_for_sidecar/

無料資料ダウンロードに【ローカルLLM（Ollama）調査報告書】を掲載しました。

ローカルLLM（Ollama）とは、ローカル環境（PCやサーバ上）でLLM（大規模言語モデル）を実行・管理するためのソフトウェアです。本書は、ローカルLLM（Ollama）について調査した内容をまとめたものです。

https://www.designet.co.jp/download/#efficiency

メールサーバの安全性を無料でチェックできるサイトを公開しています。

メールセキュリティへの関心が高まる中、メールセキュリティのチェック項目を整理して、誰でも簡単にチェックできるツールはありませんでした。本サイトでは、メールアドレスを入力するだけで、メールサーバのセキュリティを無料でチェックできます。

メールサーバセキュリティ診断MSchecker

デージーネットマガジン2026年8月号記事一覧

• システム導入事例