ローカルLLM「Ollama」セットアップガイド / Ollama Local LLM Setup
- 日本語
- English
- 简体中文
🏠 完全無料・完全オフラインでAIを動かす
「APIキーも不要、インターネット接続も不要、費用もゼロ」——そんな夢のような環境が、Ollamaを使えば実現できます。あなたのPCのGPU(またはCPU)でLLMを直接動かすための方法を解説します。
Ollamaが最適なケース
- 機密データ(顧客情報、社内文書)を一切外部サーバーに送りたくない。
- API利用料金を完全にゼロにしたい。
- インターネットのない環境(飛行機内、オフラインサーバー)でもAIを使いたい。
モデルの比較
| モデル | サイズ | 必要VRAM | 得意なこと |
|---|---|---|---|
llama3.2:3b | 約2GB | 4GB〜 | 軽量な要約・分類 |
llama3.1:8b | 約5GB | 8GB〜 | 汎用タスク全般 |
gemma2:9b | 約5.5GB | 8GB〜 | 日本語の理解に強い |
codellama:13b | 約8GB | 16GB〜 | プログラミング支援 |
Step 1: Ollamaのインストール
Mac(推奨)
brew install ollama
その他(Linux / Windows)
https://ollama.com/download から公式インストーラーをダウンロードしてください。
Step 2: モデルのダウンロード
最初の起動時に、使いたいモデルをダウンロードします(一度ダウンロードすれば以降はオフラインで使用可能)。
# Ollamaサービスの起動
ollama serve
# 別のターミナルで、モデルをダウンロード
ollama pull llama3.1:8b
ダウンロード完了後、動作テスト:
ollama run llama3.1:8b "こんにちは、自己紹介をしてください。"
Step 3: OpenClawと接続する
OpenClawの設定で、ローカルのOllamaをLLMプロバイダーとして指定します。
{
"api_keys": {},
"providers": {
"default": {
"type": "ollama",
"base_url": "http://localhost:11434",
"model": "llama3.1:8b"
}
}
}
普段の軽作業はOllama(無料・オフライン)で、複雑な推論だけCerebras(無料・高速クラウド)に切り替えるハイブリッド構成が最もコスト効率が良い運用です。
🏠 Run AI Completely Free & Completely Offline
"No API key needed, no internet connection needed, zero cost"—this dream setup is achievable with Ollama. This guide explains how to run LLMs directly on your PC's GPU (or CPU).
When Ollama is the Best Choice
- You want to send zero sensitive data (customer info, internal docs) to external servers.
- You want API costs at absolute zero.
- You need AI in offline environments (airplanes, air-gapped servers).
Model Comparison
| Model | Size | Required VRAM | Strength |
|---|---|---|---|
llama3.2:3b | ~2GB | 4GB+ | Lightweight summaries |
llama3.1:8b | ~5GB | 8GB+ | General-purpose tasks |
gemma2:9b | ~5.5GB | 8GB+ | Strong Japanese |
codellama:13b | ~8GB | 16GB+ | Code generation |
Step 1: Install Ollama
Mac (Recommended)
brew install ollama
Others (Linux / Windows)
Download from https://ollama.com/download.
Step 2: Download a Model
Download the model you want on first launch (once downloaded, it works offline forever):
# Start the Ollama service
ollama serve
# In a separate terminal, pull the model
ollama pull llama3.1:8b
Test after download:
ollama run llama3.1:8b "Hello, please introduce yourself."
Step 3: Connect to OpenClaw
Configure OpenClaw to use your local Ollama as the LLM provider:
{
"api_keys": {},
"providers": {
"default": {
"type": "ollama",
"base_url": "http://localhost:11434",
"model": "llama3.1:8b"
}
}
}
Use Ollama (free/offline) for daily light tasks and switch to Cerebras (free/fast cloud) for complex reasoning. This hybrid setup is the most cost-efficient operational strategy.
🏠 完全免费、完全离线运行 AI
"不需要 API 密钥,不需要互联网连接,零成本"——通过 Ollama,这个梦想般的环境完全可以实现。本指南介绍如何在您 PC 的 GPU(或 CPU)上直接运行 LLM。
Ollama 适用的场景
- 您绝不想将任何敏感数据(客户信息、内部文件)发送到外部服务器。
- 您希望将 API 成本降到绝对的零。
- 您需要在离线环境中使用 AI(飞机上、无网络的隔离服务器等)。
模型对比
| 模型 | 大小 | 所需显存 | 擅长领域 |
|---|---|---|---|
llama3.2:3b | 约2GB | 4GB+ | 轻量级摘要和分类 |
llama3.1:8b | 约5GB | 8GB+ | 通用任务 |
gemma2:9b | 约5.5GB | 8GB+ | 日语理解能力强 |
codellama:13b | 约8GB | 16GB+ | 编程辅助 |
第一步:安装 Ollama
Mac(推荐)
brew install ollama
其他平台(Linux / Windows)
请从 https://ollama.com/download 下载官方安装程序。
第二步:下载模型
首次启动时下载所需模型(下载一次后即可永久离线使用):
# 启动 Ollama 服务
ollama serve
# 在另一个终端中,拉取模型
ollama pull llama3.1:8b
下载后测试:
ollama run llama3.1:8b "你好,请自我介绍一下。"
第三步:与 OpenClaw 连接
配置 OpenClaw 使用本地 Ollama 作为 LLM 提供商:
{
"api_keys": {},
"providers": {
"default": {
"type": "ollama",
"base_url": "http://localhost:11434",
"model": "llama3.1:8b"
}
}
}
日常轻量任务使用 Ollama(免费/离线),复杂推理任务切换到 Cerebras(免费/高速云端)。这种混合架构是最具成本效益的运营策略。