t-log

Ollamaの環境構築をした

ローカルLLM 開発
目次

実行環境

項目詳細
OSWindows 11 + WSL2
コンテナDocker Desktop
GPUNVIDIA GeForce RTX 5090 Laptop GPU
メモリ64GB

Ollama は Docker コンテナとして動かしている。

使用モデル

qwen3:30b-a3b

ツール呼び出しに対応しているため選択。

環境構築手順

Windows + WSL2 + Docker + Ollama (Qwen3-30B-A3B)

1. Docker Desktop

  • 公式サイト からインストール
  • Settings → Resources → WSL Integration → Ubuntu を有効化

2. NVIDIA Container Toolkit（WSL2内）

Terminal window
# GPUドライバー確認
nvidia-smi


# リポジトリ追加
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg


curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list


# インストール・設定
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
  • 完了後 Docker Desktop を再起動（タスクトレイ → Restart）

3. Ollama コンテナ起動

Terminal window
mkdir -p ~/agent && cd ~/agent

docker-compose.yml を作成：

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped


volumes:
  ollama_data:
Terminal window
docker compose up -d

4. モデルのダウンロード

Terminal window
# 約19GB・時間がかかる
docker exec -it ollama ollama pull qwen3:30b-a3b

5. 動作確認

Terminal window
# API確認
curl http://localhost:11434/api/tags


# チャットテスト
curl http://localhost:11434/api/chat \
  -d '{
    "model": "qwen3:30b-a3b",
    "think": false,
    "stream": false,
    "messages": [{"role": "user", "content": "こんにちは"}]
  }'

感想

とりあえずローカルLLMサーバーを建てて動作確認まですることができたので、次は呼び出し可能なツールの実装をしたい。 また、今回はOllama+qwen3:30b-a3bという組み合わせで試してみたが、他のモデルやプラットフォームとも比較したい。