cowx的笔记页

Ollama部署配置

4 min read

1.windows初始配置

强制让ollama使用显卡

变量名：CUDA_VISIBLE_DEVICES 变量值：0

强制让模型始终加载在显存

变量名：OLLAMA_KEEP_ALIVE **变量值：-1

或者某一个模型运行

ollama run qwen3:8b --keep-alive -1
# 或者
ollama run qwen3:8b --keep-alive 24h

列举ollama,清理ollama

ollama list

ollama ps

ollama stop qwen3:8b

2.WSL2

开启功能

# 第1步：开启 WSL 功能（Win10 必须先手动开）
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
 
# 第2步：开启虚拟机平台（必须）
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
 
# 第3步：重启电脑（这一步必须重启！）

安装WSL2 + Ubuntu

wsl --install

后面让输入用户名和密码

WSL2 安装Ollama

# 1. 更新系统（第一次建议跑一下，很快）
sudo apt update && sudo apt upgrade -y

# 2. 安装 Ollama（官方一键脚本）
curl -fsSL https://ollama.com/install.sh | sh


# 1. 先彻底停掉ollama服务
sudo systemctl stop ollama

# 2. 把默认的 .ollama 目录整个移到你F盘（如果已经有就跳过）
sudo mv /usr/share/ollama/.ollama /mnt/f/Knowledge/Models/.ollama_default   # 如果报错不存在就忽略

# 3. 创建符号链接（关键！）
sudo ln -s /mnt/f/Knowledge/Models /usr/share/ollama/.ollama

# 4. 给ollama用户权限（必须这一步！）
sudo chown -R ollama:ollama /mnt/f/Knowledge/Models

# 5. 重启服务
sudo systemctl start ollama

# 6. 等5秒看看
sleep 5
ollama list

运行模型

# 开机自启
sudo systemctl enable ollama

# 手动启动
sudo systemctl start ollama

# 运行
ollama run qwen3:8b

# 停止
ollama stop qwen3:8b


### 模型常驻

保存根目录C:\ollama-service.txt
```笔记本
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/mnt/f/Knowledge/Models"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

# 第一行：直接把文件内容覆盖到 ollama 服务里 + 开机自启 
wsl -d Ubuntu -u root bash -c "systemctl enable --now ollama && cat /mnt/c/ollama-service.txt > /etc/systemd/system/ollama.service && systemctl daemon-reload"
 
# 第二行：重启 WSL 让一切生效 
wsl --shutdown

聊一次天让他常驻

wsl -d Ubuntu ollama run qwen3:8b 你好

模型上下文调整

上下文长度 (num_ctx)模型基础显存KV Cache (上下文)预估总显存需求推荐显卡
2048 (默认)~5.0 GB~0.5 GB~5.5 GB6G / 8G 显存
8192 (8k)~5.0 GB~1.5 GB~6.5 GB8G / 12G 显存
32768 (32k)~5.0 GB~6.0 GB~11.0 GB12G / 16G 显存
65536 (64k)~5.0 GB~12.0 GB~17.0 GB24G (3090/4090)
131072 (128k)~5.0 GB~24.0 GB+> 29.0 GB双卡 3090 或 48G 显存
sudo sh -c 'echo "[automount]\noptions = \"metadata\"" >> /etc/wsl.conf'

(这行命令的作用是往配置文件里写入两行代码，告诉 WSL：“挂载 Windows 硬盘时，请允许我模拟 Linux 的权限管理”)

# 去cmd
wsl --shutdown

# 创建一个文件，命名Modelfile
FROM qwen3:8b
PARAMETER num_ctx 32768

# 进入目录
sudo chown -R ollama:ollama /mnt/f/Knowledge/Models

# 修正
cd /mnt/f/Knowledge/Models

# 使用 printf 确保格式带有换行符
printf "FROM qwen3:8b\nPARAMETER num_ctx 32768\n" > Modelfile

# 创建
ollama create qwen3:8b-32k -f Modelfile

Graph View