基础命令
模型管理
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | # 拉取模型ollama pull <模型名>ollama pull llama2 # 拉取 Llama 2ollama pull qwen:7b # 拉取通义千问 7Bollama pull qwen2.5:7b # 拉取 Qwen2.5 7Bollama pull deepseek-r1:7b # 拉取 DeepSeek-R1# 运行模型ollama run <模型名>ollama run llama2 # 运行模型并进入交互模式# 列出已安装模型ollama list# 查看模型详情ollama show <模型名># 删除模型ollama rm <模型名> |
模型创建与自定义
1 2 3 4 | # 从 Modelfile 创建模型ollama create <新模型名> -f ./Modelfile# 复制模型ollama cp <源模型> <目标模型> |
服务管理
启动服务
1 2 3 4 5 6 7 8 9 | # 前台启动服务ollama serve# 后台启动(Linux/macOS)ollama serve &# 作为系统服务(Linux)sudo systemctl start ollamasudo systemctl stop ollamasudo systemctl restart ollamasudo systemctl status ollama |
服务配置
1 2 3 4 | # 设置环境变量export OLLAMA_HOST=0.0.0.0:11434 # 监听所有网络接口export OLLAMA_MODELS=/path/to/models # 自定义模型存储路径export OLLAMA_KEEP_ALIVE=5m # 模型在内存中的保持时间 |
高级命令
模型操作
1 2 3 4 5 6 | # 停止运行中的模型ollama stop <模型名># 推送到仓库ollama push <用户名>/<模型名>:<标签># 从 Modelfile 构建ollama create example -f ./Modelfile |
Modelfile 示例
1 2 3 4 5 6 7 8 9 10 | FROM llama2# 设置参数PARAMETER temperature 0.8PARAMETER top_p 0.9# 设置系统提示词SYSTEM """你是一个有帮助的助手。"""# 导入模型权重# ADAPTER ./lora.bin |
API 相关
常用 API 端点
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | # 生成补全curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "为什么天空是蓝色的?"}'# 聊天模式curl http://localhost:11434/api/chat -d '{ "model": "llama2", "messages": [ {"role": "user", "content": "你好!"} ]}'# 列出本地模型curl http://localhost:11434/api/tags |
实用技巧
批量操作
1 2 3 4 5 6 7 8 9 | # 批量拉取常用模型ollama pull llama2ollama pull mistralollama pull qwen:7bollama pull neural-chat# 查看所有命令帮助ollama --help# 查看特定命令帮助ollama run --help |
模型运行参数
1 2 | # 运行并设置参数ollama run llama2 --temperature 0.5 --top_p 0.9 --num_predict 512 |
常用模型推荐
1 2 3 4 5 6 7 8 9 10 | # 聊天对话ollama run llama2 # Meta 的 Llama 2ollama run qwen:7b # 阿里通义千问ollama run deepseek-r1 # DeepSeek 推理模型# 代码生成ollama run codellama # 代码专用模型# 数学推理ollama run wizard-math # 数学推理模型# 中文优化ollama run qwen2.5 # 最新的 Qwen2.5 系列 |
故障排查
1 2 3 4 5 6 7 | # 查看日志journalctl -u ollama -f # Linux systemd 日志tail -f ~/.ollama/logs/server.log # 直接查看日志文件# 测试连接curl http://localhost:11434# 重置数据rm -rf ~/.ollama/models/* # 清理所有模型 |
这些命令覆盖了 Ollama 的日常使用场景。需要我详细解释某个命令或功能的用法吗?
好的,我来详细解释每个主要命令的用法和场景:
好的,我来详细解释每个主要命令的用法和场景:
详细命令解析
1. ollama pull - 下载模型
1 2 3 4 5 6 7 8 | # 基本用法ollama pull llama2# 指定版本标签ollama pull llama2:7b # 7B 参数版本ollama pull llama2:13b # 13B 参数版本ollama pull llama2:latest # 最新版本# 从私有仓库拉取ollama pull myregistry.com/mynamespace/mymodel:latest |
实际应用场景:
首次使用某个模型时需要拉取
更新已下载的模型版本
准备离线环境时预先下载
2. ollama run - 运行模型
1 2 3 4 5 6 7 8 9 10 11 | # 交互式聊天模式ollama run llama2>>> 你好! # 直接输入内容对话>>> /help # 查看内置命令>>> /exit # 退出# 单次查询模式ollama run llama2 "Python 中如何读取文件?"# 带参数运行ollama run llama2 --temperature 0.7 --num-predict 2048# 从文件输入ollama run llama2 < input.txt |
内置命令:
1 2 3 4 5 6 7 8 | # 在对话界面中可以使用/help # 显示帮助/set temperature 0.8 # 设置温度参数/set system "你是助手" # 设置系统提示词/save session1 # 保存当前会话/load session1 # 加载历史会话/clear # 清除上下文/exit # 退出 |
3. ollama create - 创建自定义模型
1 2 3 4 | # 从 Modelfile 创建ollama create mymodel -f ./Modelfile# 从已有模型创建ollama create mymodel --from llama2 |
Modelfile 详细示例:
dockerfile
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | # 基础模型FROM qwen:7b# 调整模型参数PARAMETER temperature 0.7PARAMETER top_p 0.9PARAMETER top_k 40PARAMETER num_ctx 4096 # 上下文长度PARAMETER num_predict 1024 # 最大生成长度PARAMETER repeat_penalty 1.1 # 重复惩罚# 系统提示词SYSTEM """你是一个专业的编程助手,擅长 Python 和 Web 开发。回答要简洁准确,必要时提供代码示例。"""# 模型模板TEMPLATE """### 用户问题:{{ .Prompt }}### 助手回答:"""# 消息历史格式MESSAGE system 你是一个助手MESSAGE user 你好MESSAGE assistant 你好!有什么可以帮你?# 指定 LoRA 适配器(如果有)ADAPTER ./my-lora-adapter.bin# 指定许可证LICENSE MIT |
4. ollama serve - 启动服务
1 2 3 4 5 6 7 8 9 10 11 | # 默认启动(监听 127.0.0.1:11434)ollama serve# 允许外部访问export OLLAMA_HOST=0.0.0.0:11434ollama serve# 指定模型存储路径export OLLAMA_MODELS=/data/ollama/modelsollama serve# 设置并发处理export OLLAMA_NUM_PARALLEL=4ollama serve |
作为服务运行(Linux):
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | # 创建 systemd 服务sudo nano /etc/systemd/system/ollama.service[Unit]Description=Ollama ServiceAfter=network-online.target[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_MODELS=/opt/ollama/models"ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3[Install]WantedBy=default.target# 启用服务sudo systemctl enable ollamasudo systemctl start ollama |
5. ollama list 和 ollama show
1 2 3 4 5 6 7 8 9 10 11 12 | # 列出所有模型ollama list# 输出示例:# NAME ID SIZE MODIFIED# llama2:7b xxxxxx 3.8G 2 days ago# qwen:7b yyyyyy 4.1G 5 hours ago# 查看模型详细信息ollama show llama2# 显示模型架构、参数、配置等# 查看 Modelfileollama show llama2 --modelfile# 显示创建该模型使用的配置 |
6. ollama push/pull - 模型仓库操作
1 2 3 4 5 6 7 8 | # 推送到 Ollama 仓库ollama push username/mymodel:latest# 推送到私有仓库ollama push myregistry.com/username/mymodel# 设置仓库认证export OLLAMA_REGISTRY_USER="username"export OLLAMA_REGISTRY_PASS="password"ollama push username/mymodel |
7. ollama cp/rm - 模型管理
1 2 3 4 5 6 7 8 9 10 | # 复制模型(创建新变体)ollama cp llama2:7b my-custom-llama# 删除模型ollama rm llama2:7bollama rm llama2:13bollama rm qwen:7b# 强制删除(忽略错误)ollama rm -f llama2:7b# 删除所有模型ollama list | tail -n +2 | awk '{print $1}' | xargs -I {} ollama rm {} |
实战场景示例
场景1:创建专用编程助手
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | # 1. 创建 Modelfilecat > Modelfile-python << 'EOF'FROM codellamaPARAMETER temperature 0.2PARAMETER num_predict 1024SYSTEM """你是一个 Python 专家,提供:1. 简洁的代码示例2. 解释工作原理3. 指出可能的错误"""EOF# 2. 创建模型ollama create python-helper -f ./Modelfile-python# 3. 运行测试ollama run python-helper "用 Python 实现快速排序" |
场景2:批量处理文本
1 2 3 4 5 6 7 8 9 10 11 12 | # 创建处理脚本cat > process_texts.sh << 'EOF'#!/bin/bashMODEL="llama2"while read -r line; do echo "处理: $line" ollama run $MODEL "总结这段文字: $line" echo "---"done < input.txtEOFchmod +x process_texts.sh./process_texts.sh |
场景3:API 服务器配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | # Python 客户端示例import requestsimport json# 生成回复response = requests.post('http://localhost:11434/api/generate', json={ "model": "llama2", "prompt": "写一首关于春天的诗", "stream": False })# 聊天模式response = requests.post('http://localhost:11434/api/chat', json={ "model": "llama2", "messages": [ {"role": "system", "content": "你是一个诗人"}, {"role": "user", "content": "写一首诗"} ], "stream": True }) |
场景4:性能调优
1 2 3 4 5 6 7 8 9 | # 生产环境配置export OLLAMA_HOST=0.0.0.0:11434export OLLAMA_MODELS=/mnt/fast-disk/ollama/models # 使用 SSDexport OLLAMA_KEEP_ALIVE=600s # 模型在内存中保持10分钟export OLLAMA_NUM_PARALLEL=4 # 并行处理数export OLLAMA_MAX_LOADED_MODELS=2 # 最多同时加载2个模型ollama serve# 性能测试time ollama run llama2 "Hello" |
常见问题解决
内存不足
1 2 3 4 | # 限制模型使用的内存ollama run llama2 --num-ctx 1024# 使用较小的量化版本ollama pull llama2:7b-q4_0 |
连接超时
1 2 3 4 | # 设置超时参数export OLLAMA_CONNECTION_TIMEOUT=300# 测试连接curl -m 300 http://localhost:11434/api/generate ... |
磁盘空间清理
1 2 3 4 | # 查看占用du -sh ~/.ollama/models/*# 清理未使用的模型ollama rm $(ollama list | grep "weeks ago" | awk '{print $1}') |
这些命令涵盖了从入门到进阶的用法。
本文由傻鸟发布,不代表傻鸟立场,转载联系作者并注明出处:https://shaniao.net/yingyong/689.html
macOS 安装使用 Ollama 完整手册
« 上一篇
暂无
下一篇 »
