Ollama 本地大模型 深度学习指南

Ollama 学习路线

Ollama让在本地运行大语言模型变得简单，本文提供完整学习资料。

官方资源

1. 官方文档

• Ollama 官网
• GitHub 仓库
• API 文档
• 模型库

安装与配置

安装

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 下载安装包：https://ollama.com/download

基本命令

# 运行模型
ollama run llama3.2

# 拉取模型
ollama pull llama3.2

# 列出模型
ollama list

# 删除模型
ollama rm llama3.2

# 显示模型信息
ollama show llama3.2

常用模型

API 使用

REST API

# 生成
curl http://localhost:11434/api/generate -d "{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?"
}"

# 对话
curl http://localhost:11434/api/chat -d "{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "Hello!"}
  ]
}"

Python 客户端

# 安装
pip install ollama

# 使用
import ollama

response = ollama.chat(model="llama3.2", messages=[
    {"role": "user", "content": "Hello!"}
])
print(response["message"]["content"])

# 流式输出
for chunk in ollama.chat(model="llama3.2", 
    messages=[{"role": "user", "content": "Tell a story"}],
    stream=True):
    print(chunk["message"]["content"], end="")

自定义模型

Modelfile

# Modelfile
FROM llama3.2

# 设置系统提示
SYSTEM You are a helpful coding assistant.

# 调整参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9

# 设置停止词
PARAMETER stop "<|endoftext|>"

# 创建自定义模型
ollama create mymodel -f Modelfile

与框架集成

• LangChain + Ollama
• LlamaIndex + Ollama