Ollama部署

本地大模型部署的便捷工具

工具介绍

Ollama是一个轻量级的本地大模型运行工具，支持一键下载和运行各种开源模型。无需复杂配置，适合个人开发者和轻量级应用场景。

简单

一键安装运行

跨平台

Mac/Linux/Windows

丰富

支持众多模型

安装方法

macOS

# 官网下载安装包

https://ollama.ai/download

# 或使用Homebrew

brew install ollama

Linux

curl -fsSL https://ollama.ai/install.sh | sh

Windows

# 下载安装包或使用WSL2

https://ollama.ai/download

常用命令

# 运行模型

ollama run llama3

# 列出已下载模型

ollama list

# 拉取模型

ollama pull mistral

# 删除模型

ollama rm llama3

# 查看模型信息

ollama show llama3

支持的热门模型

llama3 / llama3:70b

mistral

qwen2

deepseek-coder

codellama

phi3

gemma

mixtral

API调用

# REST API (默认端口11434)

curl http://localhost:11434/api/generate -d '{"

"model": "llama3",

"prompt": "Hello, how are you?"

# Python SDK

import ollama

response = ollama.chat(model='llama3', messages=[

{`"role": "user", "content": "Hello"`}

])

自定义模型

创建Modelfile自定义模型行为：

FROM llama3

PARAMETER temperature 0.7

SYSTEM You are a helpful assistant.

# 创建自定义模型

ollama create my-model -f Modelfile

----