可通过Ollama在本地部署大模型:一、下载安装Ollama并验证版本;二、用ollama run拉取并运行llama3或phi3等模型,或ollama serve启动API服务;三、用Modelfile定制模型并创建;四、通过RESTful API调用;五、用ollama list/rm/ps管理模型与资源。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您希望在个人电脑上运行大语言模型而无需依赖云端服务,则可以通过 Ollama 在本地快速部署和管理多个开源大模型。以下是完成该目标的具体操作步骤:
一、下载并安装 Ollama
Ollama 是一个专为本地运行大语言模型设计的轻量级工具,支持 macOS、Windows(需 WSL2)和 Linux 系统,提供命令行接口与模型自动拉取功能。安装后即可直接调用模型,无需手动配置 CUDA 或 Python 环境。
1、访问 https://ollama.com/download,根据您的操作系统选择对应安装包。
2、macOS 用户双击 .pkg 文件,按向导完成安装;Windows 用户需先启用 WSL2,再运行 .exe 安装程序;Linux 用户执行官方提供的 curl 命令一键安装。
3、安装完成后,在终端或命令提示符中输入 ollama –version,确认返回版本号即表示安装成功。
二、拉取并运行基础大模型
Ollama 内置模型仓库,所有模型均通过简洁命令下载并加载到本地,模型文件默认缓存在用户目录下,后续调用无需重复下载。
1、在终端中执行 ollama run llama3,系统将自动拉取 Meta 的 Llama 3 模型(约 4.7GB),完成后进入交互式聊天界面。
2、若网络较慢,可改用更小体积的模型:执行 ollama run phi3,该模型仅需约 2.3GB 存储空间且对硬件要求更低。
3、如需后台运行模型供其他程序调用,使用 ollama serve 启动服务,此时 API 默认监听 http://127.0.0.1:11434。
三、使用自定义 Modelfile 构建专属模型
Modelfile 是 Ollama 的模型定义脚本,允许用户基于已有模型添加系统提示、调整参数或注入领域知识,从而生成定制化行为的本地模型。
1、新建文本文件,命名为 Modelfile,内容以 FROM llama3 开头,指定基础模型。
2、在下方添加 SYSTEM “你是一位专注解答编程问题的助手,回答需简洁、准确、不虚构信息。”,设定角色指令。