Ollama 轻松玩转本地大模型，带你体验谷歌最强的gemma模型，部署私人ChatGPT

先说几个核心判断：本地运行大模型这事，门槛比想象中低不少。这篇虽然自称是随手笔记，但把从零搭建Ollama环境、拉取谷歌Gemma模型，再到配上Web UI的过程都串了一遍——截图不少，偶尔漏掉细节也正常，后续遇到问题可以在评论区交流。模型下载方面，如果网络环境受限，可以找我拿提前打包好的现成版本，省去拉模型的等待时间。

1. 安装Ollama

直接去Ollama官网，点击

进入下载页。选择 ，下载大小约170MB。安装很简单，一路下一步就好。完成后，Ollama会在后台运行，右下角出现一个图标，没有额外界面，也没有预装任何模型。你只有下载了某个模型才能开始使用。

目前支持的常见模型包括：llama2、谷歌的 gemma、通义千问 qwen 等。默认情况下Ollama已加入系统环境变量，直接在命令行里就能调用相关指令，比如查看版本、启动服务、下载和运行模型。

ollama --version          # 查看ollama版本
ollama server             # 启动后台服务
ollama list               # 列出当前已下载的模型
ollama run gemma:7b       # 运行gemma 7b模型（本地没有时会自动下载）

模型支持的大致清单如下图：

2. 安装Gemma模型

Gemma是谷歌推出的一组轻量级开源生成式AI模型，基于Gemini技术，适合在移动设备、桌面甚至硬件上直接跑。你可以对它们进行微调，用在特定任务上，比如文本生成、问答等。

具体安装步骤：在Ollama官网右侧点击

→ 选择 → 点击 标签页，这里列出了Ollama支持的所有Gemma版本。选 ，复制旁边的命令 ollama run gemma:7b。然后打开命令行（建议在Ollama安装目录下运行），粘贴并执行这条命令，模型大小约5GB+，下载时间取决于网速。完成后，Gemma 7b模型就装好了。

3. Gemma模型测试

在命令行里直接进入交互模式：

ollama run gemma:7b

然后就可以提问了，比如用中文问“如何学习好英语，看电影美剧有帮助吗？”这里展示下它的回答（保留了原文的完整输出）：

如何学习好英语，看电影美剧有帮助吗？

学习英语，看电影美剧可以帮助提高英语水平，但不是唯一方法。以下方法可以帮助你学习英语：

• 听英语广播和podcast可以帮助你提高听说能力，并帮助你学习新的词汇和语法。

• 看英语电影和电视节目可以帮助你提高你的词汇和语法能力，以及你的听力和语速能力。
• 在看电影和电视节目时，可以先看字幕，然后慢慢去掉字幕。

• 阅读英语书籍和文章可以帮助你提高你的词汇和语法能力，以及你的阅读速度和理解能力。
• 可以从简单的书籍和文章开始，逐渐增加难度。

• 和英语母语人交谈可以帮助你提高你的口语能力，以及你的语法和词汇能力。
• 你可以找到很多在线或当地的英语学习交谈平台。

• 使用英语学习应用和网站
• 寻找英语学习资源，例如在线课程、视频和文章
• 在你的日常活动中使用英语，例如与朋友交谈、阅读新闻和博客、在网上购物等
• 设定目标，并坚持完成它们

看电影美剧可以帮助提高英语水平，但不是唯一方法。电影中使用的语言可能与实际生活中的语言略有不同，但可以帮助你学习新的词汇和语法，以及提高你的听力和语速能力。

• 不应该依赖电影和电视节目来学习英语，应该结合其他方法。
• 在看电影和电视节目时，应该集中注意力，并记录新的词汇和语法。
• 不应该依赖字幕，应该尝试听英文 without subtitles。
• 在学习英语时，应该坚持练习，不要害怕犯错。

回答得相当规整，对中文支持也流畅。当然，小模型（7b）偶尔也会抽风，输出不靠谱的内容。

关于硬件需求：7b模型至少需要一张8GB显存的N卡。实测8GB显卡在提问时显存几乎跑满。如果显卡容量不够，可以考虑更小体积的模型（比如2b版本）。另外有说法指出主要瓶颈是内存而非显存，这个说法目前还没有完全验证，大家可以自己再试试。

4. 安装Pinokio（获取Web UI）

纯命令行交互毕竟不够直观，想要一个类似ChatGPT的Web界面，常用的方法是借助Docker拉取

。但Docker也有学习成本，更直接的办法是通过 这个工具来一键安装Open WebUI，从而给Ollama配上图形化管理界面。

去Pinokio官网下载Windows版本（Download → Windows版），解压运行。首次进入后点击

，在页面下方找到 项目（这就是Ollama的Web端），点进去，再点击下载。安装过程中会先要求安装Python环境和Git等依赖，一步步装完后，最后安装Open WebUI。安装成功后，点击 启动服务，然后访问本地地址 127.0.0.1:8000。

首次访问需要注册一个本地账号（随便写，不会上传远端）。登录后，在模型下拉列表里选中

，现在就可以像使用ChatGPT一样提问了。

另外，Web UI还支持上传PDF文件并进行分析（这里没演示细节，值得自行探索）。

Lla va多模态模型（旁注）

这个是多模态模型（能看图理解），还没完全研究透，先留个记录：使用 ollama run lla va:7b 下载并运行。目前跳过，不展开。

5. 模型存储目录迁移

默认情况下模型存放在用户目录下的 .ollama 文件夹里，一个模型动辄几个G甚至十几G，很占C盘空间。可以通过设置环境变量

来改变存储路径。例如将其设为 H:ollama_models，然后重启Ollama服务。但如果之前已经下载过模型，需要手动把原目录下的模型文件整体复制到新路径，否则新位置下会找不到已有模型，只能重新下载。

6. 注意事项

1. 运行Web UI时，后台的Ollama服务必须处于开启状态，否则无法正常工作。
2. 手动迁移模型文件后，首次运行可能会慢一些（需要重新加载索引）。
3. 下载模型依赖网络状况，如果连不上远程仓库，我可以提供Gemma 7b的打包文件（网盘分享），下载后解压到指定目录即可。
4. 安装Open WebUI需要访问GitHub，同样可能遭遇网络问题，必要时需配置袋里。
5. 建议配备N卡，显存至少4GB以上（但7b模型需要8GB），这一点有待更多实测验证。