总结

Ollama 默认直接支持很多模型，只需要一条简单的 `ollama run` 命令就能搞定。比如这样： ``` ollama run gemma:2b ``` 就可以直接安装、启动并使用对应的模型了。 通过这种方式直接支持的模型，可以在 Ollama 的官方模型库（https://ollama.com/library）里找到。不过问题来了——Hugging Face 上有数万个模型（https://huggingface.co/models），Ollama 官方列表显然不可能全覆盖。那么，要如何支持那些不在默认列表里的模型？ ## 模型选择 这次我们选一个比较特殊的模型来做演示：**CausalLM-14B**（https://huggingface.co/TheBloke/CausalLM-14B-GGUF）。它的特点是没有内容审核限制。 这个模型是在 Qwen-14B 的基础上，部分借用了 Qwen-14B 的权重，又加入了一些中文数据集，最终炼出了一个“无审核”版本。经过量化之后，完全可以在本地运行，隐私方面也更有保障。 考虑到大多数人本地机器的配置，这里用 7B 的版本演示就好：https://huggingface.co/TheBloke/CausalLM-7B-GGUF 至于 GGUF 格式的说明，可以参考专门的文档。我们这次使用的是 `causallm_7b.Q5_K_S.gguf` 这个文件，作者对它的评价是：“体积大，质量损失小，推荐使用”。直接下载到本地即可。 ## Ollama 加载GGUF模型文件 用 Ollama 加载自定义模型文件其实也很容易，分三步走。 ### 1、创建模型配置文件 先创建一个模型配置文件，比如命名为 `causallm7bq5.mf`，文件内容就写一行： ``` FROM ./causallm_7b.Q5_K_S.gguf ``` 这里的 `FROM` 参数用来指定要加载的具体模型文件路径。 ### 2、构建对应的Ollama模型 接下来，用以下命令来构建模型： ``` cd githubollama ollama create c7b -f ./causallm7bq5.mf ``` 这里的 `c7b` 就是我们在 Ollama 中给这个模型起的别名。这个命令的通用格式是： ``` ollama create choose-a-model-name -f ``` ### 3、使用这个模型 模型构建完成之后，就可以直接用了。因为是无内容审核的模型，玩法就自由多了： ``` ollama run c7b "请写一个情色幽默笑话" ``` 每次运行得到的结果都不太一样——毕竟这些模型本质上是随机的。下面是我某次尝试时得到的输出： （此处应有图片） 不同的尝试会带来不同的惊喜。当然，考虑到训练数据的差异，使用不同的关键字 Prompt，效果可能截然不同。 ## 模型配置常见的参数 熟悉了基本流程之后，不妨来看看已有模型的 Modelfile 长什么样，从中可以学到很多配置技巧。 ### 查看默认模型的底层Modelfile 使用 `ollama show` 可以打印任何本地模型的 Modelfile，比如： ``` ollama show --modelfile gemma:2b ``` 命令输出结果如下： ``` # Modelfile generated by "ollama show" # To build a new Modelfile based on this one, replace the FROM line with: # FROM gemma:2b FROM C:UsersAdministrator.ollamamodelsblobssha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12 TEMPLATE """user {{ if .System }}{{ .System }} {{ end }}{{ .Prompt }} model {{ .Response }} """ PARAMETER repeat_penalty 1 PARAMETER stop "" PARAMETER stop "" ``` ### Modelfile 指令介绍 上面的例子涉及下面几个关键指令： #### FROM (必需) `FROM` 指令定义创建模型时要使用的基本模型。可以是绝对路径或相对路径的文件名，也可以直接指定模型名和 TAG 标签。下面几种写法都行： ``` FROM : FROM llama2 FROM ./ollama-model.bin ``` #### TEMPLATE `TEMPLATE` 指令用来传递完整的提示模板。它可以包含（可选）系统消息、用户消息和模型的响应。注意：语法可能因模型而异，模板使用 Go 模板语法。 详细的说明可以参考官方文档：https://github.com/ollama/ollama/blob/main/docs/modelfile.md#template #### PARAMETER `PARAMETER` 指令定义了模型运行时可以设置的参数，格式为： ``` PARAMETER ``` 上面示例中涉及的参数包括： - `stop`：设置停止序列。当遇到此模式时，LLM 会停止生成文本并返回。可以通过在模型文件中指定多个单独的 stop 参数，设置多个停止模式。 - `repeat_penalty`：设置惩罚重复的强度。较高的值（如 1.5）会对重复进行更严厉的惩罚，较低的值（如 0.9）则更宽松，默认值为 1.1。 更多参数可以查阅：https://github.com/ollama/ollama/blob/main/docs/modelfile.md#valid-parameters-and-values ## 总结 通过简单的 `ollama run` 命令，可以快速安装、启动和使用各种官方支持的模型。对于 Ollama 不直接支持的模型，通过设置模型配置文件就能灵活加载。这正是 Ollama 强大的地方——它让我们能够方便地探索和利用各类模型，为各种应用场景找到最合适的解决方案。