使用Ollama搭建本地模型库
最近deepseek炒的比较火热,热度有超过openai的趋势,毕竟是国内公司的产品,也算是国内用户的福音了,我也用了下,感觉各方面很不错,对比国内其它AI模型要好得多,deepseek有免费额度,当然收费也不贵,主要使用官方网页版太慢了,有时候无法使用,所以我们肯定是要采取其它途径,比如使用API方式来接入,具体就不多说了,DeepSeek官网文档说的很清楚。
软件工具
此前我一直使用的OpenAi,借助ChatBox和NextApi这两款开源工具来配合使用(无需魔法),当然还有LobeHub也很不错。NextApi可私有部署,之前我也分享过,只不过这款产品被卖掉了,也超过三个月没有更新了,所以并不支持市面上新出的模型,比如DeepSeek,当然使用OpenAi还是没问题的,基本上常用模型都有,我最常用的还是ChatBox了,一直在更新,市面上主流的模型都支持,友好的UI和简单的配置就可上手使用,非常方便,有兴趣的伙伴可以去看看ChatBox,闲话说的有点多了,有点儿偏题了,回到Ollama上来。
Ollama是什么?
Ollama是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,比如Llama、Qwen、DeepSeek
等。这个工具支持Windows、MacOS、Linux
等操作系统。
本地模型的好处?
现在有越来越多的开源模型,可以在自己的电脑或服务器上运行。使用本地模型有许多优势:
- 完全离线运行,保护隐私数据安全
- 无需支付在线 API 费用
- 完全离线,服务稳定,无网络延迟
- 可以自由调整和定制模型参数
(注意:运行本地模型对你的电脑配置有一定要求,包括内存、GPU 等。如果出现卡顿,请尝试降低模型参数。)
以下Ollama运行的服务都要结合现有工具配套使用,如上面提到的ChatBox、LobeHub等
安装Ollama

下载并安装Ollama后,请打开命令行终端,输入命令下载并运行本地模型。你可以在这里查看到所有ollama支持的模型列表:Ollama模型列表
举例1:下载并运行llama3.2模型
ollama run llama3.2
举例2:下载并运行 deepseek-r1:8b 模型(注意:Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型)
ollama run deepseek-r1:8b

以上都配置好后,借助本地工具,将Host和模型选好,就可以使用了
Ollama远程服务
除了可以使用本地Ollama服务,也可以连接运行在其他机器上的远程Ollama服务。
例如,你可以在家中的电脑上运行 Ollama 服务,并在手机或其他电脑上使用 Chatbox 客户端连接到这个服务。
你需要确保远程Ollama服务正确配置并暴露在当前网络中。默认情况下,需要对远程Ollama服务进行简单的配置。
配置远程 Ollama 服务?
默认情况下Ollama服务仅在本地运行,不对外提供服务。要使Ollama服务能够对外提供服务,你需要设置以下两个环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
注意事项
- 可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。
- 为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭Wifi网络是一个相对安全的环境。
参考:Ollama服务配置
空空如也!