使用Ollama搭建本地模型库

最近deepseek炒的比较火热,热度有超过openai的趋势,毕竟是国内公司的产品,也算是国内用户的福音了,我也用了下,感觉各方面很不错,对比国内其它AI模型要好得多,deepseek有免费额度,当然收费也不贵,主要使用官方网页版太慢了,有时候无法使用,所以我们肯定是要采取其它途径,比如使用API方式来接入,具体就不多说了,DeepSeek官网文档说的很清楚。

软件工具

此前我一直使用的OpenAi,借助ChatBox和NextApi这两款开源工具来配合使用(无需魔法),当然还有LobeHub也很不错。NextApi可私有部署,之前我也分享过,只不过这款产品被卖掉了,也超过三个月没有更新了,所以并不支持市面上新出的模型,比如DeepSeek,当然使用OpenAi还是没问题的,基本上常用模型都有,我最常用的还是ChatBox了,一直在更新,市面上主流的模型都支持,友好的UI和简单的配置就可上手使用,非常方便,有兴趣的伙伴可以去看看ChatBox,闲话说的有点多了,有点儿偏题了,回到Ollama上来。

Ollama是什么?

Ollama是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,比如Llama、Qwen、DeepSeek等。这个工具支持Windows、MacOS、Linux等操作系统。

本地模型的好处?

现在有越来越多的开源模型,可以在自己的电脑或服务器上运行。使用本地模型有许多优势:

  • 完全离线运行,保护隐私数据安全
  • 无需支付在线 API 费用
  • 完全离线,服务稳定,无网络延迟
  • 可以自由调整和定制模型参数

(注意:运行本地模型对你的电脑配置有一定要求,包括内存、GPU 等。如果出现卡顿,请尝试降低模型参数。)

以下Ollama运行的服务都要结合现有工具配套使用,如上面提到的ChatBox、LobeHub等

安装Ollama

Ollama下载地址

下载并安装Ollama后,请打开命令行终端,输入命令下载并运行本地模型。你可以在这里查看到所有ollama支持的模型列表:Ollama模型列表

举例1:下载并运行llama3.2模型

ollama run llama3.2

举例2:下载并运行 deepseek-r1:8b 模型(注意:Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型)

ollama run deepseek-r1:8b

以上都配置好后,借助本地工具,将Host和模型选好,就可以使用了

Ollama远程服务

除了可以使用本地Ollama服务,也可以连接运行在其他机器上的远程Ollama服务。

例如,你可以在家中的电脑上运行 Ollama 服务,并在手机或其他电脑上使用 Chatbox 客户端连接到这个服务。

你需要确保远程Ollama服务正确配置并暴露在当前网络中。默认情况下,需要对远程Ollama服务进行简单的配置。

配置远程 Ollama 服务?

默认情况下Ollama服务仅在本地运行,不对外提供服务。要使Ollama服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

注意事项

  • 可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。
  • 为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭Wifi网络是一个相对安全的环境。

参考:Ollama服务配置

消息盒子
# 您需要首次评论以获取消息 #
# 您需要首次评论以获取消息 #

只显示最新10条未读和已读信息