为什么不推荐个人本地部署大语言模型？模型供应商推荐
随着Deepseek的爆火，大型语言模型（LLM）再次成为热门话题。作为一名深度用户，我近期投入了大量时间学习相关内容，并尝试了多种本地部署开源模型的方法，如使用Ollama。然而，实际使用中发现，本地部署存在诸多不足，尤其不适合个人或小型企业。本文将探讨本地部署大模型的主要缺点，并提出更优的解决方案，同时推荐一些优秀的模型供应商。
明确使用大模型的目的
在决定是否本地部署大模型之前，首先需要明确使用目的。如果仅仅是进行对话或聊天，直接使用各大模型的在线平台即可，无需涉及复杂的本地部署或API调用。然而，如果计划基于大模型进行二次开发，特别是在公司或行业特定领域进行私有化部署，那么就需要考虑是否采用本地部署或API调用。
本都部署大语言模型的局限性
目前，较为流行的开源模型部署平台包括Ollama和LM Studio。Ollama通过简单的命令行指令即可下载模型，而LM Studio则提供了图形用户界面。两者的共同点在于都需要将模型下载到本地，这对计算机的显存、内存和CPU提出了较高要求。以Ollama中的Deepseek-r1为例，普通PC在运行8B模型时已显得力不从心，响应速度缓慢。若部署在Linux服务器上，成本将大幅增加。虽然可以使用蒸馏后的1.5B模型，但效果大打折扣，且我后续推荐的模型供应商免费提供1.5B模型的API接口。
模型供应商选择
模型供应商很多，我们应该如何选择呢，首先需要找到模型供应商有哪些，可以在 dify 或者 cherry studio 服务商页面去找。
打开 dify 设置，选择模型供应商，我们可以看到有在线有本地的。
感兴趣的可以一个一个尝试，本文推荐使用硅基流动（SiliconFlow），也欢迎读者留言分享其他优秀的模型供应商。
硅基流动
硅基流动（SiliconFlow）致力于加速AGI的普及，让生成式人工智能惠及开发者和终端用户。其模型广场几乎涵盖了市面上所有的开源模型，包括Deepseek-r1，提供收费和免费选项。注册用户可获得14元赠金，与Deepseek官方相当，个人用户基本可以免费调用API一个月以上。此外，硅基流动还提供许多免费模型，如Qwen 2.5-7B、Deepseek Janus-Pro-7B，足以满足学习和调试的需求。
Api 怎么用？
模型API提供了对模型的所有权限，我们可以利用Cline构建智能编码IDE，在VBA中使用宏调用API创建智能办公组件，或使用Dify、AnythingLLM、Cherry Studio等工具构建知识库应用、聊天机器人、Agent、工作流等。当然，也可以直接通过代码调用API。本文将以硅基流动（SiliconFlow）和Cherry Studio为例，快速构建一个聊天机器人。
前期准备
- 下载Cherry studio
- 注册硅基流动（siliconflow）
Cherry studio 介绍
Cherry Studio 是一个支持多模型服务的桌面客户端，在 github 上有 5.7 k 的 star。
Cherry studio 制作基于本地知识库的聊天机器人
- 在硅基流动模型广场点击 api 密钥，生成 api key。
- 在Cherry studio 点击设置 -模型服务中选择硅基流动添加模型，必须添加一个文本嵌入模型（我使用的是有道的免费版）。
- 在知识库界面添加知识库，素材可以是文件、网址、网站、笔记。
模型使用并调用知识库
在模型对话界面选择合适的模型，点击知识库图标，开始对话。
邀请链接
最近硅基流动在做推广活动，用下面的链接注册，就可以获得2000万Tokens（14元平台配额），如果需要，就用下面的链接注册吧，嘿嘿~
模型邀请链接：
https://cloud.siliconflow.cn/i/p61lgKxB
邀请码：p61lgKxB
最后我想说的是，学会调用 api 才是解决问题的方法，api 供应商越来越多，竞争越来越激烈，价格会越来越低，我们只需要学会如何使用，出现好用且便宜的服务商直接替换就好了，保持关注。
BY
如果你觉得有用，请关注，评论，转发，谢谢~
微信公众号：环境猫 er
CSDN : 细节处有神明
个人博客： https://maoyu92.github.io/