教会你本地化部署专属于自己的DeepSeek R1模型

🤖 由 706资源网大模型 生成的文章摘要
此内容根据文章生成,并经过人工审核,仅用于文章内容的解释与总结

这几天看到很多DeepSeek的热点新闻(火的不行呀),去了解下这个AI,然后自己试了下本地部署,发现挺简单的,所以记录一下,这里示例的是最简单的方式,没有使用到Docker容器,也不需要魔法上网,计算机小白按照步骤点点点也可以独立完成部署。

本地化部署的好处:

不用排队,响应快,不怕DeepSeek服务关闭了导致无法使用。

隐私性强,不用担心自己的数据会被上传到第三方。

可以自由投喂训练数据,生成专属于自己的大模型。

准备工具

Ollama:用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。

官网地址:https://ollama.com/

ChatBox AI:一款用于接入各种大模型的客户端,可以在使用大模型AI时更方便、美观。就是一个UI客户端,用起来更方便快捷。

官网地址:https://chatboxai.app/zh

首先先下载Ollama,进入官网,官网地址:https://ollama.com/,点击Download

教会你本地化部署专属于自己的DeepSeek R1模型

这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载

教会你本地化部署专属于自己的DeepSeek R1模型

下载好了就是安装了,注意Ollama默认安装是在C盘的,以及下载的大模型数据包也是默认在C盘,所以一定要注意自己C盘的存储空间够用,当然我们也有方式改变他的安装路径的(看这里https://www.cnblogs.com/LaiYun/p/18696931),如果不想折腾的可以直接点击安装就可以了。

然后Ollama就会进入安装,点击Install后,Ollama安装好了就会自动启动。

教会你本地化部署专属于自己的DeepSeek R1模型

安装好Ollama后Windows+R,输入CMD进入命令窗口

教会你本地化部署专属于自己的DeepSeek R1模型

输入:ollama -v 有版本号就说明安装好了,在任务栏右下角有个羊驼的图标。

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

下载DeepSeek R1模型

在Ollama官网点击Models,选择 deepseek-r1

教会你本地化部署专属于自己的DeepSeek R1模型

这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数,其他自己换算下,对应的资源和模型我放个图,大家自己对应下。

教会你本地化部署专属于自己的DeepSeek R1模型

感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1

教会你本地化部署专属于自己的DeepSeek R1模型

如图所示,复制Ollama选中模型对应的下载命令。

教会你本地化部署专属于自己的DeepSeek R1模型

粘贴到命令窗回车执行,下载过程中可能会遇到报错,就重复再粘贴一次下载命令然后再回车执行。有时网络不稳定是会这样,多试几次就可以。

教会你本地化部署专属于自己的DeepSeek R1模型

然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈。

教会你本地化部署专属于自己的DeepSeek R1模型

但是这样在CMD窗口使用很不方便和美观,接下来我们就会用到ChatBox接入大模型了。

安装ChatBox AI并接入DeepSeek

下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过。

教会你本地化部署专属于自己的DeepSeek R1模型

选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

到了这里,我们进行提问,可能会遇到报错。

教会你本地化部署专属于自己的DeepSeek R1模型

这里我们点击我的电脑,右键属性–>高级系统设置–>环境变量

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

新建两个环境变量

OLLAMA_HOST:0.0.0.0

OLLAMA_ORIGING:*

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

设置完环境变量后退出一下Ollama,然后重新启动下Ollama。

教会你本地化部署专属于自己的DeepSeek R1模型

重启Ollama

教会你本地化部署专属于自己的DeepSeek R1模型

开始提问

回到ChatBox,到这里就可以开始提问啦,但是我下载的这个是最小的模型,貌似知识库有点旧,我问了今天是几月几日,他回答是2023年1月27日,实际今天是2025年1月30日,实际推理能力我没测试,大家可以试试。

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

到这里就完成全部本地化部署了。

删除大模型资源包

再讲下如何删除大模型数据包,因为可能有的朋友不听劝或者没注意看模型所需资源要求,导致下载了与自己电脑资源不对应的模型包,电脑无法跑起来,这时候需要删除模型资源包。

打开CMD命令窗口,输入:Ollama list

教会你本地化部署专属于自己的DeepSeek R1模型

这样就会显示你安装了的所有大模型资源包,复制对应的大模型资源包名称

再输入:ollama rm deepseek-r1:1.5b

语法:ollama rm 模型资源包名称

教会你本地化部署专属于自己的DeepSeek R1模型

删除完后,再输入Ollama list查看下大模型资源包确认下是否删除,如果没有了大模型资源包的名称了,就确认是完全删除了,到这里大模型资源包就完全删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。

如果需要在外网使用,大家可以查下如何做内外网穿透。

还有一个在线调用DeepSeek API的教程,就是在ChatBox这里选择DeepSeek,然后放入自己的DeepSeek API的Key就可以了,现在注册DeepSeek有免费500万token送,但仅限一个月内使用。

教会你本地化部署专属于自己的DeepSeek R1模型

ChatBox还可以创建自己的智能体,输入智能体名称和人物设定就保存可以啦。

教会你本地化部署专属于自己的DeepSeek R1模型

教会你本地化部署专属于自己的DeepSeek R1模型

其实还可以语音交流提问的,但这个就要用到Docker容器了,我没测试这方面,具体方式大家可以搜搜哈,也比较简单的。

最后再附上DeepSeek的官网地址,不会折腾的小伙伴也可以直接使用官方联网的AI,手机上也可以搜索DeepSeek下载APP安装。

DeepSeek官网地址:https://www.deepseek.com/

相关声明 1、本站名称:706资源网
2、本站永久网址:https://www.70666.cn
3、通过小程序和积分即可免费获取资源,签到或评论均可免费获取积分。
4、本站部分内容源于网络和用户投稿,仅供学习与参考,如有侵权,请联系站长进行删除处理。
5、用户评论和发布内容,并不代表本站赞同其观点和对其真实性负责。
6、本站禁止以任何方式发布或转载任何违法的相关信息。
7、资源大多存储在云盘,如发现链接失效,请联系我们替换更新。
8、资源里的联系方式仅为咨询用!收费请一律删除。

给TA打赏
共{{data.count}}人
人已打赏
资源大全

剪映调色预设模板合集:让你的视频瞬间升级!

2025-2-3 18:06:58

安卓软件

CCleaner v24.22.0专业版

2024-11-24 11:36:01

0 条回复 A文章作者 M管理员
夸夸
夸夸
还有吗!没看够!
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索

你已经到达了世界的尽头

  • 3606

    文章数目

  • 884

    注册用户

  • 71

    本周发布

  • 116

    稳定运行

  • 38863

    总访问量

  • 波浪
  • 波浪
  • 波浪
  • 波浪