前言
deepseek这几天爆火出圈,很多人接触了中国第一个聪明的ai,本篇仅供娱乐本地运行的不是真正的deepseekr1模型而是量化之后的小模型,所以再在标题中加了一个?(本教程仅英伟达显卡windows系统适用,站长没amd的卡所以不做教程)
演示所用环境:windows10 22h2(实测win11 同样适用)4060(rtx大部分显卡是支持的,如有成功案例欢迎在评论补充)16g drr5 内存i5-12490k
为什么要本地运行
1.调用问题:因为中国第一个聪明的模型出世,很多人在尝鲜,还有某些特殊原因,使官方的调用很容易炸掉,如服务繁忙等,让人蛋疼。有一个备用的deepseek在电脑上不错不是嘛?
2.隐私问题:deepseek的用户协议上写的,我们在官网对话,会被记录下来作为模型训练。如果你要向deepseek说一些隐私信息,那最好还是本地部署罢
正文
准备
在正式开始之前最好先看看上一篇文章了解一下ollama(选看)
需要的东西
1.ollama(本字的超链接是ollama的官网,有东方魔法的可以去官网下载。国内因网络环境的问题,ollama下载很慢或者无法下载所以贴在了下面)
2.一个nvidia显卡(最好是显存大一点)
3.cuda(在后文的环境准备中会准备)
4.visual studio community2022(这里挂的是官网的链接,下面的是自己下完了传到网站上的)

选择C++的桌面开发然后选择下载。(这里我下了一遍忘了选这个选项此刻我的修改就相当于你们的安装)

安装后选择右边的启动,然后跳过登录账户启动visual studio community2022,等待启动后即可关闭
5.python环境(下载的时候全都选就行了)
6.一杯水(等待的时间长防止无聊)
环境准备
cuda环境部署
win +r #打开运行
cmd #在运行窗口中输入
nvidia-smi 在出现的cmd窗口中输入

在出现的一大堆内容中找到CUDA Version我的是12.6(不同的卡不同需要自己去找)然后去bing搜索cuda+你的cuda version(如下图)

找到nvida developer的网站进去填入windows版本信息
Installer Type选项推荐选择第一个local,然后坐和放宽(bushi),拿出你的水杯开始喝水(别喝完了一会还要喝)
exe安装包下载完后打开exe文件你会看见如下图的样式

默认会安装到c盘,可以在d盘新建一个英文文件名的文件夹,选择右侧的文件夹图标找到新建的文件夹,然后点ok(如果你的电脑没有d盘可以跳过这一步)
然后会进入英伟达的驱动安装界面,选择同意并继续如下图

然后选择自定义安装,再点下一步如图

然后继续点下一步等到选择安装位置的时候,继续选择刚刚在d盘新建的文件夹,选择下一步
然后选择I understand......点击next

好了,现在可以再坐和放宽,拿起水杯喝点水了(先别喝完,以后还要喝)
电脑win+r打开运行
cmd #在运行窗口输入
nvcc -V #在cmd窗口中输入
如有下图类似回复则成功

ollama环境部署
下载前面准备里的ollama安装包然后打开一路install/next
然后再win+r打开运行
powershell 在运行窗口输入
ollama #在power shell窗口输入
如有下图结果则成功

模型选择
然后选择模型如下图

b前的数字可以理解为显存+内存的和例如我的电脑是16g的内存+8g显存则,我能跑的模型大小为16+18=24b但是deepseek没有24b模型所以选择14b模型做示范
在powershell窗口输入
ollama run deepseek-r1:14b #14b可以根据自己的情况换,会出现如下图的结果

到最后会越来越慢,那就ctrl+c停止任务然后继续输入
ollama run deepseek-r1:14b #这里你上面选的多少b就是多少b
接下来就可以快乐的和deepseek交流了!!!

估计10-20token/s 4060 8g+16g内存
结尾
本期制作不易,所有的安装包都打包到了网站上,还望注册一下账号,谢谢
Comments NOTHING