rtx系列显卡本地运行deepseek教程?

jane 发布于 2025-02-09 659 次阅读


AI 摘要

Deepseek,作为中国首个智能AI,近日爆火。然而由于官方服务器繁忙,许多用户踏上了本地运行的探索之旅。本教程将指导您在Windows中使用NVIDIA显卡本地体验deepseek的魅力,尽管这不是完整的模型。通过探索本地运行,不仅可以避免调用服务器繁忙的问题,也能更好地保护隐私。本文将带您配置环境,从CUDA到Ollama,实现与Deepseek的轻松交流。准备好您的显卡和水杯,一起开始这段有趣的科技旅程吧!

前言

deepseek这几天爆火出圈,很多人接触了中国第一个聪明的ai,本篇仅供娱乐本地运行的不是真正的deepseekr1模型而是量化之后的小模型,所以再在标题中加了一个?(本教程仅英伟达显卡windows系统适用,站长没amd的卡所以不做教程)

演示所用环境:windows10 22h2(实测win11 同样适用)4060(rtx大部分显卡是支持的,如有成功案例欢迎在评论补充)16g drr5 内存i5-12490k

为什么要本地运行

1.调用问题:因为中国第一个聪明的模型出世,很多人在尝鲜,还有某些特殊原因,使官方的调用很容易炸掉,如服务繁忙等,让人蛋疼。有一个备用的deepseek在电脑上不错不是嘛?

2.隐私问题:deepseek的用户协议上写的,我们在官网对话,会被记录下来作为模型训练。如果你要向deepseek说一些隐私信息,那最好还是本地部署罢

正文

准备

在正式开始之前最好先看看上一篇文章了解一下ollama(选看)

需要的东西

1.ollama(本字的超链接是ollama的官网,有东方魔法的可以去官网下载。国内因网络环境的问题,ollama下载很慢或者无法下载所以贴在了下面)

2.一个nvidia显卡(最好是显存大一点)

3.cuda(在后文的环境准备中会准备)

4.visual studio community2022(这里挂的是官网的链接,下面的是自己下完了传到网站上的)

选择C++的桌面开发然后选择下载。(这里我下了一遍忘了选这个选项此刻我的修改就相当于你们的安装)

安装后选择右边的启动,然后跳过登录账户启动visual studio community2022,等待启动后即可关闭

5.python环境(下载的时候全都选就行了)

6.一杯水(等待的时间长防止无聊)

环境准备

cuda环境部署

win +r #打开运行
cmd  #在运行窗口中输入
nvidia-smi 在出现的cmd窗口中输入

在出现的一大堆内容中找到CUDA Version我的是12.6(不同的卡不同需要自己去找)然后去bing搜索cuda+你的cuda version(如下图)

找到nvida developer的网站进去填入windows版本信息

Installer Type选项推荐选择第一个local,然后坐和放宽(bushi),拿出你的水杯开始喝水(别喝完了一会还要喝)

exe安装包下载完后打开exe文件你会看见如下图的样式

默认会安装到c盘,可以在d盘新建一个英文文件名的文件夹,选择右侧的文件夹图标找到新建的文件夹,然后点ok(如果你的电脑没有d盘可以跳过这一步)

然后会进入英伟达的驱动安装界面,选择同意并继续如下图

然后选择自定义安装,再点下一步如图

然后继续点下一步等到选择安装位置的时候,继续选择刚刚在d盘新建的文件夹,选择下一步

然后选择I understand......点击next

好了,现在可以再坐和放宽,拿起水杯喝点水了(先别喝完,以后还要喝)

电脑win+r打开运行

cmd #在运行窗口输入
nvcc -V #在cmd窗口中输入

如有下图类似回复则成功

ollama环境部署

下载前面准备里的ollama安装包然后打开一路install/next

然后再win+r打开运行

powershell 在运行窗口输入
ollama #在power shell窗口输入

如有下图结果则成功

模型选择

然后选择模型如下图

b前的数字可以理解为显存+内存的和例如我的电脑是16g的内存+8g显存则,我能跑的模型大小为16+18=24b但是deepseek没有24b模型所以选择14b模型做示范

在powershell窗口输入

ollama run deepseek-r1:14b #14b可以根据自己的情况换,会出现如下图的结果

到最后会越来越慢,那就ctrl+c停止任务然后继续输入

ollama run deepseek-r1:14b #这里你上面选的多少b就是多少b

接下来就可以快乐的和deepseek交流了!!!

估计10-20token/s 4060 8g+16g内存

结尾

本期制作不易,所有的安装包都打包到了网站上,还望注册一下账号,谢谢

本站的全权创作者,力争让网站得到您的青睐,感谢您的关注
最后更新于 2025-04-05