rtx系列显卡部署大模型教程1

前言

如果你要说最适合小白的免费大模型运行软件，那么我的回答一定是ollama^【1】，最近换了一台电脑，显卡^【2】升级很大（七彩虹rtx4060^【3】 8g）刚好适合跑ai^【4】。看了前几篇文章，理论也要综合实践，教程现在开始。这是一篇保姆级教程所以有些人会发现很多废话。请多担待谢谢。

欢迎来到我的文章，进来了看完再走吧，谢谢。

tip：本文在需要的软件会超链接到官网，点击蓝字可以自行下载（都是国外网站下载有点慢的可以使用古老的东方魔法doge）

准备

首先我们要准备，ollama,hangging face一杯水（等待的时候不会太无聊doge）和一个显卡差不多的电脑（显存^【5】大一点的更好）。

正文

1.下载ollama运行环境

首先我们打开ollama下载系统版本的ollama，如果Windows我就下载Windows版本的ollama（可能有点慢）

会下载一个名为ollamasetup^【6】的exe文件^【7】打开安装后一路next^【8】默认会下载到c盘^【9】。

2.ollama run指令运行大模型文件

首先要找到合适的模型，你可能会看见一些专业术语如：7b 8b 24b 32b^【10】，实测32b模型达到可用水平，b前面的数字，表示需要内存多少如我手里8g的显卡16g的内存。我能运行的b数为8+16=24b那我就能下载24b模型，b前的数字代表着模型哦参数例如7b则意味着有70亿参数，同时也越需要显卡

很简单win+r打开运行窗口，键入powershell^【11】回车输入下面指令

ollama pull llama2-chinese

等待下载（慢的话可以使用神秘的东方魔法^【12】）

然后你可以在power shell^【13】指令框和大模型交流

后言

很好会有人开始问了，这大模型怎么这么拉拉和gpt^【14】差的太多了不聪明而且没有ui^【15】，下一期我们会用openwebui^【16】制作一个和gpt一模一样的ui并且可以自选大模型

再次谢谢你的观看(´ᴗ`ʃƪ)更新速度因你而变快，站长的心情也因你而变好( ˘ ³˘)💋