告别云担忧：手把手教你本地部署AI大模型
前言
当我们想跟AI对话时，把一些文件发送到云端可能会不安全，这时候，就需要本地部署了。本地部署指的是AI会调用电脑本地的算力进行计算，所以，电脑的性能不可以太差。下面是本地部署大模型的教程。
请务必看完全文后再进行操作 本教程使用Win10，如果您是Mac用户，请参考Mac本地部署教程
教程
准备
下载Ollama,进入主页点击Download，选择自己的操作系统，点击下载
您无需点击下方的注册按钮 下载后，CMD窗口输入
ollama，出现类似以下内容代表成功
下载大模型
1.下载完成后点击Win+R，“打开”栏输入cmd，回车
2.打开 Ollama官网，点击右上角的 Search models，输入你想下载的开源模型名称。找到模型后，复制页面中提供的下载命令到CMD窗口，回车开始下载。
每个模型的代码不一样，上图使用Qwen2-72b演示，请根据电脑性能选择下载的模型。一般来说，7b左右的模型适合大部分的电脑，我2016年的显卡都带的动。72b左右的模型则需要强大性能的电脑，它的安装包就足有40GB！ 建议选择qwen2，因为它是迄今为止最强大的开源大模型，具体可以看🤗 Open LLM Leaderboard，您也可以选择自己喜欢的大模型，方法相同
🤗 Open LLM Leaderboard
如果下载到最后越来越慢，按Ctrl+C停止，再次输入下载命令重新下载，多试几次。
使用大模型
完成下载后，你将看到类似以下界面，这意味着一切准备就绪！
要再次使用模型，重复上述下载大模型的第1-2步，但这次回车后将启动而不是重新下载模型。请确保Ollama程序正在运行。 由于Ollama位于国外，国内用户可能会遇到下载速度缓慢的问题。为此，我已将下载链接上传至网盘，你可以直接从那里下载，无需注册。 123网盘下载 请忽略下载页的广告，解压缩后下载
附上个命令：ollama list，查看模型列表。再次使用时，输入ollama run+NAME（模型名称）即可。
删除模型：ollama rm+NAME
其他
什么，界面不好看？下期博客教大家获得更好地UI界面
支持与分享
如果这篇文章对你有帮助，欢迎分享给更多人或打赏支持！
