20分钟在Windows操作系统部署DeepSeek-R1大模型

广洲评职 2025-02-12 03:45:39

20分钟在Windows操作系统部署DeepSeek-R1大模型

| 原创作者/编辑:凯哥Java | 分类:人工智能学习系列教程

GitHub上deepseek-r1截图

PS:本文是本地化部署DeepSeek系列教程第三篇。本系列共计5篇文章,最终,我们讲实操在Windows操作系统和Mac操作系统实现本地部署DeepSeek-R1大模型。

本系列教程其他文章,还在文章末尾添加。欢迎系统学习

点击下方“凯哥Java”

一起用AI进化、赚钱...

让成长不再孤独!

本文使用到以下几个软件:Ollama、DeepSeek、和 ollama-webui-lite-main

DeepSeekDeepSeek 是一个强大的开源AI模型系列,由深度求索(DeepSeek)开发,专为多领域应用设计。它提供了多个版本的模型:

• DeepSeek-Coder:专注于代码开发的AI助手,擅长理解和生成多种编程语言的代码

• DeepSeek-Chat:通用对话模型,支持中英双语,能够处理从日常对话到专业领域的广泛问题

• DeepSeek-MoE:基于专家混合的大规模语言模型,能够根据需求调动多个专家模型进行高效计算特点:开源、性能强大,特别在代码理解、生成和多领域应用中表现优异,适合开发者和研究人员使用。

OllamaOllama 是一个轻量级的本地AI模型运行框架,旨在简化开源大语言模型的部署和使用:

• 支持多种主流AI模型,如 Llama、Mistral 等,可轻松进行本地部署

• 部署过程简单,通过一行命令即可启动,无需复杂配置

• 完全本地运行,确保用户数据隐私和安全

• 提供灵活的自定义模型和参数调整选项,适合开发者进行个性化实验特点:轻量、简便,适合个人开发者或小型团队在本地运行AI模型,注重简化使用流程。

ollama-webui-lite-mainollama-webui-lite-main 是基于 Ollama 框架的 Web 用户界面,旨在提供更简便的本地AI模型交互体验:

• 简洁直观的Web界面,用户可通过浏览器与本地运行的AI模型进行交互

• 无需复杂配置,快速部署,适合个人或小型团队使用

• 支持多种开源AI模型,便于模型切换与调试

• 提供简单的参数调整界面,帮助用户根据需求优化模型表现特点:基于 Ollama 框架的Web界面,简化了AI模型的本地操作体验,适合开发者或小型团队进行高效管理与实验。

三款软件的总结:

• DeepSeek:高质量开源AI模型,专注于多领域和代码开发,适合需要强大模型支持的用户

• Ollama:轻量本地AI部署框架,适合简化本地模型部署和数据隐私保护的用户

• ollama-webui-lite-main:Web界面化工具,简化了Ollama框架的操作,适合需要快速与本地模型交互的开发者

根据需求,用户可以:

• 需要高性能开源模型时选择 DeepSeek

• 想要快速部署并保护数据隐私时选择 Ollama

• 需要简单便捷的Web界面与本地AI模型交互时选择 ollama-webui-lite-main

一、初识 Ollama

介绍:

Ollama 是一个轻量级的本地AI模型运行框架,旨在简化开源大语言模型的部署和使用。它支持多种主流的开源大语言模型(如 Llama、Mistral 等),并提供简洁、易用的命令行工具,使开发者能够在本地计算机上方便地部署和运行这些模型。Ollama 强调数据隐私,确保所有计算过程都在本地进行,避免了将敏感数据发送到云端的风险。

优势:

1. 简便易用:Ollama 通过简单的一行命令即可启动和部署AI模型,大大降低了模型部署的复杂度,适合开发者和个人用户使用。

2. 本地部署,数据安全:所有数据和计算都发生在本地,不会上传至云端,极大保证了用户的数据隐私和安全。

3. 支持多种模型:支持如 Llama、Mistral 等多种开源大语言模型,可以根据需求自由选择和替换模型。

4. 灵活的自定义:Ollama 提供了灵活的自定义选项,开发者可以根据自己的需求调整模型和参数,以达到最佳的性能。

5. 资源占用低:作为轻量级框架,Ollama 对计算资源的需求相对较低,适合在普通硬件上运行,减少了云计算的依赖。

使用场景:

1. 个人开发和实验:对于个人开发者来说,Ollama 提供了一个便捷的方式来本地部署和测试各种大语言模型,适合进行快速原型设计和小型项目开发。

2. 小型团队和研究机构:小型开发团队或研究人员可以利用 Ollama 在本地部署 AI 模型,无需依赖外部服务,这样不仅能节省成本,还能避免数据外泄的风险。

3. 数据隐私保护:对于有严格数据隐私需求的用户,如医疗、金融等行业,Ollama 提供本地运行的解决方案,确保敏感数据不会泄露。

4. 本地大语言模型服务:在不依赖云端的情况下,Ollama 可以帮助用户搭建本地的大语言模型服务,适用于需要快速响应的场景,如本地聊天机器人、智能客服等。

5. 自定义 AI 模型调试与优化:Ollama 的自定义选项使得开发者可以根据需要调整和优化模型,对于AI开发者而言,测试不同配置并找到最佳设置是非常有价值的。

二、下载

访问官网:https://ollama.com/

在官网首页可以直接看到下载按钮,点击下载按钮,根据自己的电脑操作系统选择对应的安装包。

因为凯哥电脑是Windows操作系统的,所以,直接点击Windows图标后下载即可。如上图所示。

需要注意:因为Ollama是国外的,所以下载可能会有点慢,凯哥将下载好的文件已经放网盘了,有需要的朋友可以直接回复后获取。

(链接:https://pan.quark.cn/s/d3d39615b800 提取码:MRL3)

三、安装

3.1 配置环境变量

从凯哥提供网盘下载安装包之后,我们可以看到是EXE文件。一般来说,我们会直接双击,然后进行安装,在这里,先别着急这双击安装。先设置下环境变量。

可能有些朋友会问,为什么配置环境变量呢?因为Ollama以及我们需要下载的模型都是默认安装在C盘的,一般情况下,我们会给C盘分配的磁盘不是很大。所以,如果使用的久或者是我们下载多个模型之后,C盘会爆满。所以,需要把下载的模型存放在非系统盘中就可以。具体配置如下:

搜索环境变量,找到环境变量:

双击编辑系统环境。如下图:

输入如下内容:

变量名称

变量值

说明

OLLAMA_MODELS

G:\ollama\models

变量值根据自己实际情况修改。别放在C盘就可以

具体操作步骤如下图:

3.2 安装Ollama

配置好环境变量之后,就可以双击Ollama即可,然后一直点击下一步就可以看装成功了

3.3 验证是否安装成功

等待安装完成之后,打开CMD命令窗口

(如果不知道怎么打开,直接按键盘上的win+R,在弹窗框输入cmd)

输入ollama 或者 ollama -v 。如果看到如下图,说明安装成功了。

3.4 配置软链接

为什么要配置软链接呢?

原因同3.1。在3.1步骤咱们只是配置了模型存放路径。ollama主程序和日志文件还在C盘。这一步就是为了将这些还在C盘的配置到其他盘符。

看到了吗?Ollama占用了4.56GB的磁盘空间呢。所以,咱们很有必要把主程序和日志文件存放到其他盘符去。

需要注意:

1.在配置软链接之前请先退出已经在运行的ollama。怎么退出?桌面右下角,可以看到ollama图标,然后鼠标右键就可以看到退出按钮了。点击退出即可

2.cmd必须使用管理员权限运行。具体操作如下:

PS:如果第一步忘了。那么在执行创建软链接命令前,需要多执行一步。就是将原来的路径奔赴。之后才能配置软链接。创建完成之后,记得把备份文件夹中的内容拷贝回去,再次验证是否可以用。

安装后在C盘\用户文件夹下可以看到如下几个目录

路径

说明

C:\Users\kaizi\.ollama

存放模型的

C:\Users\kaizi\AppData\Local\Ollama

存放Ollama日志相关

C:\Users\kaizi\AppDatalLocal\Programs\Ollama

存放Ollama主程序的

说明:请将kaizi换成你自己电脑的用户名

Windows操作系统创建软链接命令:

Plain Textmklink /D 需要创建软连的原始目录 创建软连的目标目录

根据上面公式可以得到:

比如凯哥要创建存放模型的软链接到D盘ollama文件夹下。执行命令如下:

Plain Textmklink /D C:\Users\kaizi\.ollama D:\ollama\.ollama

三个软链接执行命令如下:

mklink /D C:\Users\kaizi\.ollama D:\ollama\.ollama

mklink /D C:\Users\kaizi\AppData\Local\Ollama D:\ollama\logs

mklink /D C:\Users\kaizi\AppDatalLocal\Programs\Ollama D:\ollama\app

说明:

1.把kaizi换成你自己的

2.把软链接目标文件夹修改成你自己的

错误问题解决

1.提示已经存在了:

把之前的备份下。备份命令:

Plain Textmove C:\Users\kaizi\.ollama C:\Users\kaizi\.ollama_backup

先执行move之后,在执行创建软链接命令就可以了。如下图所示:

2.在移动文件夹的时候,如果提示拒绝访问

如果提示拒绝访问,说明文件夹正在被使用中,没有把右下角ollama关闭。

四、下载模型

在官网,点击左上角的Models,可以看到deepseek-r1。如下图:

点击deepseek-r1就可以看到模型了

①:选择需要的模型大小

②:模型模型安装命令

五、安装模型

这里,凯哥就使用大多数电脑可以运行的模型:ollama run deepseek-r1 。大家复制即可。

复制命令后,直接在cmd命令窗口下执行即可。

因为大小是4.7GB,下载需要会时间。耐心等着。下载完成后,见到如上图所属,说明已经下载完了

六、命令窗口下测试模型

等模型安装完成之后,咱们就可以直接和模型进行对话了。

比如,直接输入,你是谁,然后就可以看到如下回答

在命令行测试,可以发现效果还可以,速度不慢。推理能力确实很强!朋友们,赶紧试试吧

七、安装WebUI前环境准备

PS:如果不想使用凯哥提供的这个,也可以使用ChatBox这类的。chatBox怎么使用,凯哥在之前文章中也讲解过了。

虽然直接在命令行中运行模型很方便,但为了获得更好的用户体验,您可以将Qwen2模型集成到Web界面中。

1. 安装Node.js:

首先,需要在Windows上安装Node.js。访问Node.js官网,下载并安装最新版本的Node.js。

凯哥使用的是版本号是18.6

image.png

凯哥本地node版本

2. 下载ollama-webui:

从GitHub或其他源下载ollama-webui的代码。

JSONhttps://github.com/ollama-webui/ollama-webui-lite

3. 设置并启动Web界面:

按照ollama-webui的文档说明,设置Node.js环境,安装依赖,并启动Web服务器。然后,在浏览器中打开Web页面,选择您的模型即可开始对话。

3.1镜像提速:

入ollama-webui文件夹,设置国内镜像源提速:

JSONnpm config set registry http://mirrors.cloud.tencent.com/npm/

3.2 安装依赖

JSONnpm install

错误解决办法:

如果报错说要audit,则依次进行即可:

JSONnpm auditnpm audit fix

启动

3.3 启动Web界面:

命令执行完成就可以用看到如下图的访问地址:

image.png

启动成功输出访问地址

打开Web页面,选择你的模型即可开始对话:

image.png

访问页面

八、启动webUI界面并测试模型

凯哥这里选择8b模型进行测试。

通过页面访问,也是响应也是挺快的。

0 阅读:7