
Windows/Mac/Linux桌面环境下使用LM Studio部署DeepSeek等模型说明(Windows篇)
2025-02-14 发布170 浏览 · 1 点赞 · 1 收藏
本文档是关于在Windows/Mac/Linux桌面环境上部署和运行DeepSeek-R1大语言模型环境的说明,适合一般非技术人员在本机体验大模型,下一步可以构建本地大模型服务去支持更多本地AI应用。
环境要求
在运行脚本之前,请确保以下条件满足:
- 操作系统:Windows/Mac/Linux桌面。
- 硬件:优先有独立显卡的PC机,Intel和AMD的核显电脑也可以使用,不推荐纯CPU。
- 软件:
- LM Studio:0.3.9或更高版本
- 用户要求:一般用户都可。
最简安装过程
1. 安装LM Studio
访问LMStudio,选择本机对应版本的安装包,下载安装,详细过程略:
2. 部署模型
- 打开LM Studio。
- 鼠标点击左侧的发现图标。
- 在搜索栏输入: deepseek。
- 在结果里选择一个模型,初次体验推荐先安装一个最小版本:DeepSeek-R1-Distill-Qwen-1.5B-GGUF。注:尽量选择有紫色LM Studio图标的模型,从LM Studio社区下载速度较快。
- 在右侧“download options available”选择一个量化模型,推荐“Q4_K_M”,如果硬件设备性能较高、显卡显存足够,可以选择Q6或Q8.
- 点击Download下载,等待下载完成。
3. 与模型对话
- 回到主界面,鼠标点击左侧的聊天图标。
- 在顶部下拉菜单选择刚才下载的模型加载。
- 然后即可在对话框与模型愉快的对话了。
构建本地大模型服务为其他应用提供API支持
建设中......
请前往 登录/注册 即可发表您的看法…