macOS本地自定义部署DeepSeek并搭建知识库

本篇文章主要介绍macOS环境下如何在本地进行DeepSeek-r1模型的自定义部署以及知识库搭建

部署DeepSeek模型

1. 安装Ollama
   首先我们需要在Ollama官网下载对应安装包,
   
   接下来进行安装, 执行默认安装即可, 后面我们使用ollama命令进行操作
   PS: 如果下载缓慢可以使用国内我们上传的官方包, 下载地址

2. 下载DeepSeek模型文件
   我们在魔搭社区进行模型文件下载, 在搜索栏中选择模型库, 键入DeepSeek R1进行搜索, 我们选择一个8b的版本, 注意需要GGUF文件
   
   

3. 配置Modelfile
   模型文件下载成功后我们在同目录下配置对应Modelfile进行参数设置

FROM ./DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf
PARAMETER temperature 0.1
PARAMETER top_p 0.3
PARAMETER top_k 40
PARAMETER num_ctx 4096

4. 创建本地部署模型
   

构建本地知识库

1. 下载并安装AnythingLLM
   1. 访问AnythingLLM网站下载对应版本
   2. 如果下载缓慢可以使用国内下载
   3. 下载完成后按步骤进行安装
2. 配置AnythingLLM
   
3. 导入数据资料
   
4. 进行查询