清华大学-DeepSeek模型本地部署与应用构建.pptx

DeepSeek本地部署与应用构建

智灵动力陈军

1、DeepSeek简单介绍与使用

2、DeepSeek本地部署

3、本地知识库搭建

4、实际应用场景

目录

DeepSeek简单介绍与使用

本地化部署

隐私保护

核心亮点在支持完全本地化部署，有效保护用户数据隐私，避免敏感信息泄露，同时提升推理速度与安全性。

推理能力强

DeepSeekR1推理模型具备强大的推理能力，能够准确理解并回应复杂的对话场景，支持多轮对话，确保用户体验的连贯性和高效性。

多种量化蒸馏模型

提供多种量化蒸馏模型选择，包括8B、32B、70B等，以满足不同应用场景对精度与

性能的多样化需求。

开源生态

开源社区支持，并兼容多种开源框架，方便我们二次开发和微调。同时也支

持跨平台适配。

模型简介

应用场景

科研数据分析

DeepSeekR1在科研领域展现出了巨大潜力，通过高效处理和分析复杂数据，为科研人员提供深入见解，加速科研进展。

自动化工作流

集成DeepSeekR1于自动化工作流，显著提升流程智能化水平，自动处理数据，实现高效、准确的决策支持。

外挂大脑

日常答疑解惑，信息收集总结类，料汇总，策划分析写周报，写作直播的话术

官网/APPdeepseekS

硅基流动开启新对话

秘塔

这是一个deepseek的本地部署视频

cursor

Grok

昨天

我是DeepSeek,很高兴见到你!

我可以帮你写代码、读文件、写作各种创意内容，请把你的任务交给我吧~

DeepSeek使用途径

本地部署/API

拾DeepSeek发送消息

深度思考(R1)

联网有哪些信誉好的足球投注网站

0

DeepSeek本地部署

数据隐私保护

DeepSeekR1推理模型本地部署可

有效避免敏感数据在推理过程中上传至云端，确保数据隐私安全。

自定义模型数据弱审查

根据特定需求，用户可灵活选择不同量化精度的模型进行本地部署，

实现性能与资源利用的最佳平衡。可以弱化审核条件，更加全面的利用大模型能力

离线使用

即使在网络断开的情况下，用户仍可依赖本地部署的DeepSeekR1推理模型进行智能分析，保障工作连续性。

性能优化

本地部署DeepSeekR1推理模型能够充分挖掘并利用本地硬件资源，如CPU、GPU等，实现推理性能的优化提升。

本地部署的必要性

部署DeepSeek需下载其本地部署包，

该包已包含所有必要的依赖项和配置文件，确保了安装过程的简便性。

DeepSeek支持Windows及Linux、

mac操作系统，确保了其在不同平台上的兼容性，为用户提供灵活的选择。

为确保DeepSeek在断网环境下能够正常运行，需进行防火墙设置，禁止不必要的网络通信，保障数据安全。

软件要求

防火墙设置

操作系统

安装包

模型选择与硬件要求

量化模型选择

DeepSeek支持8B、32B、70B等多种量化模型，官方满配版本是671B。用户可根据实际需求及硬件配置选择合适的模型。

量化模型作用

量化模型的选择直接影响模型的推理速度与精度，用户需根据具体任务权衡利弊，做出最佳选择。

CPU-1.5BQ8或者8BQ4

GPU4G-8BQ4推理

GPU8G-16G-32BQ4推理显存越大，速度越快，达到官方宣传的官方版本的90%能力，效果也不错。GPU24G-32GQ8或者70BQ2

GPU40G-70BQ4这个效果就非常好了

Ollama方式安装

DeepSeek的安装直接用ollama就能安装，ollama官方地址：

ollama+chatboxai

ollama+anythinglm

ollama+pageassist

RequiresWindows10orlater

WhileOllamadownloads,signuptoget

notifiedofnewupdates.

Ollama方式安装

c/download☆●DO重新