DeepSeek是一款無需魔法、零代碼、消費級顯卡暢玩的推理型人工智能工具。它具有媲美GPT-4o32B版本的推理能力,以及接近GPT-4 Turbo全鏈路的國產化部署。
無需魔法|零代碼|消費級顯卡暢玩
為什么選擇DeepSeek?
優勢 | 詳解 |
---|---|
媲美GPT-4o | |
全鏈路國產 | |
極簡部署 | |
全規格覆蓋 | |
經濟高效 |
硬件配置指南(消費級設備推薦)
7B | ||||
14B | ||||
32B |
實測:RTX 3090可絲滑運行30B模型
三步極速部署(Windows版)
相關的軟件,我已經放入到網盤,網不好的同學,可以直接下載。 下載鏈接:https://pan.quark.cn/s/b69829720b68
部署架構
ollama 安裝
Ollama 是一個專注于本地化部署和運行大型語言模型(LLM)的工具,旨在讓用戶能夠在自己的設備上高效地運行和微調模型。
下載ollama
https://ollama.com/download/ 默認為當前電腦的對應的版本,直接下載即可。下載以后,一路點點點即可。
環境變量設置安裝完以后先不要使用,先設置下環境變量。默認模型下載到C盤。一個模型最小也得幾個GB 。
OLLAMA_HOST: 0.0.0.0
OLLAMA_MODELS:E:\ai\ollama\models
OLLAMA_HOST:設置為0.0.0.1 會將ollama服務暴露到所有的網絡,默認ollama只綁定到了127.0.0.1和localhost上了。 OLLAMA_MODELS:設置了模型的存放的地址。
驗證
PS C:\Users\yxkong> ollama -v
ollama version is 0.4.0
ollama常用操作命令
#下載模型
ollama pull 模型名稱
ollama pull deepseek-r1:32b
#運行模型,如果模型不存在,則下載
ollama run 模型名稱
ollama run deepseek-r1:32b
#查看已下載的模型
ollama list
#刪除本地已下載的模型
ollama rm 模型名稱
#查看模型的詳細信息
ollama show 模型名稱
deepseek-r1安裝
https://ollama.com/search 打開ollama官網,點擊Models,可以搜索,目前deepseek最流行,排到了第一位。
除了671是真正的deepseek,其他的都是蒸餾的模型。
根據自己電腦的配置選擇對應規格的模型,然后復制對應的命令即可。
ollama run deepseek-r1:32b
慢慢等待即可。運行效果8b的模型湊合能用、14b的模型基本能用,32b的模型使用很是順滑。 至此,deepseek的本地部署已經完成。
chatbox
Chatbox 是一個開源的聊天界面工具,專門為大型語言模型(如 GPT、LLaMA 等)設計,提供用戶友好的交互界面。
使用chatbox的優勢
交互簡單
預設prompt(我的搭檔)
自定義模型服務方
獨立代理
下載
下載以后一路點點點即可。
環境配置
點擊設置
選擇模型提供方
選擇模型(本機地址默認即可)
測試
很是順滑
性能加速方案(Ollama專用)
量化加速 | deepseek-r1:32b-q4_0 模型 | ||
多GPU支持 | CUDA_VISIBLE_DEVICES | ||
內存優化 | OLLAMA_MAX_MEMORY 參數 |
實操命令示例
# 使用量化模型(需先下載)
ollama run 模型-q4_0
# 多GPU支持(指定使用GPU 0和1)
ollama run deepseek-r1:32b
交互優化技巧
界面增強方案
Markdown渲染 | \n請用markdown格式回答 |
對話流控制 | /retry 重新生成回答 /forget 清除對話歷史 |
語音輸入 | |
快捷鍵體系 |
高級交互配置
# 創建~/.ollama/config.yaml
system_prompt: "你是一個精通科技知識的助手,回答請簡明扼要,使用中文口語化表達"
temperature: 0.7 # 控制創造性(0-1)
max_length: 4096 # 最大生成長度
常見問題解決方案
OLLAMA_NUM_THREADS=8 | ||
/continue 繼續生成 | ||
/forget 清除上下文 |
后記
個人小助手已經搭建完成,大家的工作、生活問題盡情的問吧,不聯網,隱私。大家可以關注下,后續基于deepseek我再搭建個知識庫分享給大家。
原文來源:https://mp.weixin.qq.com/s?__biz=MjM5NzQxMTAyNw==&mid=2247485191&idx=1&sn=6590bae7fb960a2577c2b77c11479080&scene=21#wechat_redirect
來源:本文內容搜集或轉自各大網絡平臺,并已注明來源、出處,如果轉載侵犯您的版權或非授權發布,請聯系小編,我們會及時審核處理。
聲明:江蘇教育黃頁對文中觀點保持中立,對所包含內容的準確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點負責,僅作分享之用,文章版權及插圖屬于原作者。
Copyright©2013-2025 ?JSedu114 All Rights Reserved. 江蘇教育信息綜合發布查詢平臺保留所有權利
蘇公網安備32010402000125
蘇ICP備14051488號-3技術支持:南京博盛藍睿網絡科技有限公司
南京思必達教育科技有限公司版權所有 百度統計