本文主要介紹了國產(chǎn)AI之光DeepSeek的本地部署教程和本地知識(shí)庫部署,包括數(shù)據(jù)流程流程、命令行窗口執(zhí)行拉取、本地服務(wù)安裝嵌入模型等步驟。最后,作者分享了如何使用Cherry Studio搭建知識(shí)庫,并給出了本...
verifying sha256 digest
writing manifest
success
下載cherry studio
根據(jù)自己的環(huán)境下載cherry studio
安裝的時(shí)候,注意安裝到其他磁盤,不要在c盤安裝。
本地模型知識(shí)庫
配置本地ollama
操作步驟:
找到左下角設(shè)置圖標(biāo)
選擇模型服務(wù)
選擇ollama
點(diǎn)擊管理
點(diǎn)擊模型后面的加號(hào)(會(huì)自動(dòng)查找到本地安裝的模型)
減號(hào)表示已經(jīng)選擇了
知識(shí)庫配置
選擇知識(shí)庫
選擇添加
選擇嵌入模型
填寫知識(shí)庫名稱
添加知識(shí)文檔
cherry可以添加文檔,也可以添加目錄(這個(gè)極其方便),添加完以后出現(xiàn)綠色的對號(hào),表示向量化完成。
搜索驗(yàn)證
點(diǎn)擊搜索知識(shí)庫
輸入搜索順序
點(diǎn)擊搜索 大家可以看下我搜索的內(nèi)容和并沒有完全匹配,不過已經(jīng)和意境關(guān)聯(lián)上了。
大模型處理
點(diǎn)擊左上角的聊天圖標(biāo)
點(diǎn)擊助手
點(diǎn)擊默認(rèn)助手(你也可以添加助手)
選擇大模型
選擇本地deepseek,也可以選擇自己已經(jīng)開通的在線服務(wù)
設(shè)置知識(shí)庫(不設(shè)置不會(huì)參考)
輸入提問內(nèi)容
發(fā)問
大家可以看到deepseek已經(jīng)把結(jié)果整理了,并告訴了我們參考了哪些資料。
滿血版
差別就是大模型的選擇,在模型服務(wù)里配置下在線的deepseek服務(wù)即可。
如果你的知識(shí)庫有隱私數(shù)據(jù),不要聯(lián)網(wǎng)!不要聯(lián)網(wǎng)!不要聯(lián)網(wǎng)!
方案二 基于AnythingLLM搭建
下載AnythingLLM Desktop
下載以后,安裝的時(shí)候,注意安裝到其他磁盤,不要在c盤安裝。
AnythingLLM 配置
點(diǎn)擊左下角的設(shè)置
1. 點(diǎn)擊 LLM首選項(xiàng)
2. 選擇ollama作為模型提供商
3. 選擇已安裝的deepsek 模型
4. 注意下地址
5. 保存
1. 向量數(shù)據(jù)庫不用動(dòng)即可,使用自帶的(ps:如果沒有選擇安裝目錄,默認(rèn)在c盤,如果后續(xù)有需要可以挪走)
2. 嵌入模型配置
3. 可以使用自帶的,也可以使用ollama安裝好的
4. 配置完點(diǎn)擊左下角的返回即可
配置工作區(qū)
新建的工作區(qū)
默認(rèn)會(huì)話
上傳知識(shí)庫文檔
將文檔拖拽到上傳框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知道為什么,我這拖拽以后,沒看到上傳成功,然后又拖拽了幾次。然后聊天框就好多份。
當(dāng)然你可以配置遠(yuǎn)程文檔,confluence、github都可以。
ps: 需要注意的是文檔在工作區(qū)間內(nèi)是共用的。
api功能
AnythingLLM 可以提供api訪問的功能,這個(gè)可以作為公共知識(shí)庫使用。
總結(jié)
整個(gè)操作下來,AnythingLLM 的體驗(yàn)沒有cherry好。AnythingLLM就像一個(gè)包殼的web應(yīng)用(后來查了下,確實(shí)是)。AnythingLLM 得具備一定的程序思維,給技術(shù)人員用的。非技術(shù)人員還是使用cherry吧。作為喜歡折騰的開發(fā)人員,我們可以結(jié)合dify使用。
原文來源:https://mp.weixin.qq.com/s/IKoBga2iKfpkdD4Qgy8iLg
來源:本文內(nèi)容搜集或轉(zhuǎn)自各大網(wǎng)絡(luò)平臺(tái),并已注明來源、出處,如果轉(zhuǎn)載侵犯您的版權(quán)或非授權(quán)發(fā)布,請聯(lián)系小編,我們會(huì)及時(shí)審核處理。
聲明:江蘇教育黃頁對文中觀點(diǎn)保持中立,對所包含內(nèi)容的準(zhǔn)確性、可靠性或者完整性不提供任何明示或暗示的保證,不對文章觀點(diǎn)負(fù)責(zé),僅作分享之用,文章版權(quán)及插圖屬于原作者。
Copyright©2013-2025 ?JSedu114 All Rights Reserved. 江蘇教育信息綜合發(fā)布查詢平臺(tái)保留所有權(quán)利
蘇公網(wǎng)安備32010402000125
蘇ICP備14051488號(hào)-3技術(shù)支持:南京博盛藍(lán)睿網(wǎng)絡(luò)科技有限公司
南京思必達(dá)教育科技有限公司版權(quán)所有 百度統(tǒng)計(jì)