ui設定
安裝
只要你安裝了akasha,便可以直接使用akasha_ui,在terminal執行:
1 | akasha ui |
便可以在瀏覽器上開啟,開始使用akasha ui
Docker安裝
若要使用docker安裝,可以直接下載image
1 | docker pull ccchang0518/akasha-ui:1.0 |
如要使用gpu來推論llama-cpp模型(.gguf)
1 | docker pull ccchang0518/akasha-ui:llamacpp |
執行image
1 | docker run --gpus all -v ./model:/app/model -v ./docs:/app/docs -v ./chromadb:/app/chromadb -p 8501:8501 akasha-llamacpp-ui:0.1 |
上傳文件檔
上傳你需要的文件檔案,並取資料夾名稱,創立知識庫。
請注意文件檔只允許(.docx, .txt, .pdf)
設定
在設定頁面,可以選擇要詢問的知識庫和調整各種參數、選擇不同語言模型。
若使用openAI模型,請在左側輸入 openAI的key,azure openAI則需要額外輸入url。
手動增加模型
如果你想使用不同的語言模型,可以至huggingface下載模型到”/model”資料夾,模型便會加至設定中
設定完成後,便可開始使用akasha ui