隨著 AI 的興起，熱門的 ChatGPT 應用充斥在生活中，一般都要上網才能使用，但如果自己有好一點的設備（尤其是獨立顯示卡），也可以安裝在自己的機器中，成為隨身的幫手。目前有一些對話式AI 開放讓人自己架設安裝甚至訓練，不過訓練需要的資源非常驚人暫不討論，以手上既有的設備，大概只能架設中、小型的模型使用。本文以 Live Debian System 為例，搭配 6G Nvidia 顯示卡，安裝 Google 的 Gemma3 以及台灣自行訓練的 Taide 還有最近討論度很高的 DeepSeek，實做如下：
1.安裝 ollama
curl -fsSL https://ollama.com/install.sh | sh
2.安裝 AI 模型：gemma3
ollama pull gemma3
3.安裝 Taide 模型：
（ollama run cwchang/llama3-taide-lx-8b-chat-alpha1）
（New: ollama pull Yu-Feng/Llama-3.1-TAIDE-LX-8B-Chat:Q4_K_M ）
[手動安裝]（參考）
下載 https://huggingface.co/taide/TAIDE-LX-7B-Chat-4bit/tree/main
上述網站必須先註冊帳號，然後填寫同意書，再下載 GGUF 格式檔案（ taide-7b-a.2-q4_k_m.gguf ），然後安裝到 ollama 中。
另外建立一個描述檔 Modelfile-taide 內容簡單包括如後：
FROM ./taide-7b-a.2-q4_k_m.gguf
在上述 2 個檔案目錄中開啟終端機，以指令匯入 ollama 中：
ollama create taide -f Modelfile-taide
4.安裝 DeepSeek-r1 模型：
ollama pull deepseek-r1
New ollama pull qwen3 （目前覺得表現最佳）
如果要用像 ChatGPT 那種網頁形式，或是要讓其他人透過網路連接使用，則可以安裝 Open WebUI （區域網路、多使用者），或是簡單一點在本機跑的（單一使用者），安裝 Chrome 外掛 Page Assist：
延續之前 Code Former 環境架構方式（ Live Debian System 安裝使用 CodeFormer
）安裝 Anaconda（步驟 1 – 3）及必要軟體，然後
5.安裝 Open WebUI
source /etc/profile
pip3 install open-webui
（升級： pip3 install open-webui --upgrade）
** Debian 13使用上述方法會出現「ERROR: Could not install packages due to an OSError: [Errno 28] 裝置上已無多餘空間」錯誤，這是因為 pip 在安裝過程中先在 /tmp 下載與編譯包，/tmp 空間不足或inode數過多會引發此錯誤，即使其它分區有足夠容量，也會失敗，故先在自家目錄中建一個暫時目錄 tmp ，以防止該錯誤發生：
sudo rm -Rf /tmp/*
rm $HOME/.cache/pip/*
export TMPDIR = $HOME/tmp
pip3 install open-webui
執行 Open WebUI：open-webui serve（每次執行前記得要 source /etc/profile ）
6.經過一段時間下載安裝、執行，便可以開啟瀏覽器，輸入網址 http://localhost:8080/ 就可以開始跟 AI 對話了。
首先註冊一個帳號，這個帳號也是管理者。登入
選擇模型，有4種，Open WebUI安裝時又多了一種。可以直接打字或者用語音輸入問題或者是與AI用對話方式溝通。
下面是一個對話範例，用 Taide 模型，據說它對繁體中文及台灣風土民情比較在行，不像其他模型，因為是國外或是中國大陸簡體訓練的，有時會水土不服或是出現簡體字的情況。不過對於語意的判斷，感覺 Gemma2 比較能聽懂人話，尤其是用語音對話時。
留言
張貼留言