本人使用的開發主機搭載 NVIDIA 顯卡,GPU 記憶體只有 6GB,屬於中低容量等級。由於顯卡記憶體有限,無法負擔大型 AI 模型的運行,因此本文以較小容量且效能適中的 AI 模型為主,透過 Open-WebUI 與 Ollama 搭配,達成本地 AI 互動平台的實作。整體流程會包括利用 pyenv 管理合適的 Python 版本,安裝 Open-WebUI,並示範如何安裝與管理 Ollama 及多款符合 GPU 規格的聊天室模型。 一、本機 Python 版本管理:使用 Pyenv 安裝 Python 3.11 安裝編譯必須的依賴: sudo apt update sudo apt install -y build-essential curl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev libffi-dev liblzma-dev zlib1g-dev libncurses5-dev libncursesw5-dev libgdbm-dev libdb5.3-dev uuid-dev 安裝 pyenv: curl https://pyenv.run | bash 設定 shell 環境(加入 ~/.bashrc 或 ~/.zshrc ): export PATH="$HOME/.pyenv/bin:$PATH" eval "$(pyenv init --path)" eval "$(pyenv init -)" 重新整理 shell,並安裝 Python 3.11: source ~/.bashrc pyenv install 3.11.0 pyenv global 3.11.0 確認 Python 版本: python --version 二、安裝並啟動 Open-WebUI 建立虛擬環境以隔離套件: python -m venv ~/openwebui-venv source ~/openwebui-venv/bin/activate mkdir tmp export TMPDIR=$HOME/tmp 升級 pip 以免安裝過程中遇到問題: pip install --upgrade...