我是一個對電腦充滿好奇的人,在 1996 年正沉浸在個人電腦的探索中。當時,網路上出現了 Gopher 和 BBS 等新奇的通訊方式,讓我對 UNIX 系統連上 Internet 充滿了嚮往。然而,當時的 UNIX 系統通常需要大型主機,對於我這樣的個人來說,成本太高了。我開始尋找一種更經濟、更靈活的選擇。
就在這時候,我偶然發現了 Slackware。一個由 32 歲的電腦工程師、數學家和軟體開發者查理·蓋特曼創建的專案。他正在努力打造一個簡單、可靠、易於使用的 UNIX 系統,並將其發佈到網路上。這個系統是可以在個人電腦上安裝的。
安裝 Slackware 的過程,簡直是令人驚訝的。由於當時的硬碟技術尚未成熟又昂貴,我不得不使用 20 幾片軟式磁碟片來安裝系統。這是一個耗時且繁瑣的過程。
為了驅動某些裝置,我開始學習如何編譯核心(kernel)。我還學習了如何中文化 Slackware,讓系統能夠支援中文。我開始在 Slackware 上進行各種實驗,學習各種命令,探索各種可能性。
本人使用的開發主機搭載 NVIDIA 顯卡,GPU 記憶體只有 6GB,屬於中低容量等級。由於顯卡記憶體有限,無法負擔大型 AI 模型的運行,因此本文以較小容量且效能適中的 AI 模型為主,透過 Open-WebUI 與 Ollama 搭配,達成本地 AI 互動平台的實作。整體流程會包括利用 pyenv 管理合適的 Python 版本,安裝 Open-WebUI,並示範如何安裝與管理 Ollama 及多款符合 GPU 規格的聊天室模型。 一、本機 Python 版本管理:使用 Pyenv 安裝 Python 3.11 安裝編譯必須的依賴: sudo apt update sudo apt install -y build-essential curl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev libffi-dev liblzma-dev zlib1g-dev libncurses5-dev libncursesw5-dev libgdbm-dev libdb5.3-dev uuid-dev 安裝 pyenv: curl https://pyenv.run | bash 設定 shell 環境(加入 ~/.bashrc 或 ~/.zshrc ): export PATH="$HOME/.pyenv/bin:$PATH" eval "$(pyenv init --path)" eval "$(pyenv init -)" 重新整理 shell,並安裝 Python 3.11: source ~/.bashrc pyenv install 3.11.0 pyenv global 3.11.0 確認 Python 版本: python --version 二、安裝並啟動 Open-WebUI 建立虛擬環境以隔離套件: python -m venv ~/openwebui-venv source ~/openwebui-venv/bin/activate mkdir tmp export TMPDIR=$HOME/tmp 升級 pip 以免安裝過程中遇到問題: pip install --upgrade...

留言
張貼留言