隨著小型語言模型（SLM）技術的爆發，2026 年我們已經可以在一台不到 100 美元的 Raspberry Pi 5 (8GB RAM) 上，運行具備「思考能力」的 AI 助理。
但問題來了：1B、3B、甚至帶有 Reasoning 推理功能的模型，哪一個才是 Pi 5 的真命天子？
本篇文章將基於我最近在 Pi 5 上的實際測試，針對三款主流輕量化模型進行深度評測，並分享如何透過優化手段讓你的邊緣運算助理達到「秒開」的反應速度。
🚀 測試環境與目標
硬體： Raspberry Pi 5 (8GB RAM)，搭配官方主動式散熱器。
軟體： Ollama 運作環境。
任務目標： 處理日常自動化工作（如 FB 貼文改寫、新聞摘要、邏輯數據校對）。
測試案例： 改寫一則關於「自由攀岩好手 Alex Honnold 攻頂台北 101」的新聞，觀察其對精確數字（6-figure payout）的處理能力。
實際測試案例如下：
【測試原文內容】
「赤手完攀台北101 霍諾德受訪稱報酬少但沒錢也願意爬The Central News Agency 中央通訊社
2026年1月26日 週一 下午5:01
（中央社紐約26日綜合外電報導）美國自由攀岩好手霍諾德昨天成為赤手登頂台北101的第一人。他日前受訪時稱這項挑戰的報酬「少到令人難為情」，但金錢並非他的動力，即使沒任何報酬，他也願意攀登101。
霍諾德（Alex Honnold）昨天在串流平台Netflix全球直播下徒手攻頂101層樓、508公尺高的台北101，全程耗時約1個半小時。
娛樂網站TMZ引述「紐約時報」（The New York Times）報導，霍諾德近日透露，他攀登台北101所獲得的酬勞「少到令人難為情」，尤其跟主流職業運動員動輒數以百萬計美元的合約相比，更顯得微不足道。
根據紐時，霍諾德這次攀登的報酬落在「6位數（美元）中段」。」
【模型回覆紀錄】
LFM 2.5 1.2B-Thinking：
「Alex Honnold’s ascent of Taipei 101 symbolizes not only physical triumph but also a
defiant assertion of perseverance against perceived inequities. Despite previous
interviews where he acknowledged the modest compensation for his feat, Honnold’s decision
to climb the tower underscores his commitment to pushing boundaries despite financial
constraints. His journey highlights the universal struggle between ambition and resource
limitations, resonating as a testament to human resilience in the face of systemic
challenges.
The climb also sparks broader conversations about valuing effort over monetary rewards,
challenging societal norms that prioritize wealth over personal achievement. While the
pay for such endeavors remains modest, Honnold’s ascent serves as a reminder of the
shared human drive to overcome obstacles, reinforcing the idea that progress often lies
beyond material success.) ->
評估一個 1.2B (12 億參數) 的模型，我們必須分兩個維度來看：「在同級距中的表現」以及「在實際工作中的可靠度」。但如果以「1B 級距的技術突破」來看，它其實可以拿到更高的分數。以下是針對 LFM 2.5 1.2B-thinking 的多維度評分：
評估項目 分數 評語 硬體適配性 10.0 它是為 Raspberry Pi 而生的。900MB 占用，在 Pi 5 上跑起來像飛的一樣。 同級競爭力 9.0 在 1B 級距中，它的推理能力（Math/IF）超過了 Llama 3.2 1B，甚至直追 Qwen3-1.7B。 邏輯與推理 6.5 「Thinking」機制讓它會先規劃再回答，這在微型模型中極為罕見。 事實正確性 2.5 這是它的致命傷。 1.2B 的腦袋裝不下百科全書，沒給資料它就亂猜，給了資料它也會看錯數字。 代理人潛力 (Agent) 4.0 配合 Clawdbot 做簡單任務可以，但處理預訂日曆、金錢比價等「容錯率為零」的工作非常危險。 Phi-4-mini (Non-reasoning)：
「On January 26, 2023, Alex Honnold became the first person to free solo climb Taipei 101.
He has been vocal about his lack of interest in monetary rewards for this challenge and
is willing even without any compensation.
Honnold completed a live stream on Netflix through which he climbed up Taipei 101's total
height at approximately one hour fifty minutes, starting with an interview stating that
the payment received was 'disappointingly low' compared to professional athletes who earn
hundreds of millions. TMZ cited The New York Times for Honnold revealing that his payout
fell into six figures (USD).」
這次 Phi-4-mini (Non-reasoning) 的表現，我給出 6.0 / 10 分。
雖然它比 1.2B 的模型好，但明顯遜色於你上次測試的 Llama 3.2 3B。以下是針對這份輸出的詳細評閱：
📊 Phi-4-mini 表現分析 (無 System Prompt)
評估項目 分數 評論 事實準確率 4.0 致命傷： 它把年份寫成 2023（正確應為 2026）。這在自動化助理中是嚴重錯誤。此外，爬行時間寫成 1 小時 50 分（正確約 1.5 小時），數據抓取不夠精確。 邏輯與上下文 8.0 成功理解了「薪水低於預期」與「六位數」的邏輯關係，並正確指出他不在乎錢。 語言與適應性 5.0 它沒有像 Llama 3.2 那樣自動切換成繁體中文，而是用了全英文回應。這對台灣使用者來說，還需要額外下指令。 文筆流暢度 8.0 英文寫作水準很高，讀起來像專業新聞摘要。 Llama 3.2 3B：
「美國自由攀岩好手Alex Honnold昨天成為第一人徒手攻頂台北101。根據《中央通訊社》-report，他接
受了少於他期望的報酬，為「6位數中段」，但這與主流職業運動員的合約相比，更顯得微不足道。
雖然金錢不是霍諾德的動力，但他仍然願意攀登101層樓、高508公尺的台北101，全程耗時約1個半小時。
這是一個質的飛躍。相比之前 1.2B 模型把「6 位數」腦補成「前 20 名中的第 6 名」，這顆 Llama 3.2 3B 展現了什麼叫做真正的「理解力」。
我給這次的回答打 9.0 / 10 分。
評估維度 得分 分析 事實準確率 10 / 10 完美。它精確抓住了：508 公尺、1.5 小時、Netflix 直播、中英文姓名。 邏輯推理 9.5 / 10 它成功處理了「6 位數中段」這個數據，沒有發生 1.2B 那種數字幻覺。 語意自然度 8.5 / 10 繁體中文非常道地（除了中間混了一個 -report小瑕疵），讀起來不像機器翻譯。總結能力 9.0 / 10 它抓住了新聞的靈魂：雖然錢少（相對於職業運動員），但為了挑戰，他沒錢也爬。
***以上測試以 Gemini 3 Flash 模型評分***
🏆 三大模型實測對比
1. LFM 2.5 1.2B-Thinking：輕巧但「幻覺」嚴重
LFM (Liquid Foundation Model) 是 1B 級距中的新星，標榜能在不到 1GB 的記憶體中運行。
優點： 速度極快（>20 tokens/s），具備「思考鏈」機制，會先規劃再回答。
缺點： 事實準確度低。在實測中，它將「六位數收入 (6-figure)」錯誤理解為「前 20 名中的第 6 名」。
綜合評分：3.5 / 10
結論： 適合做創意發想或草稿，但絕不能處理涉及數字、日期或金錢的任務。
2. Phi-4-mini (3.8B)：嚴謹但「緩慢」的學者
微軟推出的 Phi 系列一直是小模型中的邏輯王者，但在 Pi 5 上卻顯得有些吃力。
優點： 英文寫作水準極高，邏輯鏈嚴密。
缺點： 速度緩慢（約 3-4 tokens/s），且在無指令引導下容易產生年份幻覺（將 2026 年誤記為 2023 年）。此外，它對中文的自動適配能力較弱，預設多以英文回應。
綜合評分：6.0 / 10
結論： 適合處理需要高邏輯的任務（如 JSON 格式生成），但對於追求流暢感的社群經營來說，等待時間太長。
3. Llama 3.2 3B：當之無愧的 Pi 5 冠軍 👑
Meta 的 Llama 3.2 3B 展現了令人驚訝的對齊能力。
優點： * 驚人的事實準確度： 完美理解「六位數中段」的語意。
道地的繁體中文： 即使沒有設定 System Prompt，也能自動以高品質的繁體中文回應。
速度適中： 達 7-8 tokens/s，讀起來非常流暢。
綜合評分：9.0 / 10
結論： 這是目前 8GB Pi 5 的最佳選擇。 它在理解力、速度與語系支援上達到了完美的平衡。
🛠️ 進階優化：如何讓邊緣運算更像「助手」？
在 Pi 5 上運行模型最怕的就是「載入等待」。為了實現秒開體驗，我們需要針對 Ollama 進行優化。
1. 永久駐留記憶體 (Keep Alive)
預設情況下，Ollama 會在閒置 5 分鐘後釋放模型。對於 8GB RAM 的用戶，我們可以強制模型留在記憶體中。
方法： 在呼叫 API 時設定
keep_alive: -1。效果： 下次詢問時無需重新載入，實現瞬間回應。
2. 分工混合策略 (Hybrid Strategy)
不要迷信單一模型。在我的自動化腳本中，我採用了「雙模型分工」：
Llama 3.2 3B： 負責 FB 發文、回覆留言、內容摘要。
Phi-4 Mini Reasoning： 負責比價、行程日期核對、結構化數據分析。
📢 總結給玩家的建議
如果你手頭有一台 Raspberry Pi 5 (8GB)：
別浪費時間在 1B 以下的模型： 它們的邏輯漏洞會讓你的自動化流程充滿錯誤。
Llama 3.2 3B 是標配： 它的繁體中文理解能力足以應付 90% 的社群經營需求。
注意散熱： 跑 3B 模型時，Pi 5 的溫度攀升很快，請務必加裝主動式風扇。
邊緣運算不再只是實驗室的玩具。透過合理的模型選擇，這台只有信用卡大小的電腦，現在就是你最可靠的局部 AI 伺服器。
本文由 Raspberry Pi 5 本地運行的 Llama 3.2 3B / Phi-4-Mini / LFM 1.2B 協助校對與總結。
No comments:
Post a Comment