2026-04-11
【LLM應用】做 LLM 應用，你在第幾關？
「LLM 應用開發」這個詞，最近是不是感覺被寫爛了？
教你串 API 的文章滿天飛，教你寫 prompt 的課一堆，但說真的，很少人跟你講一句老實話：學完這些，你才剛把鞋穿好而已。
我自己就是這樣過來的。一開始跑得起來就覺得做完了，結果問題一個一個冒出來——格式亂掉、API 費用燒得莫名其妙、改了 prompt 也不知道有沒有變好，只能人工盯著看。（淚
所以今天想跟大家分享一張我自己整理的地圖，給那些跟我一樣在用 AI 搞 side project、做個人自動化小工具的夥伴們參考。
地圖長這樣
三個階段，先丟出來讓大家瞄一眼：
| 階段 | 目標 | 核心思維 | 你在這裡嗎？ |
|---|---|---|---|
| 管線編排 | 先跑起來 | 像搭樂高 | 大部分人的起點 |
| 工程落地 | 控得住、算得精 | 用工程限制模型 | 有痛點才會到這 |
| 運維評估 | 省心、放心 | 讓它自己顧自己 | 多數人還沒到這 |
這三個階段沒有人只選一個，遲早都要一路走過來啦。
第一關：管線編排
這一關的目標超簡單，就是讓東西跑起來。
你在學的是怎麼把模型的輸入輸出串起來、怎麼管對話的上下文、怎麼讓它去查你自己的資料而不是靠猜。玩起來很爽，有點像在拼樂高，每塊積木接上去都超有成就感。
核心大概三塊積木：
- I/O 結構化——System Prompt 跟 User Prompt 怎麼分工
- 基礎 RAG——讓模型查得到你的資料，不是只會講訓練資料的事
- 對話記憶——上下文怎麼管，讓它不要聊三句話就失憶
這一關最容易掉進去的坑，就是跑起來就以為做完了。格式穩不穩不管、API 費用多少不管，能動就好。
沒關係，真的每個人都這樣過來的（我也是）。
第二關：工程落地
玩了一陣子，痛點就來了。
輸出偶爾亂掉啦、月底看 API 帳單心痛啦、改了一個 prompt 又不知道效果有沒有變好啦。這些問題靠繼續調 prompt 是解決不了的。
這一關要做的，是開始用工程的方法去管住模型，而不是一直跟它賭人品。
三個核心技能：
- 結構化輸出——強制模型只能輸出你要的格式，不能多嘴
- 語意快取——相似的請求直接回傳快取，不重複打 API，帳單才不會爆
- 智能路由——簡單的任務走便宜的小模型就好，複雜的再交給大模型
到這裡，你開始像工程師一樣思考。prompt 越寫越長沒有用，重點是讓系統架構幫你撐住那些不確定性。
第三關：運維評估
這一關要解的是：你能不能放心去睡覺，讓它自己顧自己。
腳本跑錯了自動重試、輸出不好自動修、改了 prompt 有數字告訴你變好還是變壞，不用人工眼睛掃。
幾個關鍵概念：
- Agent 狀態機——讓 AI 從「被動跑完」變成「自己想辦法」
- LLM-as-a-Judge——用另一個 LLM 幫你打分，不靠感覺判斷好壞
- 可觀測性——每次跑的狀況都記下來，出問題有跡可查，不用靠猜
說真的，這一關跟 prompt 技巧已經沒什麼關係了，是整個做東西的思維在換檔次。
你現在在哪一關呢？
不管在哪，都不用急啦。跳關才危險——第一關還沒穩就急著做監控，是在搭空中樓閣。
有痛點，再補技能，這才是這張地圖的正確用法。
接下來這個系列，我們一關一關來，每篇專心講一個階段。先從最多人在的地方開始——下一篇：第一關，管線編排。
若喜歡這樣的文章，還請給我幾個掌聲，您的支持是我寫下去的原動力！
我是一個半路出家卻把 coding 當作興趣，且不斷鑽研技巧的開發者，希望有朝一日能成為全然獨當一面的技術大神。
祝大家天天有 coding，天天有成長！