系列與本頁目錄
前四篇把 OS 本身講完了。這一篇講這個專題真正想做的事:讓 shell 可以跟 LLM 對話。
問題:這個 OS 沒有網路
要呼叫 LLM 的 API,正常的做法是送一個 HTTPS request。對這個 OS 來說,那代表要先有:
- 網路卡的 driver(virtio-net)
- TCP/IP
- TLS
- HTTP
- 產生和解析 JSON
每一項都比整個 OS 現在的程式碼還多。
但我手上已經有一樣東西可以通到外面:上一篇的 virtio-blk driver。
想法:disk 就是 host 上的一個檔案
OS 看到的 disk,在 host 上是一個普通的檔案 lorem.txt。
- OS 寫 sector,其實是 QEMU 去改那個檔案。
- host 上的任何程式,也都可以打開那個檔案來讀寫。
所以這個檔案兩邊都碰得到。OS 把問題寫進去,host 上的程式讀出來拿去問 LLM,再把回答寫回去給 OS 讀。
不用網路,只要會讀寫 sector。
三個 sector 各放什麼
| sector | 放什麼 | 誰寫 | 誰讀 |
|---|---|---|---|
| 0 | request:使用者的問題 | OS | host |
| 1 | response:LLM 的回答 | host | OS |
| 2 | status:現在輪到誰 | 兩邊 | 兩邊 |
沒有 file system,所以沒有檔名,就是直接用 sector 編號。一個 sector 是 512 bytes,內容是一段以 0 結尾的字串。
status:現在輪到誰
sector 2 裡只會出現三種字串:
| status | 意思 | 接下來該誰動 |
|---|---|---|
idle |
沒事 | OS(等使用者問問題) |
request_sent |
sector 0 有一個新問題 | host |
response_ready |
sector 1 有回答了 | OS |
問一個問題的完整過程
sequenceDiagram
participant S as shell
participant K as kernel
participant F as lorem.txt
participant P as Python<br/>(host)
participant L as LLM
Note over S: 使用者打字,按 Enter
S->>K: system call 200,帶著問題
K->>F: 問題寫進 sector 0
K->>F: sector 2 寫成 request_sent
loop 每 0.1 秒
P->>F: 讀 sector 2
end
P->>F: 看到 request_sent,讀 sector 0
P->>L: 把問題送給 LLM
L->>P: 回答
P->>F: 回答寫進 sector 1
P->>F: sector 2 寫成 response_ready
loop 一直問
S->>K: system call 201
K->>F: 讀 sector 2
K->>S: 還沒好,回傳 0
end
K->>F: 看到 response_ready,讀 sector 1
K->>F: sector 2 寫回 idle
K->>S: 把回答複製給 shell,回傳 1
Note over S: 印出回答
OS 這邊對應兩個 system call:
200 號 SYS_LLM_SEND_REQUEST:kernel 把 shell 傳進來的字串複製一份,寫進 sector 0,再把 sector 2 寫成 request_sent。
201 號 SYS_LLM_GET_RESPONSE:kernel 讀 sector 2。如果是 response_ready,就讀 sector 1、把內容複製到 shell 給的 buffer、把 sector 2 寫回 idle,回傳 1。其他情況回傳 0,代表還沒好。
shell 送出問題之後,就是一個迴圈一直呼叫 201 號,中間空轉一小段時間,最多試 20,000 次。一直等不到的話會印:
AI: 抱歉,沒有收到回應。請檢查 Host 端服務是否正在運行。host 這邊是一支 138 行的 Python。它每 0.1 秒讀一次 sector 2,看到 request_sent 就做事。我當時接的是 OpenAI 的 API。
為什麼兩邊同時讀寫同一個檔案不會亂
兩個程式沒有任何 lock,卻同時在改同一個檔案,聽起來很危險。它能動,靠的是三件事:
1. status 讓兩邊輪流。 看前面的表:每一種 status 底下,只有一邊會去寫東西。request_sent 的時候只有 host 會寫,response_ready 和 idle 的時候只有 OS 會寫。所以不會兩邊同時寫同一個 sector。
2. 寫的順序。 兩邊都是先寫內容,最後才改 status。
以 OS 為例:先把問題寫進 sector 0,再把 sector 2 改成 request_sent。如果順序反過來,host 可能在問題還沒寫完的時候就看到 request_sent,讀到上一次的舊問題。
host 也一樣:先寫回答,再改成 response_ready。
3. OS 不 cache。 一般的 OS 讀過的 disk 內容會留在記憶體裡,下次直接用。這個 OS 沒有這種機制,每次讀 sector 都是真的請 QEMU 去讀檔案,所以 host 改了什麼,OS 下次讀就看得到。
要老實說:第 3 點是「剛好可以」,不是設計出來的保證。兩個程式不經過 lock 同時改一個 disk image,在正式的系統裡是不該做的事。當成一個 proof of concept,它夠用。
把 LLM 留在 host 的好處
OS 這邊完全不知道對面是哪個 LLM,它只知道「寫 sector 0、等 sector 2 變、讀 sector 1」。
所以要換 LLM,改的是那支 Python:換成別家的 API、換成在本機跑的小模型,OS 都不用重新編譯。兩邊可以分開改。
另外還有 202 號 SYS_LLM_SIMULATE:不經過 disk,kernel 直接看問題裡有沒有 hello、help 這些關鍵字,回一句寫死的話。這是 host 那邊還沒寫好時,用來先測 shell 的。
限制
- 一則訊息最多 512 bytes。 問題和回答都只用一個 sector,放不下的會被截掉。中文一個字 3 bytes,所以回答大約 170 個字。
- 問題只能打英文。 shell 讀鍵盤時只收一般的 ASCII 字元。回答可以是中文,因為 OS 只是把 bytes 原樣送到 terminal,是 terminal 把它顯示成中文。
- 一次只能問一個問題。 只有一組 sector,也只有一個 status。
- 用 polling。 OS 和 host 兩邊都是一直去看 status 變了沒,等待的時候 CPU 在空轉。
- 沒有錯誤處理。 host 那支程式沒開的話,OS 只能等到次數用完。
如果要往下做
這個做法證明了一件事:一個只有一千多行、沒有網路的 OS,也能跟 LLM 對話,只要它有一條通到外面的路。
接下來想做的方向,總覽最後有列。跟這一篇最有關的是兩個:
- 有了 file system,就不用寫死 sector 編號,訊息長度也不用卡在 512 bytes。
- 最終想把一個夠小的 LLM 搬進 OS 裡面自己推論,那時候就不需要 host 了。
這一篇的重點
- OS 沒有網路,但 disk 在 host 上是一個檔案,兩邊都能讀寫,所以拿它來傳訊息。
- 三個 sector:request、response、status。
- status 只有
idle、request_sent、response_ready三種,決定現在輪到誰。 - 兩邊都是先寫內容再改 status,所以對方不會讀到寫到一半的東西。
載入留言中…