5|把 disk 當信箱:OS 怎麼跟 LLM 講話

自製 RISC-V OS 系列第 5 篇:OS 沒有網路時怎麼把問題送給 LLM。用 disk 的三個 sector 當信箱,一個放 request、一個放 response、一個放 status;host 上的 Python 盯著同一個檔案。講 status 怎麼輪流、兩邊同時讀寫為什麼不會亂,以及這個做法的限制。

發布
字數
1,537
閱讀
約 4 分鐘
瀏覽
0
系列與本頁目錄
  1. 總覽
  2. 1|開機流程與 memory layout
  3. 2|virtual memory:page table 與 user space
  4. 3|process、context switch 與 system call
  5. 4|virtio-blk driver
  6. 5|把 disk 當信箱:OS 怎麼跟 LLM 講話
  1. 問題:這個 OS 沒有網路
  2. 想法:disk 就是 host 上的一個檔案
  3. 三個 sector 各放什麼
  4. status:現在輪到誰
  5. 問一個問題的完整過程
  6. 為什麼兩邊同時讀寫同一個檔案不會亂
  7. 把 LLM 留在 host 的好處
  8. 限制
  9. 如果要往下做
  10. 這一篇的重點

前四篇把 OS 本身講完了。這一篇講這個專題真正想做的事:讓 shell 可以跟 LLM 對話。

問題:這個 OS 沒有網路

要呼叫 LLM 的 API,正常的做法是送一個 HTTPS request。對這個 OS 來說,那代表要先有:

  • 網路卡的 driver(virtio-net)
  • TCP/IP
  • TLS
  • HTTP
  • 產生和解析 JSON

每一項都比整個 OS 現在的程式碼還多。

但我手上已經有一樣東西可以通到外面:上一篇的 virtio-blk driver。

想法:disk 就是 host 上的一個檔案

OS 看到的 disk,在 host 上是一個普通的檔案 lorem.txt。

  • OS 寫 sector,其實是 QEMU 去改那個檔案。
  • host 上的任何程式,也都可以打開那個檔案來讀寫。

所以這個檔案兩邊都碰得到。OS 把問題寫進去,host 上的程式讀出來拿去問 LLM,再把回答寫回去給 OS 讀。

不用網路,只要會讀寫 sector。

自己寫的 OSshellsystem call200 / 201kernellorem.txtsector 0requestsector 1responsesector 2statushostPythonhost 上的服務LLM寫讀讀寫讀寫讀寫
把 disk 當信箱:OS 和 host 讀寫的是同一個檔案的三個 sector。

三個 sector 各放什麼

sector 放什麼 誰寫 誰讀
0 request:使用者的問題 OS host
1 response:LLM 的回答 host OS
2 status:現在輪到誰 兩邊 兩邊

沒有 file system,所以沒有檔名,就是直接用 sector 編號。一個 sector 是 512 bytes,內容是一段以 0 結尾的字串。

status:現在輪到誰

sector 2 裡只會出現三種字串:

idlerequest_sentresponse_readyOS 寫好問題host 寫好回答OS 讀走回答輪到 OS輪到 host輪到 OS開機時 OS 會先把它寫成 idle
sector 2 裡的 status 只會是這三種。每一種都只有一邊可以動。
status 意思 接下來該誰動
idle 沒事 OS(等使用者問問題)
request_sent sector 0 有一個新問題 host
response_ready sector 1 有回答了 OS

問一個問題的完整過程

sequenceDiagram
  participant S as shell
  participant K as kernel
  participant F as lorem.txt
  participant P as Python<br/>(host)
  participant L as LLM
  Note over S: 使用者打字,按 Enter
  S->>K: system call 200,帶著問題
  K->>F: 問題寫進 sector 0
  K->>F: sector 2 寫成 request_sent
  loop 每 0.1 秒
    P->>F: 讀 sector 2
  end
  P->>F: 看到 request_sent,讀 sector 0
  P->>L: 把問題送給 LLM
  L->>P: 回答
  P->>F: 回答寫進 sector 1
  P->>F: sector 2 寫成 response_ready
  loop 一直問
    S->>K: system call 201
    K->>F: 讀 sector 2
    K->>S: 還沒好,回傳 0
  end
  K->>F: 看到 response_ready,讀 sector 1
  K->>F: sector 2 寫回 idle
  K->>S: 把回答複製給 shell,回傳 1
  Note over S: 印出回答

OS 這邊對應兩個 system call:

200 號 SYS_LLM_SEND_REQUEST:kernel 把 shell 傳進來的字串複製一份,寫進 sector 0,再把 sector 2 寫成 request_sent。

201 號 SYS_LLM_GET_RESPONSE:kernel 讀 sector 2。如果是 response_ready,就讀 sector 1、把內容複製到 shell 給的 buffer、把 sector 2 寫回 idle,回傳 1。其他情況回傳 0,代表還沒好。

shell 送出問題之後,就是一個迴圈一直呼叫 201 號,中間空轉一小段時間,最多試 20,000 次。一直等不到的話會印:

Text
AI: 抱歉,沒有收到回應。請檢查 Host 端服務是否正在運行。

host 這邊是一支 138 行的 Python。它每 0.1 秒讀一次 sector 2,看到 request_sent 就做事。我當時接的是 OpenAI 的 API。

為什麼兩邊同時讀寫同一個檔案不會亂

兩個程式沒有任何 lock,卻同時在改同一個檔案,聽起來很危險。它能動,靠的是三件事:

1. status 讓兩邊輪流。 看前面的表:每一種 status 底下,只有一邊會去寫東西。request_sent 的時候只有 host 會寫,response_ready 和 idle 的時候只有 OS 會寫。所以不會兩邊同時寫同一個 sector。

2. 寫的順序。 兩邊都是先寫內容,最後才改 status。

以 OS 為例:先把問題寫進 sector 0,再把 sector 2 改成 request_sent。如果順序反過來,host 可能在問題還沒寫完的時候就看到 request_sent,讀到上一次的舊問題。

host 也一樣:先寫回答,再改成 response_ready。

3. OS 不 cache。 一般的 OS 讀過的 disk 內容會留在記憶體裡,下次直接用。這個 OS 沒有這種機制,每次讀 sector 都是真的請 QEMU 去讀檔案,所以 host 改了什麼,OS 下次讀就看得到。

要老實說:第 3 點是「剛好可以」,不是設計出來的保證。兩個程式不經過 lock 同時改一個 disk image,在正式的系統裡是不該做的事。當成一個 proof of concept,它夠用。

把 LLM 留在 host 的好處

OS 這邊完全不知道對面是哪個 LLM,它只知道「寫 sector 0、等 sector 2 變、讀 sector 1」。

所以要換 LLM,改的是那支 Python:換成別家的 API、換成在本機跑的小模型,OS 都不用重新編譯。兩邊可以分開改。

另外還有 202 號 SYS_LLM_SIMULATE:不經過 disk,kernel 直接看問題裡有沒有 hello、help 這些關鍵字,回一句寫死的話。這是 host 那邊還沒寫好時,用來先測 shell 的。

限制

  • 一則訊息最多 512 bytes。 問題和回答都只用一個 sector,放不下的會被截掉。中文一個字 3 bytes,所以回答大約 170 個字。
  • 問題只能打英文。 shell 讀鍵盤時只收一般的 ASCII 字元。回答可以是中文,因為 OS 只是把 bytes 原樣送到 terminal,是 terminal 把它顯示成中文。
  • 一次只能問一個問題。 只有一組 sector,也只有一個 status。
  • 用 polling。 OS 和 host 兩邊都是一直去看 status 變了沒,等待的時候 CPU 在空轉。
  • 沒有錯誤處理。 host 那支程式沒開的話,OS 只能等到次數用完。

如果要往下做

這個做法證明了一件事:一個只有一千多行、沒有網路的 OS,也能跟 LLM 對話,只要它有一條通到外面的路。

接下來想做的方向,總覽最後有列。跟這一篇最有關的是兩個:

  • 有了 file system,就不用寫死 sector 編號,訊息長度也不用卡在 512 bytes。
  • 最終想把一個夠小的 LLM 搬進 OS 裡面自己推論,那時候就不需要 host 了。

這一篇的重點

  • OS 沒有網路,但 disk 在 host 上是一個檔案,兩邊都能讀寫,所以拿它來傳訊息。
  • 三個 sector:request、response、status。
  • status 只有 idle、request_sent、response_ready 三種,決定現在輪到誰。
  • 兩邊都是先寫內容再改 status,所以對方不會讀到寫到一半的東西。
最後更新 2026.11.18

Comments

留言

支援 Markdown、程式碼高亮(```cpp)與 LaTeX($E=mc^2$),Ctrl + Enter 送出。頭像會用你的 e-mail 去 Gravatar 找,e-mail 本身不會公開。

載入留言中…

Esc

輸入關鍵字,例如「線段樹」「Makefile」「面試」。

↑ ↓ 選擇Enter 開啟