在自己寫的 RISC-V OS 上跟 LLM 對話

高二時照著 OS in 1,000 Lines 寫了一個 RISC-V 32 的小作業系統,再讓它的 shell 可以跟 LLM 對話,2025 年在 COSCUP 分享。這個系列用圖把它拆開來講:開機、virtual memory、process 與 system call、VirtIO disk,以及 OS 沒有網路時怎麼把問題送出去。這一頁是總覽與目錄。

發布
字數
1,477
閱讀
約 4 分鐘
瀏覽
2
系列與本頁目錄
  1. 總覽
  2. 1|開機流程與 memory layout
  3. 2|virtual memory:page table 與 user space
  4. 3|process、context switch 與 system call
  5. 4|virtio-blk driver
  6. 5|把 disk 當信箱:OS 怎麼跟 LLM 講話
  1. 它跑起來的樣子
  2. 為什麼做這個
  3. 先講清楚:LLM 不是跑在這個 OS 裡面
  4. 整體架構
  5. 這個 OS 有什麼
  6. 系列目錄
  7. 自己跑跑看
  8. 之後想做的
  9. 參考資料

高二的時候,我照著 Operating System in 1,000 Lines 寫了一個跑在 RISC-V 32 上的小作業系統,然後幫它加了一個功能:在它的 shell 裡打 llm,就可以跟 LLM 對話。

2025 年 8 月 9 日我在 COSCUP 講了這個題目:「探索輕量級 AI 系統的可能性:在簡易 OS 上運行 LLM」。

COSCUP 2025 的現場

這個系列把它拆成五篇來講。重點放在概念和架構,圖會比程式碼多;程式碼只放不看就講不清楚的那幾段,完整的都在 GitHub。

它跑起來的樣子

下面是在 QEMU 裡開機之後的畫面。> 是 shell 的 prompt,打 llm 進入對話模式:

Text
virtio-blk: capacity is 2048 bytes
first sector: hi
LLM 檔案系統已初始化
> hello
Hello world from shell!
> llm

=== LLM 對話模式 ===
輸入 !exit 退出對話模式
輸入 !help 查看幫助
輸入 !status 查看連接狀態

AI> what is an OS?
[發送請求中...]
[等待回應中...]

AI: (LLM 的回答會印在這裡)

AI> !exit
退出 LLM 對話模式
>

為什麼做這個

LLM 越做越小。1B 到 3B 參數的模型只要幾 GB 的記憶體,不用 GPU 也跑得動。

模型變小了,底下的作業系統是不是也可以跟著變小?現在跑 LLM 幾乎都是一整套 Linux,但像導覽機、翻譯機這種只做一件事的裝置,其實用不到那麼多東西。

所以我想試試看:不用完整的 OS,能不能也跟 LLM 溝通?

另一個原因很單純:我對作業系統有興趣,尤其是 scheduling 和記憶體管理,想自己從頭寫一次。

系統小有三個好處:

  • 需要的資源少。
  • 元件少,會壞的地方也少。
  • 沒有多餘的服務,能被攻擊的地方也少。

先講清楚:LLM 不是跑在這個 OS 裡面

這個 OS 負責的是「溝通」:把使用者的問題送出去,把回答拿回來顯示。真正跑 LLM 的是外面那台電腦(host)。

這是刻意的分工。OS 可以做得很小,host 那邊要換哪個 LLM 都不用動 OS。

把 LLM 搬進 OS 裡面自己推論,是之後想做的事,放在這一頁最後面。

整體架構

QEMU 裡的 RISC-V 32 虛擬機shelluser modekernelsupervisor modevirtio-blk driversystem calllorem.txtdisk image讀寫 sectorhost(外面那台電腦)llm_host_service.pyPythonLLMAPI讀寫檔案123456
問一個問題,資料怎麼走。圓圈裡的數字對應下面的六個步驟。

問一個問題,資料是這樣走的:

  1. 使用者在 shell 打字。shell 跑在權限最低的 user mode,自己碰不到硬體。
  2. shell 發出 system call,把問題交給 kernel。
  3. kernel 透過 virtio-blk driver,把問題寫進 disk 的第 0 個 sector。
  4. 這顆「disk」其實是 host 上的一個檔案 lorem.txt。host 上的 Python 程式一直盯著它,看到新的問題就拿去問 LLM。
  5. Python 把回答寫回檔案的第 1 個 sector。
  6. kernel 讀到回答,交還給 shell 印出來。

這個 OS 沒有網路功能,所以用了這個繞法:把 disk 當成信箱。細節在第 5 篇。

這個 OS 有什麼

部分 做什麼 檔案 行數
kernel 開機、process、context switch、trap、system call kernel.c、kernel.h 682
記憶體 配置 physical page、建 page table mm.c 37
disk driver virtio-blk,讀寫 sector virtio.c、virtio.h 116
shell 使用者打指令的地方,含 LLM 對話模式 shell.c 229
user 端的函式庫 system call 的包裝、程式 entry point user.c、user.h 58
共用函式 自己寫的 printf、memcpy、strcpy 等 common.c、common.h 162
host 端 盯著 disk image、呼叫 LLM llm_host_service.py 138

C 的部分加起來 1,284 行。

沒有的東西也列一下,免得誤會:

  • 沒有 timer interrupt,process 要自己讓出 CPU 才會切換。
  • 沒有 file system,disk 是直接照 sector 編號讀寫。
  • 配出去的記憶體不會回收。
  • 沒有網路,只有單核心。

系列目錄

篇 在講什麼
1|開機流程與 memory layout 這台虛擬機長怎樣、三個 privilege level、從通電到 kernel_main 中間發生的事、kernel 自己佔了哪些記憶體
2|virtual memory:page table 與 user space shell 用的 virtual address 是哪來的、kernel 怎麼把它接到真正的記憶體上、兩層 page table 怎麼查、satp 怎麼決定現在用哪張表
3|process、context switch 與 system call 一個 process 由什麼組成、切換時存了什麼、第一次怎麼進到 user mode、ecall 之後 CPU 和 kernel 各做了什麼
4|virtio-blk driver virtio 是什麼、driver 和 device 怎麼 handshake、一次讀寫要準備哪三塊資料、怎麼知道 device 做完了
5|把 disk 當信箱:OS 怎麼跟 LLM 講話 三個 sector 各放什麼、status 怎麼輪流、兩邊同時讀寫一個檔案為什麼不會亂、這個做法的限制

自己跑跑看

需要三樣東西:

  • clang(要支援 riscv32 這個 target)和 llvm-objcopy
  • qemu-system-riscv32
  • Python 3 和 openai 套件,另外要一把 OpenAI 的 API key

開兩個 terminal。第一個編譯並開機:

Shell
git clone https://github.com/yilinguo121/llm_os
cd llm_os
./run.sh

第二個啟動 host 端的服務:

Shell
cd llm_os
export OPENAI_API_KEY=你的金鑰
python3 llm_host_service.py

回到第一個 terminal,在 > 後面打 llm,就可以問問題了。要離開 QEMU 按 Ctrl+A 再按 X。

沒有 API key 也可以開機、用 shell,只是進了對話模式不會有人回答。

2026 年 11 月在 Ubuntu 26.04、QEMU 10.2 上重新編譯,還能動。

之後想做的

  • 多核心:需要 spin lock、能把 process 分給不同核心的 scheduler。
  • file system:記下每個檔案從哪個 sector 開始、多大,這樣就能放自己的程式,也能放模型檔。
  • 記憶體管理:能回收用完的記憶體,也能配置比一個 page 小的空間。
  • 把 LLM 搬進來:參考 Andrej Karpathy 的 Let's build GPT,寫一個小到可以在這個 OS 裡面自己推論的模型。

參考資料

  1. Operating System in 1,000 Lines:這個 OS 的基礎,開機、process、page table、virtio 的寫法都是跟著它學的
  2. Demystifying Memory Sub-systems Part 2: Virtual Memory
  3. RISC-V Privilege Levels and System Startup(openEuler)
  4. 从 xv6 看页表如何实现(6.S081 Page tables)
  5. Let's build GPT: from scratch, in code, spelled out.
  6. The RISC-V Instruction Set Manual, Volume II: Privileged Architecture
  7. cccriscv/mini-riscv-os
  8. Linux 虚拟化 KVM-Qemu 分析 virtqueue
  9. jserv/mini-arm-os
最後更新 2026.11.18

Comments

留言

支援 Markdown、程式碼高亮(```cpp)與 LaTeX($E=mc^2$),Ctrl + Enter 送出。頭像會用你的 e-mail 去 Gravatar 找,e-mail 本身不會公開。

載入留言中…

Esc

輸入關鍵字,例如「線段樹」「Makefile」「面試」。

↑ ↓ 選擇Enter 開啟