系列與本頁目錄
高二的時候,我照著 Operating System in 1,000 Lines 寫了一個跑在 RISC-V 32 上的小作業系統,然後幫它加了一個功能:在它的 shell 裡打 llm,就可以跟 LLM 對話。
2025 年 8 月 9 日我在 COSCUP 講了這個題目:「探索輕量級 AI 系統的可能性:在簡易 OS 上運行 LLM」。

這個系列把它拆成五篇來講。重點放在概念和架構,圖會比程式碼多;程式碼只放不看就講不清楚的那幾段,完整的都在 GitHub。
它跑起來的樣子
下面是在 QEMU 裡開機之後的畫面。> 是 shell 的 prompt,打 llm 進入對話模式:
virtio-blk: capacity is 2048 bytes
first sector: hi
LLM 檔案系統已初始化
> hello
Hello world from shell!
> llm
=== LLM 對話模式 ===
輸入 !exit 退出對話模式
輸入 !help 查看幫助
輸入 !status 查看連接狀態
AI> what is an OS?
[發送請求中...]
[等待回應中...]
AI: (LLM 的回答會印在這裡)
AI> !exit
退出 LLM 對話模式
>為什麼做這個
LLM 越做越小。1B 到 3B 參數的模型只要幾 GB 的記憶體,不用 GPU 也跑得動。
模型變小了,底下的作業系統是不是也可以跟著變小?現在跑 LLM 幾乎都是一整套 Linux,但像導覽機、翻譯機這種只做一件事的裝置,其實用不到那麼多東西。
所以我想試試看:不用完整的 OS,能不能也跟 LLM 溝通?
另一個原因很單純:我對作業系統有興趣,尤其是 scheduling 和記憶體管理,想自己從頭寫一次。
系統小有三個好處:
- 需要的資源少。
- 元件少,會壞的地方也少。
- 沒有多餘的服務,能被攻擊的地方也少。
先講清楚:LLM 不是跑在這個 OS 裡面
這個 OS 負責的是「溝通」:把使用者的問題送出去,把回答拿回來顯示。真正跑 LLM 的是外面那台電腦(host)。
這是刻意的分工。OS 可以做得很小,host 那邊要換哪個 LLM 都不用動 OS。
把 LLM 搬進 OS 裡面自己推論,是之後想做的事,放在這一頁最後面。
整體架構
問一個問題,資料是這樣走的:
- 使用者在 shell 打字。shell 跑在權限最低的 user mode,自己碰不到硬體。
- shell 發出 system call,把問題交給 kernel。
- kernel 透過 virtio-blk driver,把問題寫進 disk 的第 0 個 sector。
- 這顆「disk」其實是 host 上的一個檔案
lorem.txt。host 上的 Python 程式一直盯著它,看到新的問題就拿去問 LLM。 - Python 把回答寫回檔案的第 1 個 sector。
- kernel 讀到回答,交還給 shell 印出來。
這個 OS 沒有網路功能,所以用了這個繞法:把 disk 當成信箱。細節在第 5 篇。
這個 OS 有什麼
| 部分 | 做什麼 | 檔案 | 行數 |
|---|---|---|---|
| kernel | 開機、process、context switch、trap、system call | kernel.c、kernel.h |
682 |
| 記憶體 | 配置 physical page、建 page table | mm.c |
37 |
| disk driver | virtio-blk,讀寫 sector | virtio.c、virtio.h |
116 |
| shell | 使用者打指令的地方,含 LLM 對話模式 | shell.c |
229 |
| user 端的函式庫 | system call 的包裝、程式 entry point | user.c、user.h |
58 |
| 共用函式 | 自己寫的 printf、memcpy、strcpy 等 |
common.c、common.h |
162 |
| host 端 | 盯著 disk image、呼叫 LLM | llm_host_service.py |
138 |
C 的部分加起來 1,284 行。
沒有的東西也列一下,免得誤會:
- 沒有 timer interrupt,process 要自己讓出 CPU 才會切換。
- 沒有 file system,disk 是直接照 sector 編號讀寫。
- 配出去的記憶體不會回收。
- 沒有網路,只有單核心。
系列目錄
| 篇 | 在講什麼 |
|---|---|
| 1|開機流程與 memory layout | 這台虛擬機長怎樣、三個 privilege level、從通電到 kernel_main 中間發生的事、kernel 自己佔了哪些記憶體 |
| 2|virtual memory:page table 與 user space | shell 用的 virtual address 是哪來的、kernel 怎麼把它接到真正的記憶體上、兩層 page table 怎麼查、satp 怎麼決定現在用哪張表 |
| 3|process、context switch 與 system call | 一個 process 由什麼組成、切換時存了什麼、第一次怎麼進到 user mode、ecall 之後 CPU 和 kernel 各做了什麼 |
| 4|virtio-blk driver | virtio 是什麼、driver 和 device 怎麼 handshake、一次讀寫要準備哪三塊資料、怎麼知道 device 做完了 |
| 5|把 disk 當信箱:OS 怎麼跟 LLM 講話 | 三個 sector 各放什麼、status 怎麼輪流、兩邊同時讀寫一個檔案為什麼不會亂、這個做法的限制 |
自己跑跑看
需要三樣東西:
clang(要支援riscv32這個 target)和llvm-objcopyqemu-system-riscv32- Python 3 和
openai套件,另外要一把 OpenAI 的 API key
開兩個 terminal。第一個編譯並開機:
git clone https://github.com/yilinguo121/llm_os
cd llm_os
./run.sh第二個啟動 host 端的服務:
cd llm_os
export OPENAI_API_KEY=你的金鑰
python3 llm_host_service.py回到第一個 terminal,在 > 後面打 llm,就可以問問題了。要離開 QEMU 按 Ctrl+A 再按 X。
沒有 API key 也可以開機、用 shell,只是進了對話模式不會有人回答。
2026 年 11 月在 Ubuntu 26.04、QEMU 10.2 上重新編譯,還能動。
之後想做的
- 多核心:需要 spin lock、能把 process 分給不同核心的 scheduler。
- file system:記下每個檔案從哪個 sector 開始、多大,這樣就能放自己的程式,也能放模型檔。
- 記憶體管理:能回收用完的記憶體,也能配置比一個 page 小的空間。
- 把 LLM 搬進來:參考 Andrej Karpathy 的 Let's build GPT,寫一個小到可以在這個 OS 裡面自己推論的模型。
參考資料
- Operating System in 1,000 Lines:這個 OS 的基礎,開機、process、page table、virtio 的寫法都是跟著它學的
- Demystifying Memory Sub-systems Part 2: Virtual Memory
- RISC-V Privilege Levels and System Startup(openEuler)
- 从 xv6 看页表如何实现(6.S081 Page tables)
- Let's build GPT: from scratch, in code, spelled out.
- The RISC-V Instruction Set Manual, Volume II: Privileged Architecture
- cccriscv/mini-riscv-os
- Linux 虚拟化 KVM-Qemu 分析 virtqueue
- jserv/mini-arm-os
載入留言中…