← BSC 專題課程

BSC 專題課程

果蠅大腦玩 Doom:重現 fruitfly-lab

把別人公開的程式碼在自己的電腦上重跑一次,逐項判斷「對上了沒有」,再做作者沒做的檢查

10 分 53 秒 · 1080p · 附中文字幕(播放器右下角開啟)。這支影片是整堂課的摘要,可以先看再讀下去。投影片共 12 張,由課程網頁的內容與圖自動產生。 投影片要點與旁白稿在 scripts/video_slides.py,影片由 scripts/make_video.py 產生,規格記在 out/video_meta.json;scripts/video_check.py 檢查「投影片上寫的每一點,旁白有沒有講到」。影片本身也可以直接下載。
這是什麼
一堂「重現」的專題課。重現在這堂課裡的意思:拿作者公開的程式碼與資料,固定在作者用的版本,在另一台電腦上重跑,逐項比對作者公布的數字;本課比的主要是每一局的擊殺數。重現的對象是公開在 GitHub 上的專案 fruitfly-lab,它把果蠅的連結體(connectome:一顆腦裡每一顆神經元連到哪些神經元、各有幾個突觸的完整清單;突觸是兩顆神經元之間傳訊號的接點,一對神經元之間可以有很多個)接到電腦遊戲 Doom 上。清單本身不會動;把清單裡每一顆神經元換成一條方程式,算它什麼時候放電(神經元發出一個短訊號;神經元之間只靠放電傳訊),再照清單接起來,就成了一個會動的模型:每一瞬間都算得出哪些神經元在放電(PART 1 講這件事)。fruitfly-lab 從全腦切出一段視覺追蹤迴路(一小群互相連接、一起完成某件事的神經元),把遊戲回報的敵人方位換算成視覺神經元的刺激送進迴路的輸入端(模型不看畫面的像素)、把幾顆神經元的放電接到按鍵,沒有讓它學習過怎麼玩,就直接在 Doom 裡轉身、瞄準、開火。
為什麼值得單獨開一堂
「果蠅大腦會玩遊戲」這類示範在網路上傳得很快,但看示範影片判斷不了它可不可信。能判斷的辦法只有一個:拿到程式碼,自己重跑,逐項對照作者宣稱的數字。這個專案附了程式碼與對照組(把模型的某一部分拿掉或打亂再跑一次,例如讓一對神經元整場不放電,看成績掉不掉),所以能真的做這件事。這堂課練的是一套流程:拿到別人的程式碼、固定版本、逐項對數字、再補作者沒做的對照;任何領域的公開程式碼都適用。先說兩個條件的名字:接線指照連結體清單把神經元接起來的方式;完整接線是照原清單接;打亂接線是把每條連結的終點隨機重排,每顆神經元送出與收到的連結數不變,只是「連到誰」變了。作者宣稱的主要數字:完整接線的迴路每局平均擊殺 10.2;打亂接線掉到 0.7;損毀一對叫 AOTU025 的神經元,掉到 5.5(每個條件各 10 局)。迴路裡每種神經元左右半腦各一顆,所以說「一對」;損毀是讓那一對整場不放電,看少了它成績掉多少。
怎麼讀
按下面六個按鈕的順序:先弄懂這個專案在做什麼(1),把環境準備好(2),逐步重現(3),再做作者沒做的檢查(4),在影片上逐格看迴路怎麼運作(5),最後讀程式(6):下載包裡有一個檔案 run_all.sh,按一次就把 PART 3、4 全部跑完;PART 6 把它執行到的每一支程式讀一遍。
需要什麼基礎
PART 1 與 PART 5 不需要程式基礎;PART 6 讀程式,但不教語法,不會寫程式也讀得下去。PART 2 到 PART 4 要會在終端機(電腦上輸入文字指令的視窗,Mac 叫終端機、Linux 叫 Terminal;本課只在 Linux 與 macOS 上測過)貼上指令並執行,但不需要會寫程式;所有指令都附在頁面上,也打包成一個下載包。下載包裡只有本課自己寫的指令與檢查程式;作者 fruitfly-lab 的程式碼不在裡面,跑的時候由指令自動從 GitHub 取得(原因見頁尾〈出處〉)。一般筆電就能跑,不需要 GPU;本課實測從解壓縮開始,建環境 43 秒、全部重跑 14 分 42 秒,下載的程式與資料約 441 MB、三個執行環境(裝好特定版本套件的隔離空間,PART 2 卡片與 PART 2 第 4 節解釋)約 2,498 MB(PART 2 第 7 節)。
PART 1 fruitfly-lab 在做什麼

連結體怎麼變成一個會動的模型,要四個零件:連結體本身、神經元方程式(神經元怎麼放電;放電是神經元之間唯一的訊號)、輸入編碼(遊戲回報的敵人方位怎麼換成視覺神經元的刺激)、讀出規則(神經元的放電怎麼變成按鍵)。並逐項分清楚哪些來自資料、哪些是人為設定:例如哪幾顆神經元的放電對應「開火」鍵,是作者決定的,不在連結體資料裡。

概念為主 · 不需程式基礎 · 已完成

PART 2 準備環境與資料

建三個互不干擾的 Python 執行環境(套件是別人寫好、直接拿來用的程式零件,版本不同,算出來的結果就可能不同;執行環境是裝好特定版本套件的一個隔離空間,用 conda 這個工具建;為什麼要三個,第 4 節講)。固定三個東西的版本:作者的程式碼(固定到某一次存檔)、幾個互相衝突的套件、以及遊戲引擎(實際跑 Doom 這個遊戲的軟體,叫 ViZDoom);最會影響結果的是遊戲引擎:版本不固定,每一局的擊殺數就對不上,見下方〈先看數字〉第三格。還有一個會讓結果悄悄改變的陷阱:電腦上另外裝過的 Python 套件會混進環境,而且不會有任何警告。

實作 · 要會用終端機 · 已完成

PART 3 重現 fruitfly-lab

六個步驟(代號 FF1–FF6,FF 指 fruitfly-lab,是本課自己編的),每一步先訂「怎樣算對上」再跑。結果:七種大腦各玩 10 局,每一局的擊殺數都與作者相同。七種大腦是作者設的七個條件:完整接線、損毀一對神經元、損毀兩對、打亂接線(兩種設定,差別在把放電換成按鍵的「門檻」怎麼訂,PART 4 卡片講;本頁其他地方說的打亂接線都是作者拿來當主要對照的那一種)、不用大腦每格隨機按鍵(格:遊戲每更新一次畫面算一格,一秒 35 格)、不用大腦直接照敵人位置瞄準;一局是從開始到玩家死亡。

FF1–FF6 · 要會用終端機 · 已完成

PART 4 作者沒做的檢查

重現成功只代表「照作者的做法會得到作者的數字」。再往前一步做四項作者沒做的檢查(代號 E1–E4,本課自己編的)。先認識幾個名字。迴路裡的訊號從眼睛往身體傳,要經過幾站(站:接力的一群神經元):視覺神經元 LC10a 之後是並排的兩對中間神經元 AOTU019 與 AOTU025,各自接到出口那一站 DNa02(腦把命令送往身體的下行神經元);作者的程式讀 DNa02 與 AOTU019 兩站的放電來決定按鍵。把放電換成按鍵時,放電率(每秒放電幾次,單位 Hz)要高過一個數值才算按下,這個數值叫門檻;門檻不是人訂的,是把假想敵人放在各個方位、量神經元的反應後算出來的,這個步驟叫校準。四項檢查。E1 把 10 局加大到 50 局,因為作者只跑 10 局、p 值剛好壓線(見下方〈先看數字〉第二格)。E2 給打亂接線一個公平的對照:門檻是對某一套接線量出來的,換一套接線,同樣的放電率可能太高或太低,拿別套接線的門檻會讓打亂接線平白按不出鍵或亂按,成績可能被低估;作者的打亂接線每一局用不同的一種打亂,門檻卻只在其中一種上校準、再套到每一局。改成每一種打亂各自校準之後,50 局平均 1.16,仍遠低於完整接線的 9.86。E3 只讀出口那一站 DNa02、不讀 AOTU019,看迴路算出來的瞄準有沒有送到出口。發現:在敵人正前方、模型瞄準開火的那些時刻,DNa02 完全沒有放電,開火全靠中間那一站 AOTU019;DNa02 只在敵人偏到側邊時放電,管的是轉身。作者沒有說出口神經元其實沒參與開火。這不推翻「完整接線比打亂接線好用」,但「果蠅大腦在瞄準」要縮小成「迴路前半段在作者定的讀法下瞄準」;讀法就是 PART 1 說的那件人為設定:拿哪幾顆神經元的放電對應哪個鍵,不在連結體資料裡。E4 追一件重現時看到、作者沒討論的事:刺激右眼時,切出來的迴路裡右邊那顆 DNa02 只放電 4.4 Hz,全腦模型(Shiu 等人 2024 年把 FlyWire,一份雌果蠅全腦的連結體資料,全部 13 萬多顆神經元一起模擬的版本,見頁尾〈出處〉)裡同一顆有 61.6 Hz,差了十幾倍。拿切出來的迴路和全腦模型比,是看切的時候有沒有少掉重要的輸入;DNa02 的放電是轉身的命令,右邊太弱,敵人在右邊時可能轉不過去。在看過的那一局裡沒看到轉錯方向,對遊戲結果的影響本課沒有確定。

E1–E4 · 要會用終端機 · 已完成

PART 5 逐格看迴路怎麼打

把重現時錄下的 Doom 畫面與 8 組神經元(迴路裡的四種神經元各分左右)的放電逐格對齊:完整接線、損毀一對神經元(讓它們整場不放電)、打亂接線三種大腦並排播放。

互動播放 · 不需程式基礎 · 已完成

PART 6 讀程式:一鍵重跑到底跑了什麼

從 run_all.sh 開始,順著「誰叫了誰」往下讀三層:第一層是本課寫的兩支 shell script(一個文字檔,裡面是一行一行的終端機指令),第二層是它們叫到的八支 Python 程式(四支本課寫的、四支作者的),第三層是作者的神經元方程式檔。每一段程式先說在做什麼、為什麼要有,再逐行標記。本課寫的檔案在下載包裡全文放;作者的只在頁面上引片段,想看全文再去 GitHub 取。不用先跑過 PART 2 也能讀。讀完,PART 1 那四個零件(連結體、神經元方程式、輸入編碼、讀出規則)各在哪個檔案、哪幾行就對得上。

讀程式 · 不需終端機、不教語法 · 已完成

先看數字重現出了什麼

70/70
七個條件各 10 局,共 70 局,每一局的擊殺數都與作者相同。遊戲裡敵人的位置是隨機抽的,卻能逐局相同,是因為遊戲與模型的亂數都固定了種子(給亂數產生器的起始數字;種子相同,抽出來的整串隨機數就相同,敵人出現的順序也相同)。前提是用和作者同一版的遊戲引擎 ViZDoom 1.3.0;換一版就不同,見第三格
10 局 → 50 局
作者說損毀 AOTU025 會讓果蠅打得變差。AOTU025 是迴路中段的一對神經元;損毀是讓它們整場不放電。但作者只跑 10 局,算出 p = 0.048:p 是「兩個條件其實沒差別、純靠運氣出現這麼大差距」的機率,學界慣例小於 0.05 才算有差,0.048 只勉強低於這條線,換一批局就可能翻過去。我們把作者的 10 局(種子 0–9)再加 40 個新種子,共 50 局,所以平均數和作者原本的 10.2、5.5 不同:完整接線平均擊殺 9.86、損毀後 4.92,p < 0.0001。同樣 50 局,不用大腦每格隨機按鍵只有 1.2,所以損毀後的 4.92 仍遠高於亂按,迴路沒有壞光;打亂接線(作者的設定:每一局抽一種不同的打亂,門檻只在其中一種上校準)50 局是 0.9,PART 4 卡片說的 E2 改成每種打亂各自校準後是 1.16;兩個數都和亂按的 1.2 差不多,都在「沒有在瞄準」的水準(PART 4 第 2、3 節)。結論是對的,證據本來不夠
換一個小版號,擊殺數就變
作者用的遊戲引擎是 ViZDoom 1.3.0;不指定版本會裝到 1.3.2,只差一個小版號。同一組種子、同樣 50 局,完整接線的平均擊殺就從 9.86 變成 7.92,損毀 AOTU025 從 4.92 變成 3.92。變的是遊戲,不是果蠅迴路。怎麼知道:作者另有一個不用任何神經元、直接從遊戲讀敵人方位來瞄準的對照玩家(規則玩家),它 10 局的平均擊殺也從 11.5 變成 11.9(規則玩家只有作者設定的 10 局;加到 50 局的只有完整接線、損毀 AOTU025、打亂接線、隨機按鍵四個條件),而完全不讀敵人位置的隨機按鍵玩家,按什麼鍵不看遊戲,它在兩版每一局逐格相同,表示兩版遊戲裡敵人出現的時間與位置本身都沒變;會變的只剩「遊戲把敵人方位報給程式」這一段,而規則玩家和果蠅迴路都只靠這個數字瞄準。所以變的是遊戲回報給程式的敵人位置;為什麼規則玩家變好、果蠅迴路變差,本課沒有追,只能確定變的不是迴路。條件之間的高低順序沒變,但絕對數字不能跨版本比
按開火鍵的不是出口神經元
迴路的訊號分幾站傳:視覺神經元 LC10a → 中間神經元 AOTU019 與 AOTU025(兩對不同的神經元)→ 出口神經元 DNa02(腦把命令送往身體的下行神經元)。兩對中間神經元接 DNa02 的方式不同:AOTU025 興奮同側的 DNa02,是唯一會推它放電的;AOTU019 只抑制對側的 DNa02,不會推它。敵人在側邊時 AOTU025 推 DNa02 放電、果蠅轉身,所以第二格損毀 AOTU025,側邊的敵人就打不到。程式把放電換成按鍵時,讀的是 DNa02 與 AOTU019 兩站的放電率。問題:如果出口真的在下命令,只讀 DNa02 也該打得到。我們這樣試了 50 局,完整接線平均只打中 0.68 隻,比每格隨機按鍵的 1.2 還低。原因在校準曲線上看得到(把假想敵人固定在各個方位,量每顆神經元的放電率):敵人在正前方 ±30° 內時 DNa02 完全不放電,正前方的瞄準與開火全靠 AOTU019,也就是視覺輸入之後只隔一站。本課沒有另外做「只讀 AOTU019」的實驗,所以只主張能主張的:敵人在正前方那一段,DNa02 那一項是 0,開火訊號只可能來自 AOTU019;9.86 是作者兩站都讀的成績,敵人在側邊時的轉身仍有 DNa02 參與。作者的說明檔寫了為什麼要多讀 AOTU019:DNa02 在這段迴路裡沒有基線活動,也就是沒有刺激時完全不放電;加上正前方它也不放電,單靠它就按不出開火,所以作者把 AOTU019 也讀進來。沒寫的是後果:開火其實不是出口神經元決定的,「果蠅大腦在瞄準」要縮小成「迴路前半段在作者定的讀法下瞄準」

想自己核對的人:本課頁面上每個數字都來自本機實跑的輸出檔,收在本課網站的程式倉庫(repo:GitHub 上的一個程式資料夾)的 out/ 資料夾,不在下載包裡;這四格依序出自 out/fruitfly/local_doom_vizdoom130/、out/fruitfly/ext_vizdoom1.3.0/E1.json、out/fruitfly/ext_vizdoom1.3.2/E1.json(E1 這項檢查在兩個引擎版本下各跑一次)、out/fruitfly/ext_vizdoom1.3.0/E3.json。怎麼得到這些數字,見 PART 3–4。

怎樣算「對上」:每一項比對之前先寫下標準,分三種。一、逐位相同:每一個數字、每一位小數都一樣,用在固定了種子的步驟,上面 70 局的擊殺數就是這種。二、在誤差範圍內:與作者的值相差不超過事先訂好的比例,用在隨機輸入沒有固定住的步驟。三、形狀相同:數字本來就不會一樣時,只要求條件之間的高低順序或方向一樣。有一步(FF3)用到後兩種:它給視覺神經元一個假的輸入,看切出來的迴路和全腦模型(PART 4 卡片)把訊號送到哪一側的出口神經元。作者原本的驗證只看兩個模型是不是同一側,不比數值(切迴路時若少掉了重要的輸入,方向就可能相反;方向相同是「沒切錯」的最低證據),這是第三種;本機重跑對作者附的檔案,放電率大於 10 Hz 的項目要在 ±20% 以內,這是第二種,因為全腦模擬沒有固定種子,重跑會浮動幾個百分比。換了遊戲引擎版本之後的比較也是第三種。判定標準在 PART 3 第一節講清楚。

出處這堂課重現的是哪個專案

專案固定的版本用的資料授權
webergithub/fruitfly-labcommit 8c27fe8FlyWire v783 雌果蠅全腦連結體(FlyWire:從一隻雌果蠅全腦的電子顯微鏡影像重建出每一顆神經元與突觸的計畫,v783 是資料版本)。fruitfly-lab 不直接讀 FlyWire,而是用 Shiu 等人 2024 年全腦模型附的連線表(從 FlyWire 整理成「每一對神經元之間有幾個突觸」的一張表)來建迴路,並用 Shiu 的全腦模型做一次驗證(PART 3 FF3)repo 裡沒有授權檔

表裡的名詞:repo 是 GitHub 上一個專案的程式碼倉庫;commit 是倉庫在某個時間點的快照,8c27fe8 這類代號是它的編號,固定它才能保證重跑的是同一份程式。

fruitfly-lab 沒有附授權檔——沒寫明允許怎麼用,法律上預設不能轉發——所以本課的下載包不附它的任何檔案,由學員自己從 GitHub 取得;頁面上只引用必要的短片段並標明出處。Shiu 等人的全腦模型是 MIT 授權(允許任何人複製、修改、散布)。

延伸:另一個同類的公開專案 fly-blackjack 是另一堂獨立的課:蕈狀體學 21 點:重現 fly-blackjack。

進度:六個部分都已完成。所有數字都出自本機實跑的輸出(收在 out/ 底下),所有圖都由 scripts/make_figures.py 從那些輸出畫出來。實跑環境:Linux、12 核 CPU、不用 GPU。
BSC 腦空間體研究中心 · 專題課程 果蠅玩 Doom · 教材由 Claude Code 產生 · 回 BSC 專題課程首頁