BSC 專題課程 / 果蠅玩 Doom / PART 3

PART 3

重現 fruitfly-lab

六個步驟,每一步先寫下「怎樣算對上」再跑:資料、子圖、驗證、校準、七個條件、統計

← PART 2 準備環境與資料 PART 4 作者沒做的檢查 →

1三種「對上」

重現的每一步都要先回答:本機的數字要和作者的差多少以內,才算對上?答案取決於那一步有沒有隨機性、隨機性有沒有被固定住。這一頁用三種判定標準:

判定標準什麼時候用本頁哪些步驟
逐位相同:檔案或數字一個位元都不差這一步沒有隨機性,或隨機性由亂數種子完全固定(種子 seed 是給電腦隨機數產生器的起點;起點相同,抽出來的整串隨機數就相同,所以「隨機」的過程也能重做得一模一樣)FF1、FF2、FF4、FF5、FF6
在誤差範圍內:與作者的值相差不超過一個事先訂好的比例這一步的隨機輸入在不同電腦上不保證相同FF3(訂 ±20%)
形狀相同:條件之間的高低順序與差距方向一樣環境的某個版本和作者不同,數字本來就不會一樣換成 ViZDoom 1.3.2 之後的 FF5(第 8 節)
白話:擲一顆骰子一百次,只要兩個人用同一顆「固定好的」骰子,結果會一模一樣(逐位相同);用兩顆不同的骰子,各擲一百次,平均點數都會接近 3.5,但不會剛好一樣(誤差範圍);如果比的是「灌鉛的骰子平均點數比正常的高」,換另一批骰子重做,兩個平均數字都會變,但灌鉛那顆仍然比較高(形狀相同)。判定標準要在跑之前訂,跑完才訂,就變成看結果決定標準。

骰子是說明用的例子,不是實驗數字;ViZDoom 1.3.2 的結果見第 8 節。

2結論:六個步驟的成績

步驟做什麼判定標準結果
FF1核對連線表逐位相同相同:138,639 顆神經元、15,091,983 條連結、54,492,922 個突觸,與 FlyWire 官方檔逐條一致
FF2重新抽出子圖逐位相同相同:兩個輸出檔的 md5(檔案內容的指紋,見第 4 節)與作者附的檔案一致
FF3子圖與全腦的反應比較大於 10 Hz 的項目在作者值的 ±20% 內(更小的放電率比例沒有意義),方向相同;兩個門檻是本課事先訂的,理由見第 5 節12 項中 11 項在範圍內,1 項 +22%;方向全部相同
FF4校準閾值逐位相同相同:轉向 130.93、開火 95.68;打亂接線 40.46、8.44
FF5七個條件各玩 10 局逐位相同70 局全部相同
FF6統計檢定逐位相同相同:平均、標準差、p 值都一樣

每一列的數字出處見下面對應的小節。

步驟代號 FF1–FF6 是本課自己編的,下載包裡的 fruitfly_lab/run_all.sh 照這個順序執行,每一步的終端輸出存在 logs/、數字存在 results/。

3FF1 資料是同一份嗎

fruitfly-lab 不直接讀 FlyWire 的原始檔,而是讀 Shiu 等人 2024 年全腦模型(PART 1 第 2 節提過,神經元參數也是照它抄的)repo 附的 Connectivity_783.parquet——Shiu 等人從 FlyWire v783 整理出來的連線表,記錄每一對神經元之間有幾個突觸。這份表是後面每一步的起點,它若和官方資料不同,後面對上了也沒意義。所以第一步要確認:這份二手整理和 FlyWire 官方發布的連線表是不是同一份。

比對的對象是 FlyWire 官方的 proofread_connections_783.feather(parquet 與 feather 都是存大型表格的檔案格式,由程式讀,不必自己打開)。先分清兩個詞:一條連結是「神經元 A 連到神經元 B」這一對;突觸是這一對之間的接點,一條連結可以有很多個突觸。官方檔把同一對神經元在不同神經氈(neuropil:腦內以突觸為主的分區)裡的突觸分成不同列,共 16,847,997 列;「按神經元對合併」就是把同一對的各列突觸數加起來、算成一條連結,合併之後是 15,091,983 條連結。兩份逐條比對:

項目Shiu 的連線表FlyWire 官方檔(合併後)
神經元138,639138,639
連結15,091,98315,091,983
突觸總數54,492,92254,492,922
只出現在其中一份的連結00

由 ext/ff1_compare_conn.py 算出,輸出在 out/fruitfly/logs/ff1_conn.log。

官方 feather 檔要另外下載,所以下載包的 FF1 預設只印出 Shiu 連線表的三個總數,讓你確認自己手上這份表和上表左欄相同;這只驗了「我的 Shiu 表和本課用的一樣」,沒有驗「Shiu 表和官方檔一樣」——後者是本課替你做過的(右欄)。想自己做逐條比對,另外下載官方檔後設定 FLYWIRE_FEATHER 再跑 FF1(見 PART 2 第 3 節)。

抽子圖還需要一個註解檔(data/flywire_annotations_783.tsv,PART 2 的 run_all.sh 會下載):一張表,每顆神經元一列,寫著它屬於哪個細胞型態(例如 LC10a)、在左側還是右側。作者的 extract.py 就是靠這張表的 cell_type 欄找出 LC10a 當起點、五種下行神經元當終點。這個檔案在 GitHub 上會持續更新——本課前後兩次下載的版本,cell_type 欄有 232 列不同。這不是證明,是一個檢查:下一步 FF2 抽出的子圖與作者逐位相同,代表這次下載的版本裡,子圖用到的那幾種細胞型態標籤沒有被改到。日後若 FF2 對不上,先懷疑註解檔又改版了,不是自己做錯。

{
 "shiu_edges": 15091983,
 "shiu_synapses": 54492922,
 "local_rows": 16847997,
 "local_edges_after_neuropil_merge": 15091983,
 "local_synapses": 54492922,
 "shiu_neurons": 138639,
 "local_neurons": 138639,
 "only_shiu": 0,
 "only_local": 0,
 "both": 15091983,
 "count_equal_frac": 1.0
}
FF1 實跑輸出。上半是 Shiu 連線表(shiu_)與 FlyWire 官方檔(local_)各自的連結數、突觸數、神經元數;官方檔原本 16,847,997 列是按神經氈分開記的,按神經元對合併後與 Shiu 表同為 15,091,983 條。下半三行是逐條比對:只在其中一邊出現的連結 0 條,每一條的突觸數都相等(count_equal_frac 1.0)。終端機輸出原文,出自 out/fruitfly/logs/ff1_conn.log。

4FF2 子圖逐位相同

這一步在驗:從同一份連線表,照作者的切法(PART 1 第 3 節)切出來的子圖是不是同一個。子圖是後面所有步驟的輸入,這裡差一條連結,後面每一局的分數都會不同。切法沒有隨機性,所以要求逐位相同。

用作者的 flycircuit/extract.py 重新抽一次子圖,比對兩個輸出檔的 md5(一個檔案內容的 32 字元指紋,內容差一個位元,指紋就完全不同):

7c97b8f2db09ad880be0394ba1c7e9c0  circuit/edges.bin
25a0ca03374cd3591beacb575a441dc2  circuit/meta.json

重新抽出與作者附的檔案,md5 完全相同。輸出在 out/fruitfly/logs/ff2_md5_rerun.txt 與 ff2_md5_committed.txt。

抽出來的子圖:3,963 顆神經元、354,879 條連結,其中 38% 的連結是抑制性(連結的正負號由上游神經元預測的傳導物質決定,GABA 與麩胺酸為負,見 PART 1 第 2 節)。

子图:3963 个神经元,354,879 条连接,38% 抑制性
各层神经元数: {0: 234, 1: 359, 2: 3360, 3: 10}
关键组: {'LC10a_L': 115, 'LC10a_R': 119, 'LC10d_L': 92, 'LC10d_R': 95, 'AOTU019_L': 1, 'AOTU019_R': 1, 'AOTU025_L': 1, 'AOTU025_R': 1, ...}

$ md5sum circuit/edges.bin circuit/meta.json      # 作者 commit 進 repo 的
7c97b8f2db09ad880be0394ba1c7e9c0  circuit/edges.bin
25a0ca03374cd3591beacb575a441dc2  circuit/meta.json
$ md5sum circuit/edges.bin circuit/meta.json      # 本機重新切出來的
7c97b8f2db09ad880be0394ba1c7e9c0  circuit/edges.bin
25a0ca03374cd3591beacb575a441dc2  circuit/meta.json
FF2 實跑輸出。作者的抽子圖程式印出的摘要(簡體字是作者程式的原文):第 0 層是 234 顆 LC10a、第 3 層是 10 顆下行神經元,中間兩層是走 1 步與 2 步到得了的神經元。下面兩組 md5 是作者附的檔案與本機切出來的檔案的指紋,逐字相同。終端機輸出原文,出自 out/fruitfly/logs/ff2_extract.log、ff2_md5_committed.txt、ff2_md5_rerun.txt。

5FF3 子圖與全腦的反應方向一致

子圖裡的每顆神經元,在真正的腦裡還會收到子圖外十幾萬顆神經元的輸入;切出子圖等於把這些輸入全部丟掉。如果丟掉之後迴路的反應和全腦差很多,這樣切就不能用。作者用一個驗證來看這件事:用每秒 100 次的隨機放電刺激一側的 LC10a(100 Hz 是作者設定的刺激強度,模擬敵人出現在那一側的視野),看下游 DNa02 與 AOTU019 各放電多快——子圖裡這兩種神經元左右各只有一顆,所以表上每一格就是一顆神經元的放電率。三種模型各做一次:子圖(PART 1 第 3 節切出的 3,963 顆)、打亂接線的子圖(同樣的神經元與連結數,但每條連結「接到誰」隨機重排,每顆神經元的連出、連入數與正負號不變)、以及 Shiu 的全腦模型(用 Brian2——一個神經元模擬套件——模擬全部 138,639 顆神經元;下載包的 FF3 會在你的電腦上跑它,約 6 分鐘——含載入 13 萬顆神經元與 10 次模擬;下面圖說的 14 秒只是其中一次模擬)。每種跑 5 次、每次 1 秒,取平均。

這一步比的是兩件事,標準不同。第一件是作者原本的驗證:子圖和全腦有沒有把訊號送到同一側——這只看方向,數字差多少作者沒設標準,本課也不設。第二件是重現:本機跑出來的數字和作者附的檔案差多少——這才用 ±20%。

為什麼本機對作者不要求逐位相同。刺激是隨機抽出來的放電,全腦模型沒有固定亂數種子,重跑一次數字就會浮動幾個百分比。子圖與打亂接線兩種模型在本機重跑兩次是逐位相同的,但與作者附的檔案不同,原因本課沒有追到;放行的理由是這一步要驗的是反應的方向與量級,12 項裡 11 項差距在 ±20% 內、方向全部相同,而「對不上的原因沒追到」照實寫在這裡,不當作已解決。

所以判定標準訂成:大於 10 Hz 的項目,與作者的值相差在 ±20% 以內,而且反應落在同一側(「同一側」指作者放電的是左邊那顆,本機也是左邊那顆放電;比的是本機對作者,不是對刺激的那隻眼——打亂接線左眼刺激時兩邊都是右側 AOTU019 在放電,也算同一側)。走一次:子圖、左眼刺激時的 DNa02 左,作者 103.8 Hz、本機 93.2 Hz,(93.2 − 103.8) ÷ 103.8 ≈ −10%,在範圍內;兩邊都是左邊放電、右邊 0.0,同一側。只看大於 10 Hz 的項目,是因為放電率很小時比例沒有意義:打亂接線、左眼刺激時的 DNa02 右,作者 0.2 Hz、本機 0.4 Hz,比例是 +100%,但兩者都等於幾乎不放電。

刺激模型DNa02 左/右(作者)本機AOTU019 左/右(作者)本機
左眼 LC10a子圖103.8 / 0.093.2 / 0.0222.4 / 0.0224.8 / 0.0
左眼 LC10a打亂接線21.0 / 0.221.2 / 0.41.0 / 21.60.8 / 26.4
左眼 LC10a全腦105.6 / 0.0109.6 / 0.0171.2 / 0.0171.8 / 0.0
右眼 LC10a子圖0.0 / 4.00.0 / 4.40.0 / 243.60.0 / 242.0
右眼 LC10a打亂接線46.0 / 0.045.0 / 0.017.6 / 36.019.2 / 34.4
右眼 LC10a全腦0.0 / 58.80.0 / 61.60.0 / 184.80.0 / 185.4

單位 Hz。作者的值出自作者附的 output/validation.json(收在 out/fruitfly/validation_author.json),本機的值在 out/fruitfly/validation_local.json。

大於 10 Hz 的項目共 12 項,11 項在 ±20% 以內;粗體那一項(打亂接線、左眼刺激時的 AOTU019 右)是 +22%(作者 21.6 Hz、本機 26.4 Hz),超出事先訂的標準,所以這一步的成績照實寫 11/12,不是 12/12。事先的標準沒有說「只看主模型」,這裡也不事後補一條;只補充兩件事實讓讀者自己判斷:它屬於打亂接線這個對照組,而且方向仍然相同。作者原本要驗的事——完整子圖與全腦在兩側都把訊號送到同一側的 DNa02——表上六列方向全部相同,成立。

表裡還有一個數字會讓人問「這不就是開頭說的『和全腦差很多、不能用』嗎」:右眼刺激時,子圖的 DNa02 右只有 4.4 Hz,全腦卻有 61.6 Hz。它沒有讓 FF3 不過,是因為作者的驗證只訂了方向(同一側放電)、沒訂量級,而這裡方向是對的;作者自己也得到同樣的落差(4.0 對 58.8),在 README 標成「同側、偏弱」。但「偏弱」不是沒事:右眼那一側訊號小十幾倍,遊戲裡敵人在右邊時迴路會不會反應慢、轉錯?這個落差怎麼來、有什麼後果,放在 PART 4 第 5 節追。

LC10a_R  subgraph   DNa02 L=   0.0 R=   4.4  R-L=  +4.4  AOTU019 L/R=0/242  AOTU025 L/R=0/61  (0.8s)
LC10a_R  scrambled  DNa02 L=  45.0 R=   0.0  R-L= -45.0  AOTU019 L/R=19/34  AOTU025 L/R=0/30  (0.8s)
>>> Experiment:     LC10a_R
    Output file:    .../Drosophila_brain_model/results/validate/LC10a_R.parquet
    Excited neurons: 119
    Elapsed time:   14 s
LC10a_R  full_brain DNa02 L=   0.0 R=  61.6  R-L= +61.6  AOTU019 L/R=0/185  AOTU025 L/R=0/121  (15.4s)
已保存 output/validation.json
FF3 實跑輸出,右眼刺激那一半。三行各是一種模型刺激右眼 119 顆 LC10a 後的放電率(Hz):子圖(0.8 秒算完)、打亂接線的子圖、以及 Shiu 全腦模型(中間四行是全腦模型自己印的進度,跑 14 秒)。看 DNa02 那一欄:子圖右邊 4.4、全腦右邊 61.6,都是右邊在放電、左邊 0,方向一致但子圖弱很多(PART 4 第 5 節追這件事);打亂接線則變成左邊 45.0,方向反了。終端機輸出原文,出自 out/fruitfly/logs/ff3_validate.log(路徑縮短)。

6FF4 校準出同樣的閾值

閾值是整條流程裡唯一「調」出來的兩個數字:轉向訊號超過轉向閾值才按轉向鍵,兩側 AOTU019 都超過開火閾值才開火(PART 1 第 4 節)。轉向訊號=(DNa02 右 − DNa02 左)+(AOTU019 右 − AOTU019 左),是放電率相減再相加,所以它和兩個閾值的單位都是 Hz。校準時假想敵人固定放在 17 個方位(−90、−75、−60、−45、−30、−20、−10、−5、0、5、10、20、30、45、60、75、90 度,正前方附近排得密)、迴路用固定種子跑,沒有未固定的隨機性,所以要求逐位相同。閾值怎麼從 17 列數字算出來,走一次完整接線:敵人在 0° 時轉向訊號絕對值 28.59,在 ±10° 時較小的一邊是 233.27,中點 (28.59 + 233.27) ÷ 2 = 130.93 就是轉向閾值;0° 時左右 AOTU019 是 219.94 與 191.35,較小者的一半 95.68 就是開火閾值。閾值若差一點,後面每一局按的鍵都會不同,所以要在玩遊戲之前先驗這一步。打亂接線另有一組自己的閾值,給 scrambled_cal 條件用(為什麼要另外校準,見 PART 4 第 3 節)。

照同樣的校準流程重跑一次,兩組閾值都與作者附的檔案逐位相同:

迴路轉向閾值開火閾值
完整接線130.9395.68
打亂接線(scrambled_cal 用)40.468.44

輸出在 out/fruitfly/local_doom_vizdoom130/calibration_fly.json 與 calibration_scrambled.json。

[fly] az= -90°  DNa02 L/R= 203.6/   0.0  AOTU019 L/R=  15.8/   0.0  steer= -219.5
[fly] az= -75°  DNa02 L/R= 207.9/   0.0  AOTU019 L/R=  76.0/   0.0  steer= -284.0
[fly] az= -60°  DNa02 L/R= 196.4/   0.0  AOTU019 L/R= 138.9/   0.0  steer= -335.2
[fly] az= -45°  DNa02 L/R= 101.7/   0.0  AOTU019 L/R= 182.0/   0.0  steer= -283.7
[fly] az= -30°  DNa02 L/R=   3.8/   0.0  AOTU019 L/R= 217.8/   0.0  steer= -221.6
[fly] az= -20°  DNa02 L/R=   0.1/   0.0  AOTU019 L/R= 229.8/   0.0  steer= -229.9
[fly] az= -10°  DNa02 L/R=   0.0/   0.0  AOTU019 L/R= 238.8/   0.0  steer= -238.8
[fly] az=  -5°  DNa02 L/R=   0.0/   0.0  AOTU019 L/R= 225.5/ 199.5  steer=  -26.0
[fly] az=  +0°  DNa02 L/R=   0.0/   0.0  AOTU019 L/R= 219.9/ 191.4  steer=  -28.6
[fly] az=  +5°  DNa02 L/R=   0.0/   0.0  AOTU019 L/R= 225.5/ 199.5  steer=  -26.0
[fly] az= +10°  DNa02 L/R=   0.0/   0.0  AOTU019 L/R=  16.8/ 250.0  steer= +233.3
[fly] az= +20°  DNa02 L/R=   0.0/   0.1  AOTU019 L/R=   1.9/ 249.0  steer= +247.2
[fly] az= +30°  DNa02 L/R=   0.0/   0.1  AOTU019 L/R=   0.0/ 240.7  steer= +240.8
[fly] az= +45°  DNa02 L/R=   0.0/  31.0  AOTU019 L/R=   0.0/ 207.3  steer= +238.4
[fly] az= +60°  DNa02 L/R=   0.0/ 118.6  AOTU019 L/R=   0.0/ 159.3  steer= +277.9
[fly] az= +75°  DNa02 L/R=   0.0/ 173.1  AOTU019 L/R=   0.0/  84.9  steer= +258.0
[fly] az= +90°  DNa02 L/R=   0.0/ 154.3  AOTU019 L/R=   0.0/   4.2  steer= +158.6
[fly] 读出阈值:{'turn_th': 130.93, 'fire_th': 95.68, 'quiet_th': 5.0, ...}
FF4 實跑輸出:校準的 17 個方位。每一行是假想敵人放在一個方位(az)時,四顆神經元的平均放電率與算出來的轉向訊號(steer,右減左)。可以直接看出三件事:DNa02 在 ±30° 以內兩邊都是 0(PART 4 第 4 節的起點);敵人從 +5° 移到 +10°,右邊 AOTU019 從 199.5 跳到 250.0、左邊從 225.5 掉到 16.8,轉向訊號因此從 −26 翻成 +233;最後一行是程式用 PART 1 第 4 節的兩條規則算出的閾值,與作者附的檔案逐位相同。終端機輸出原文,出自 out/fruitfly/logs/ff4_calibrate.log(最後一行去掉了 Python 型別標記)。

7FF5–FF6 七個條件,每一局都相同

這是整個重現的主結果:七種大腦各玩 10 局,看每一局殺了幾個敵人。七個條件的定義在 PART 1 第 5 節,表裡的代號是:fly 完整接線;lesion025 損毀左右 AOTU025;lesion 損毀左右 AOTU019 與 AOTU025;scrambled 打亂接線、沿用完整接線的閾值;scrambled_cal 打亂接線、用自己校準的閾值;random 不用大腦、每格隨機按鍵;oracle 不用大腦、直接照敵人方位轉向開火。

每一局敵人出現的位置由遊戲的亂數種子決定,本課用與作者相同的種子,神經元模擬又沒有未固定的隨機性,所以要求逐局擊殺數逐位相同。用和作者一樣的 ViZDoom 1.3.0,70 局的擊殺數全部逐局相同,所以平均、標準差與 p 值也完全相同:

條件每局擊殺(10 局)平均 ± 標準差p(對完整接線)
oracle11 14 13 8 15 10 5 11 11 1711.5 ± 3.470.348
fly7 11 9 4 16 10 10 15 4 1610.2 ± 4.47—
lesion0252 11 4 3 3 2 16 1 3 105.5 ± 5.020.048
scrambled_cal0 1 0 0 0 1 1 1 2 10.7 ± 0.670.002
scrambled0 0 0 0 0 0 0 0 0 00.0 ± 0.00.002
lesion0 0 0 0 0 0 0 0 0 00.0 ± 0.00.002
random1 0 1 1 1 1 1 1 1 10.9 ± 0.320.002

本機與作者的逐局數字都在 out/fruitfly/local_doom_vizdoom130/ 與 out/fruitfly/author_doom/ 的 analysis.json。p 值是作者的 doom/analyze.py 算的配對置換檢定。

p 值是「如果兩個條件其實沒有差別,純靠運氣得到這麼大(或更大)差距的機率」。慣例上小於 0.05 就說差距顯著。表上 lesion025 的 0.048 剛好低於這條線;10 局夠不夠,放在 PART 4 第 2 節用 50 局重新檢查。

這個 p 是怎麼算的(doom/analyze.py 的 paired_perm_p):遊戲只跑 10 局,p 不是再跑出來的,是拿這 10 對分數在電腦裡「洗牌」洗出來的。

  1. 同一個種子的兩局配成一對,完整接線的擊殺減去 lesion025 的擊殺,得到 10 個差值;它們的平均就是真實差距,表上是 10.2 − 5.5 = 4.7。
  2. 假設兩種果蠅其實一樣,那每一對的差值是正是負只是運氣。於是每一對各丟一次銅板,正面就把那一局兩個條件的分數互換(差值變號),反面不動;換完再算一次平均差距。每次洗牌互換的局數不固定,平均約一半。
  3. 重複洗 20,000 次。洗出來的平均差距,絕對值大於或等於真實差距的次數佔幾分之幾,就是 p。

取絕對值是因為這是雙側檢定:問的是「兩個條件有沒有差」,不是「完整接線是不是比較強」。洗出 −4.7(損毀的反而多殺)與洗出 +4.7 一樣誇張,兩個方向都要算,所以雙側 p 大約是單側的兩倍,比較嚴格。作者選雙側,等於不事先假定損毀只會變差。局數多時,各對差值翻號後會互相抵消,洗牌很難洗到真實差距,p 就跟著變小;50 局時 20,000 次一次都洗不到,p 只能寫成程式給得出的最小值 1/20,001,也就是 PART 4 第 2 節寫的 p < 0.0001。

兩個常被問的細節。為什麼 scrambled、lesion、random 的 p 都剛好 0.002?10 對差值各自翻不翻號,只有 210 = 1,024 種洗法;這三個條件每一局都輸給完整接線(10 個差值全是正的),只有「全不翻」和「全翻」兩種洗法能洗到真實差距,所以 p 的下限就是 2 ÷ 1,024 ≈ 0.002——這是 10 局這個樣本數的天花板,不是巧合,也表示用 10 局分不出這三個條件誰差得更多。洗牌是隨機的,p 值為什麼能逐位相同?因為 analyze.py 開頭把洗牌的種子固定成 0,20,000 次洗法在任何電腦上都是同一串。

逐局相同還說明了一件事:模型的神經元模擬(作者在 macOS、本課在 Linux)在兩台電腦上給出完全相同的結果。所以只要分數不同,差異只可能來自遊戲本身——第 8 節就是這種情形。

[fly] ep0: kills=7 shots=12 survived=14.0s wall=2.7s
[fly] ep1: kills=11 shots=22 survived=20.4s wall=3.8s
[fly] ep2: kills=9 shots=16 survived=15.4s wall=2.9s
[fly] ep3: kills=4 shots=5 survived=9.8s wall=1.8s
[fly] ep4: kills=16 shots=26 survived=29.2s wall=5.8s
[fly] ep5: kills=10 shots=26 survived=18.3s wall=3.5s
[fly] ep6: kills=10 shots=21 survived=15.6s wall=2.9s
[fly] ep7: kills=15 shots=23 survived=28.1s wall=3.6s
[fly] ep8: kills=4 shots=6 survived=8.5s wall=0.9s
[fly] ep9: kills=16 shots=26 survived=26.2s wall=3.0s
[fly] 平均击杀 10.2 ± 4.47,存活 18.55s,命中率 0.586
FF5 實跑輸出:完整接線 10 局。每一行一局:擊殺數、開了幾槍、活了幾秒(遊戲時間)、電腦實際算了幾秒。十局的擊殺數 7 11 9 4 16 10 10 15 4 16 與作者的 fly.json 逐局相同。終端機輸出原文,出自 out/fruitfly/logs/ff5_fly.log(簡體字是作者程式的原文)。
Doom 遊戲畫面:敵人站在正前方遠處,手槍對準它
A完整接線,第 0 局第 21 格(0.6 秒):敵人在正前方
遊戲回報敵人方位 −1.1°,兩側 LC10a 同時受刺激,AOTU019 左 132.1、右 99.4 Hz,較小的 99.4 超過開火閾值 95.68,這一格按下開火;兩顆 DNa02 都是 0。第 26 格記到第一個擊殺。
Doom 遊戲畫面:敵人出現在畫面最右邊緣
B完整接線,第 0 局第 60 格(1.7 秒):敵人在右邊緣
敵人方位 +86.1°,AOTU019 兩側幾乎為 0,改由 AOTU025 右 116.9 推動 DNa02 右 131.0 Hz,轉向訊號超過 130.93,這一格按下右轉。損毀 AOTU025 的那局在同一格 DNa02 右只有 91.4,不轉。

兩張是 PART 5 錄影的原始畫面(assets/demo/fly.mp4 第 21、60 幀,由 scripts/make_shots.py 抽出);畫面上沒有疊字,格號對應的神經元數字出自 out/demo_data.json。想逐格看放電怎麼變,到 PART 5。

8遊戲版本換一個小版號,分數就變了

上一節的 70 局全對,是在和作者相同的 ViZDoom 1.3.0 下跑的。如果照一般習慣用 pip install vizdoom 不指定版本,會裝到當時最新的 1.3.2。本課把同一套程式、同一組種子,換成 1.3.2 再跑一次,看結果會不會變:

fly 條件 10 局的逐局擊殺數。作者(ViZDoom 1.3.0)與本機 ViZDoom 1.3.0 兩條線完全重疊:7、11、9、4、16、10、10、15、4、16,平均 10.2。本機 ViZDoom 1.3.2 是另一條線:15、5、7、3、13、10、2、4、3、3,平均 6.5。
圖 1 同一個條件(完整接線)、同一組種子,三次執行的逐局擊殺數。作者的圓圈與本機 1.3.0 的叉號每一局都重疊;本機 1.3.2 的方塊是另一串數字。 由 scripts/make_figures.py 從 out/fruitfly/ 的三份 fly.json 畫出。

分數變了,要先確定是誰變的:果蠅迴路,還是遊戲?看不經過迴路的 oracle:它只讀遊戲回報的敵人位置、照規則按鍵,裡面沒有任何神經元。它的逐局分數也變了(1.3.0:11 14 13 8 15 10 5 11 11 17;1.3.2:10 12 11 10 13 15 5 14 10 19),代表變的不是迴路。再看完全不讀敵人位置的 random:它在兩版的每一局都逐格相同,連存活的格數都一樣(PART 4 第 2 節),所以只要按鍵序列相同,遊戲本身在兩版跑得一模一樣,敵人出現的時間與位置並沒有變。會變的只有讀敵人位置的條件:差異出在引擎回報給程式的敵人資訊在兩版之間不同;按鍵因此不同,整局就分岔。具體是回報裡的哪一項變了,本課沒有追到。結論一樣:變的是遊戲引擎那一側,不是迴路。

條件ViZDoom 1.3.0(與作者相同)ViZDoom 1.3.2
oracle11.5(p = 0.348)11.9(p = 0.019)
fly10.26.5
lesion0255.5(p = 0.048)2.8(p = 0.015)
scrambled_cal0.70.9
scrambled0.00.0
lesion0.00.0
random0.90.9

10 局平均擊殺;p 值對完整接線。1.3.2 的結果在 out/fruitfly/local_doom_vizdoom132/analysis.json。

用「形狀相同」來判定,事先列的是三組比較:① 完整接線遠高於打亂接線與隨機按鍵;② 損毀 AOTU025 低於完整接線;③ 完整接線與 oracle 看不出差別(作者的說法)。換成 1.3.2 之後,①、② 成立:fly 6.5 仍遠高於 0.0–0.9,lesion025 2.8 仍低於 fly。③ 翻了:在作者的版本下兩者看不出差別(p = 0.348,注意這只表示 10 局分不出差別,不是「一樣好」);在 1.3.2 下 oracle 顯著較高(p = 0.019)。所以「果蠅迴路和完美規則看不出差別」這個說法,只在某一個遊戲版本、10 局的樣本下成立。

[fly] ep0: kills=15 shots=24 survived=22.3s wall=4.4s
[fly] ep1: kills=5 shots=10 survived=10.0s wall=1.9s
[fly] ep2: kills=7 shots=17 survived=12.5s wall=2.5s
[fly] ep3: kills=3 shots=10 survived=9.0s wall=1.7s
[fly] ep4: kills=13 shots=26 survived=25.7s wall=5.6s
[fly] ep5: kills=10 shots=26 survived=24.9s wall=4.9s
[fly] ep6: kills=2 shots=6 survived=7.8s wall=1.5s
[fly] ep7: kills=4 shots=7 survived=9.1s wall=1.8s
[fly] ep8: kills=3 shots=6 survived=7.6s wall=1.4s
[fly] ep9: kills=3 shots=11 survived=9.7s wall=1.9s
[fly] 平均击杀 6.5 ± 4.62,存活 13.87s,命中率 0.44
同一支程式、同一組種子,換成 ViZDoom 1.3.2 的完整接線 10 局。對照上一節 1.3.0 的輸出:每一局的擊殺數都不一樣了,平均從 10.2 掉到 6.5。終端機輸出原文,出自 out/fruitfly/logs/ff5_fly_vizdoom132.log。
這一節帶走的事:重現時,環境裡每一個會影響隨機性的套件都要固定版本,不只是主程式。fruitfly-lab 的 repo 裡碰巧附了一個 ViZDoom 執行時自動產生的設定檔 _vizdoom.ini,第一行記著產生它的版本 1.3.0,所以這一次對得回去;沒有這一行,1.3.2 的結果會讓人以為重現失敗。
← PART 2 準備環境與資料 PART 4 作者沒做的檢查 →
BSC 腦空間體研究中心 · 專題課程 果蠅玩 Doom · 教材由 Claude Code 產生 · 回課程首頁