BSC 專題課程 / 果蠅玩 Doom / PART 5

PART 5

逐格看迴路怎麼打

重現時錄下的 Doom 畫面,與 8 組神經元的放電率(神經元靠一次次短促的電訊號傳訊,放電率是每秒幾次,單位 Hz)逐格對齊;把 PART 3 與 PART 4 講的現象直接在畫面上找出來

← PART 4 作者沒做的檢查 回課程首頁 →

1這些影片是什麼

先說這三段影片是什麼:fruitfly-lab 的作者用程式模擬果蠅腦的一段接線(三千多顆神經元,PART 1),讓它在 Doom 裡轉身、開火;本課在自己的電腦上把作者的實驗重跑一次(PART 3),影片就是重跑時錄的。畫面上玩的不是真果蠅,是模擬的神經元。三段影片都是種子 0 的第 0 局(種子是亂數的起點,程式從 0 開始數局;同一個種子,敵人的出場順序相同,所以三段影片的敵人一樣,只差大腦)。三種大腦是:完整接線(fly)、損毀 AOTU025(lesion025,這對神經元整場不放電)、打亂接線並各自校準(scrambled_cal)。「各自校準」的意思:閾值(訊號要高過多少才按鍵的門檻)是拿一套接線量出來的(PART 1 第 4 節),接線打亂之後訊號的大小整個變了,所以用打亂後的接線重新量一次閾值;這不是給它放水,而是不這樣做等於拿錯的尺量它,對照才不公平(PART 4 第 3 節)。三局的長度不同,因為玩家被打死就結束:完整接線 481 格、損毀 350 格、打亂 218 格。這個關卡(ViZDoom 內建的 defend_the_center)裡玩家站在中央不能走動,敵人從四周走過來攻擊;擊倒得越少,走到身邊的敵人越多,死得越快。本課另外拿同一個種子實測整局什麼鍵都不按:玩家也是撐到第 218 格被打死(遊戲計時 228 tic),和打亂接線那局一樣長。打亂接線那局雖然有轉身、開了 4 槍(scrambled_cal.json 的 shots),但一個敵人都沒打倒,活得和完全不動一樣久。(這裡只比了這一局;10 局的平均擊殺,打亂接線 0.7、隨機按鍵 0.9,也差不多,見 PART 3 第 7 節。)關卡另有 60 秒的時間上限(設定檔 episode_timeout = 2100 個 tic),三局都遠遠沒到。PART 3 第 7 節那一步的程式輸出寫完整接線這局存活 14.0 秒,是作者程式結束時讀的遊戲計時 get_episode_time():491 tic 除以 35。這比錄影多 10 格,原因是設定檔的 episode_start_time = 10:每局開頭遊戲先自己跑 10 個 tic 才交給大腦,計時從那裡就開始算,錄影則從大腦接手的第一格開始。三局都正好差 10(491 對 481、360 對 350、228 對 218);本課另外實測,開局第一個畫面時 get_episode_time() 已經是 10。擊殺數分別是 7、2、0,和 PART 3 第 7 節表上第 0 局的數字相同——影片就是重現時實際跑出來的那一局。

錄影時同時記下每一格(1/35 秒)四種神經元的放電率:LC10a(視覺輸入)、AOTU019(中央視野)、AOTU025(外圍視野)、DNa02(下行神經元:把腦的指令往身體送,負責轉向),左右半腦各一,共 8 組;另外記下遊戲回報的敵人方位、以及按了哪些鍵。網頁播放時只是重播這些紀錄,不會在瀏覽器裡重新模擬:神經元模型與遊戲引擎都是 Python 套件,瀏覽器跑不了。

擊殺數 7、2、0、作者紀錄的局長 491、360、228 tic 與第 0 局的對照:out/fruitfly/local_doom_vizdoom130/ 各條件 JSON 的 episodes[0](kills、tics)。設定檔的 episode_start_time、episode_timeout、開局第一個畫面的計時,以及整局不按鍵撐了幾格(noop_episode),由 scripts/vizdoom_probe.py 讀設定檔並實際開一局量得,存在 out/vizdoom_probe.json。

2播放台

t = 0.0 s kills 0
轉向訊號
開火條件
本格按鍵
左轉右轉開火搜尋
左半腦 右半腦 擊殺 灰底:畫面上有敵人 點曲線可以跳到那個時間

簡報要演示的話:播放台單獨頁只有播放台,版面配合 16:9 投影片,功能和上面這個一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網);不能上網時用離線包(約 4 MB,解壓縮後用瀏覽器開裡面的 player.html)。網址後面加 ?b=lesion025&t=3.5 可以指定一開始播哪一種大腦(fly、lesion025、scrambled_cal)、從第幾秒開始;鍵盤:空白鍵播放/暫停、← → 一格、Shift+← → 一秒、1 2 3 換大腦。

影片與逐格紀錄由 scripts/record_demo.py 錄製、scripts/build_data.py 整理成 assets/demo/data.json。

迴路圖(影片右邊那張)。8 個圓圈是 8 組神經元,上下順序是訊號傳的方向:最上面 LC10a(視覺輸入),中間 AOTU019 與 AOTU025,最下面 DNa02(轉向指令的出口);左欄藍色是左半腦那群,右欄琥珀色是右半腦。圓圈之間的線是誰推誰:實線是興奮(上游放電讓下游更容易放電)、虛線加短槓是抑制;只畫推得夠用力的連結(權重是一條連結推得多用力的數字:突觸數 × 正負號 × 0.275 mV,正負號看上游神經元的傳導物質,沒有做正規化,見 PART 1 第 2 節參數表;兩群之間所有連結的權重加總達到一定大小才畫,和 PART 1 圖 2 同一組數字;圖 2 有把每條的權重寫出來,這裡沒有)。圓圈裡的數字是那一格的放電率(Hz),不是從開局累積的次數:每一格數這 28.6 ms 裡放電幾次換成 Hz,同一群取平均,再和前幾格平滑(新值 = 0.75 × 上一格的值 + 0.25 × 這一格單算的值,PART 1 圖 5 第 ① 步),所以大約是最近 0.1 秒左右的放電率;敵人離開畫面後,數字會一格一格降回 0。讀出規則用的也是這個平滑後的值。放電率愈高圓圈愈亮,到 250 Hz 就最亮。

兩條長條。「轉向訊號」是 PART 1 第 4 節讀出規則的值:(DNa02 右 − DNa02 左) + (AOTU019 右 − AOTU019 左),單位是 Hz 的差。正值往右(琥珀色)、負值往左(藍色);中線是 0,兩側紅線是轉向閾值 ±130.93,長條越過哪一側的紅線就按那一側的轉向鍵。在完整接線與損毀那兩局,敵人在正前方 ±30° 內時兩顆 DNa02 都是 0(圖上畫出來推 DNa02 的只有 AOTU025,而 AOTU025 只對外圍視野反應,校準曲線見 PART 4 第 4 節;模型裡還有沒畫出來的細連結,所以 DNa02 偶爾會有一點活動,但推不過線),這條長條完全靠 AOTU019 那一項(PART 4 第 4 節)。「開火條件」是左右 AOTU019 放電率較小的那一個,紅線是開火閾值 95.68;取較小的那一個,是因為開火要兩側都夠亮——較小的那個過線,兩個就都過線,代表敵人在正中央。這兩個閾值是完整接線校準出來的,「損毀 AOTU025」那局也沿用(作者的設定。損毀只拿掉一條路,其餘神經元的訊號大小不變,用同一把尺才看得出少了那條路的影響;打亂接線是整個尺度都變了,所以才要另外量);「打亂接線」那局用它自己校準的 ±40.46 與 8.44,切過去時長條旁的數字會跟著換。

視野條。橫軸是果蠅視野裡的方位,左端 −90°、右端 +90°、中間 0° 是正前方;圓點是遊戲回報的敵人方位,在左半邊是藍點、右半邊是琥珀點,畫面上沒有敵人就沒有圓點。深灰帶是 ±6° 雙眼重疊區(兩側 LC10a 同時受刺激),淺灰帶是 ±30°:這段迴路裡的 DNa02 在這個範圍內不放電,因為推它的 AOTU025 在這個範圍不反應(PART 4 第 4 節)。

下方的曲線圖。四列由上到下是 LC10a、AOTU019、AOTU025、DNa02(圖上的英文列名依序是 visual input/central field/peripheral field/descending, steering),每列兩條曲線:藍色是左半腦那群、琥珀色是右半腦那群,高度是放電率(到 250 Hz 滿格)。紅色直線是擊殺發生的那一格,灰底是畫面上有敵人的時段。視野條上的灰帶和曲線圖的灰底是兩回事:前者是方位範圍,後者是時間範圍。「搜尋」是畫面上沒有敵人、迴路也安靜時固定按的右轉。

3三種大腦並排

同一個種子、同一張地圖、同一條讀出公式(閾值:完整接線與損毀那局沿用同一組,打亂那局用它自己校準的),只差在大腦。按一次播放,三局一起開始,各自打到玩家死亡為止。敵人的出場順序由種子決定,所以三局開頭一模一樣;一旦某顆大腦按了不同的鍵,畫面就分道揚鑣,之後就不能再逐格對照,只能比各自的行為。

看懂的三個檢查點:

  1. 完整接線與損毀那局前 59 格完全相同,打亂那局第 21 格就分道(前 59 格敵人都在正前方,AOTU025 本來就是 0,有沒有損毀沒差):敵人在正前方,完整接線和損毀那局在第 21 格一起開火、第 26 格一起拿到第一個擊殺;打亂那局的 AOTU019 在第 21 格幾乎不亮、沒有開火,從這一格起就和另外兩局不同,到第 26 格右側 AOTU019 剛到 8.7 Hz、過了它自己的 8.44 才第一次開火,而且沒打中(一槍打不打中還看距離與時機,錄影看不出來,本課沒有追)。
  2. 第 60 格分道:此時敵人在右側邊緣 +86.1°。完整接線的 AOTU025 右 116.9 Hz、DNa02 右 131.0 Hz,轉向訊號超過 130.93,按「右轉」;損毀那局的 AOTU025 右是 0、DNa02 右只有 91.4 Hz(AOTU025 關掉後 DNa02 還有這些活動,來自模型裡沒畫在圖上的細連結;損毀後不轉,不是 DNa02 完全沒了來源,而是剩下的來源推不過線),不過線,繼續站著不轉,敵人就留在邊緣。這一格就是「損毀 AOTU025 為什麼打得差」的現場。
  3. 打亂那局整場看右半邊:DNa02 右從頭到尾是 0.0 Hz,AOTU019 右最高 15.4 Hz,所以它整局一次也沒有按過右轉;第 49 格敵人就在正前方 −0.3°,它卻按「左轉」。218 格、0 擊殺就結束。

三個檢查點的格數、方位與放電率出自 out/demo_data.json 的 episodes.fly/lesion025/scrambled_cal(第 21、26、49、60 格),閾值出自 cal.fly.cal(130.93)與 cal.scrambled.cal(40.46)。

4在畫面上找三件事

用播放台的 ¼× 慢放或逐格前進(畫面左上角的 t 是秒數,格數 = 秒數 × 35),在「完整接線」那一局找。這一局的敵人都從正前方或右側出現,所以整局沒有按過左轉;敵人從左邊來的情形,規則是鏡像的。

  1. 敵人在正前方時,先開火(第 21 格、0.6 秒,敵人在 −1.1°):兩側 LC10a 都亮,AOTU019 左 132.1 Hz、右 99.4 Hz,較小的 99.4 超過開火閾值 95.68,按「開火」;這時迴路圖最下面兩顆 DNa02 都是 0。這就是 PART 4 第 4 節的發現:正前方的瞄準與開火完全不經過下行神經元。
  2. 敵人在右側邊緣時,才轉向(第 60 格、1.7 秒,敵人在 +86.1°):只有右眼 LC10a 亮,接著 AOTU025 右 116.9 Hz、DNa02 右 131.0 Hz 亮起來,轉向訊號 (131.0 − 0) + (2.1 − 0) 超過轉向閾值 130.93,長條越過右側紅線,按「右轉」。這是 PART 1 第 4 節的讀出規則在運作:邊緣的敵人走的是 AOTU025 → DNa02 這條路。
  3. 同一格切到「損毀 AOTU025」看差別:切過去會停在同一格;如果你不是停在第 60 格,先拉到第 60 格再切。敵人同樣在 +86.1°,但 AOTU025 那條路是暗的(迴路圖上打紅叉),AOTU025 右是 0,DNa02 右只到 91.4 Hz,轉向訊號不過 130.93,不按鍵;敵人留在邊緣,要等它自己走近。邊緣的敵人比較難被轉回中央,就是它 50 局平均擊殺只有 4.92、而完整接線 9.86 的原因(本課每種大腦各跑 50 局、用不同種子,影片只是其中的第 0 局)(PART 4 第 2 節)。完整接線後面還有一次同樣的情形:第 146 格(4.2 秒)敵人從 +83.2° 出現,AOTU025 右與 DNa02 右再次亮起,但這一格 DNa02 右 43.6、AOTU019 右 14.0、左 5.0,訊號 (43.6 − 0) + (14.0 − 5.0) = 52.6 還沒過 130.93;第 148 格 129.8 差一點;第 149 格敵人已走近到 +73.4°,AOTU019 右也開始亮(61.4,左 2.1),加上 DNa02 右 107.7,訊號 167.0 過線才右轉。

再切到「打亂接線」那一局:迴路圖上的連線已經不代表這個大腦(打亂後的接線每一局都不同、也沒有存成畫圖用的資料,所以圖上保留原本的接線並調淡)。看兩件事就夠:第一,LC10a 還是有相近量級的活動(整局有敵人的格,左右較大者平均 39.6 Hz,完整接線同一局是 60.0 Hz),但 AOTU019 最高只有左 28.3、右 15.4 Hz,完整接線同一局是 225.5 與 264.6 Hz:視覺訊號進去了,卻沒有傳到該去的地方;第二,DNa02 右整局 0.0 Hz,它永遠轉不了右,第 49 格敵人在正前方 −0.3°,它卻按了左轉(訊號是右減左:(0 − 21.8) + (0.1 − 22.2) = −43.9,越過它自己 −40.46 的左側紅線)。這就是「放電的模式與敵人的位置對不起來」的意思。

本節引用的格數與放電率都在 assets/demo/data.json(out/demo_data.json 同一份);平均值與轉向訊號由 scripts/demo_stats.py 從它算出,記在 out/demo_stats.json:episodes.fly/lesion025/scrambled_cal 第 21、49、60、146 格的 e(敵人方位)、a(按鍵)與八組放電率;閾值在 cal.fly.cal 與 cal.scrambled.cal;50 局平均在 stats50。

← PART 4 作者沒做的檢查 PART 6 讀程式 →
BSC 腦空間體研究中心 · 專題課程 果蠅玩 Doom · 教材由 Claude Code 產生 · 回課程首頁