PART 5
重現時錄下的 Doom 畫面,與 8 組神經元的放電率(神經元靠一次次短促的電訊號傳訊,放電率是每秒幾次,單位 Hz)逐格對齊;把 PART 3 與 PART 4 講的現象直接在畫面上找出來
先說這三段影片是什麼:fruitfly-lab 的作者用程式模擬果蠅腦的一段接線(三千多顆神經元,PART 1),讓它在 Doom 裡轉身、開火;本課在自己的電腦上把作者的實驗重跑一次(PART 3),影片就是重跑時錄的。畫面上玩的不是真果蠅,是模擬的神經元。三段影片都是種子 0 的第 0 局(種子是亂數的起點,程式從 0 開始數局;同一個種子,敵人的出場順序相同,所以三段影片的敵人一樣,只差大腦)。三種大腦是:完整接線(fly)、損毀 AOTU025(lesion025,這對神經元整場不放電)、打亂接線並各自校準(scrambled_cal)。「各自校準」的意思:閾值(訊號要高過多少才按鍵的門檻)是拿一套接線量出來的(PART 1 第 4 節),接線打亂之後訊號的大小整個變了,所以用打亂後的接線重新量一次閾值;這不是給它放水,而是不這樣做等於拿錯的尺量它,對照才不公平(PART 4 第 3 節)。三局的長度不同,因為玩家被打死就結束:完整接線 481 格、損毀 350 格、打亂 218 格。這個關卡(ViZDoom 內建的 defend_the_center)裡玩家站在中央不能走動,敵人從四周走過來攻擊;擊倒得越少,走到身邊的敵人越多,死得越快。本課另外拿同一個種子實測整局什麼鍵都不按:玩家也是撐到第 218 格被打死(遊戲計時 228 tic),和打亂接線那局一樣長。打亂接線那局雖然有轉身、開了 4 槍(scrambled_cal.json 的 shots),但一個敵人都沒打倒,活得和完全不動一樣久。(這裡只比了這一局;10 局的平均擊殺,打亂接線 0.7、隨機按鍵 0.9,也差不多,見 PART 3 第 7 節。)關卡另有 60 秒的時間上限(設定檔 episode_timeout = 2100 個 tic),三局都遠遠沒到。PART 3 第 7 節那一步的程式輸出寫完整接線這局存活 14.0 秒,是作者程式結束時讀的遊戲計時 get_episode_time():491 tic 除以 35。這比錄影多 10 格,原因是設定檔的 episode_start_time = 10:每局開頭遊戲先自己跑 10 個 tic 才交給大腦,計時從那裡就開始算,錄影則從大腦接手的第一格開始。三局都正好差 10(491 對 481、360 對 350、228 對 218);本課另外實測,開局第一個畫面時 get_episode_time() 已經是 10。擊殺數分別是 7、2、0,和 PART 3 第 7 節表上第 0 局的數字相同——影片就是重現時實際跑出來的那一局。
錄影時同時記下每一格(1/35 秒)四種神經元的放電率:LC10a(視覺輸入)、AOTU019(中央視野)、AOTU025(外圍視野)、DNa02(下行神經元:把腦的指令往身體送,負責轉向),左右半腦各一,共 8 組;另外記下遊戲回報的敵人方位、以及按了哪些鍵。網頁播放時只是重播這些紀錄,不會在瀏覽器裡重新模擬:神經元模型與遊戲引擎都是 Python 套件,瀏覽器跑不了。
擊殺數 7、2、0、作者紀錄的局長 491、360、228 tic 與第 0 局的對照:out/fruitfly/local_doom_vizdoom130/ 各條件 JSON 的 episodes[0](kills、tics)。設定檔的 episode_start_time、episode_timeout、開局第一個畫面的計時,以及整局不按鍵撐了幾格(noop_episode),由 scripts/vizdoom_probe.py 讀設定檔並實際開一局量得,存在 out/vizdoom_probe.json。
簡報要演示的話:播放台單獨頁只有播放台,版面配合 16:9 投影片,功能和上面這個一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網);不能上網時用離線包(約 4 MB,解壓縮後用瀏覽器開裡面的 player.html)。網址後面加 ?b=lesion025&t=3.5 可以指定一開始播哪一種大腦(fly、lesion025、scrambled_cal)、從第幾秒開始;鍵盤:空白鍵播放/暫停、← → 一格、Shift+← → 一秒、1 2 3 換大腦。
影片與逐格紀錄由 scripts/record_demo.py 錄製、scripts/build_data.py 整理成 assets/demo/data.json。
迴路圖(影片右邊那張)。8 個圓圈是 8 組神經元,上下順序是訊號傳的方向:最上面 LC10a(視覺輸入),中間 AOTU019 與 AOTU025,最下面 DNa02(轉向指令的出口);左欄藍色是左半腦那群,右欄琥珀色是右半腦。圓圈之間的線是誰推誰:實線是興奮(上游放電讓下游更容易放電)、虛線加短槓是抑制;只畫推得夠用力的連結(權重是一條連結推得多用力的數字:突觸數 × 正負號 × 0.275 mV,正負號看上游神經元的傳導物質,沒有做正規化,見 PART 1 第 2 節參數表;兩群之間所有連結的權重加總達到一定大小才畫,和 PART 1 圖 2 同一組數字;圖 2 有把每條的權重寫出來,這裡沒有)。圓圈裡的數字是那一格的放電率(Hz),不是從開局累積的次數:每一格數這 28.6 ms 裡放電幾次換成 Hz,同一群取平均,再和前幾格平滑(新值 = 0.75 × 上一格的值 + 0.25 × 這一格單算的值,PART 1 圖 5 第 ① 步),所以大約是最近 0.1 秒左右的放電率;敵人離開畫面後,數字會一格一格降回 0。讀出規則用的也是這個平滑後的值。放電率愈高圓圈愈亮,到 250 Hz 就最亮。
兩條長條。「轉向訊號」是 PART 1 第 4 節讀出規則的值:(DNa02 右 − DNa02 左) + (AOTU019 右 − AOTU019 左),單位是 Hz 的差。正值往右(琥珀色)、負值往左(藍色);中線是 0,兩側紅線是轉向閾值 ±130.93,長條越過哪一側的紅線就按那一側的轉向鍵。在完整接線與損毀那兩局,敵人在正前方 ±30° 內時兩顆 DNa02 都是 0(圖上畫出來推 DNa02 的只有 AOTU025,而 AOTU025 只對外圍視野反應,校準曲線見 PART 4 第 4 節;模型裡還有沒畫出來的細連結,所以 DNa02 偶爾會有一點活動,但推不過線),這條長條完全靠 AOTU019 那一項(PART 4 第 4 節)。「開火條件」是左右 AOTU019 放電率較小的那一個,紅線是開火閾值 95.68;取較小的那一個,是因為開火要兩側都夠亮——較小的那個過線,兩個就都過線,代表敵人在正中央。這兩個閾值是完整接線校準出來的,「損毀 AOTU025」那局也沿用(作者的設定。損毀只拿掉一條路,其餘神經元的訊號大小不變,用同一把尺才看得出少了那條路的影響;打亂接線是整個尺度都變了,所以才要另外量);「打亂接線」那局用它自己校準的 ±40.46 與 8.44,切過去時長條旁的數字會跟著換。
視野條。橫軸是果蠅視野裡的方位,左端 −90°、右端 +90°、中間 0° 是正前方;圓點是遊戲回報的敵人方位,在左半邊是藍點、右半邊是琥珀點,畫面上沒有敵人就沒有圓點。深灰帶是 ±6° 雙眼重疊區(兩側 LC10a 同時受刺激),淺灰帶是 ±30°:這段迴路裡的 DNa02 在這個範圍內不放電,因為推它的 AOTU025 在這個範圍不反應(PART 4 第 4 節)。
下方的曲線圖。四列由上到下是 LC10a、AOTU019、AOTU025、DNa02(圖上的英文列名依序是 visual input/central field/peripheral field/descending, steering),每列兩條曲線:藍色是左半腦那群、琥珀色是右半腦那群,高度是放電率(到 250 Hz 滿格)。紅色直線是擊殺發生的那一格,灰底是畫面上有敵人的時段。視野條上的灰帶和曲線圖的灰底是兩回事:前者是方位範圍,後者是時間範圍。「搜尋」是畫面上沒有敵人、迴路也安靜時固定按的右轉。
同一個種子、同一張地圖、同一條讀出公式(閾值:完整接線與損毀那局沿用同一組,打亂那局用它自己校準的),只差在大腦。按一次播放,三局一起開始,各自打到玩家死亡為止。敵人的出場順序由種子決定,所以三局開頭一模一樣;一旦某顆大腦按了不同的鍵,畫面就分道揚鑣,之後就不能再逐格對照,只能比各自的行為。
看懂的三個檢查點:
三個檢查點的格數、方位與放電率出自 out/demo_data.json 的 episodes.fly/lesion025/scrambled_cal(第 21、26、49、60 格),閾值出自 cal.fly.cal(130.93)與 cal.scrambled.cal(40.46)。
用播放台的 ¼× 慢放或逐格前進(畫面左上角的 t 是秒數,格數 = 秒數 × 35),在「完整接線」那一局找。這一局的敵人都從正前方或右側出現,所以整局沒有按過左轉;敵人從左邊來的情形,規則是鏡像的。
再切到「打亂接線」那一局:迴路圖上的連線已經不代表這個大腦(打亂後的接線每一局都不同、也沒有存成畫圖用的資料,所以圖上保留原本的接線並調淡)。看兩件事就夠:第一,LC10a 還是有相近量級的活動(整局有敵人的格,左右較大者平均 39.6 Hz,完整接線同一局是 60.0 Hz),但 AOTU019 最高只有左 28.3、右 15.4 Hz,完整接線同一局是 225.5 與 264.6 Hz:視覺訊號進去了,卻沒有傳到該去的地方;第二,DNa02 右整局 0.0 Hz,它永遠轉不了右,第 49 格敵人在正前方 −0.3°,它卻按了左轉(訊號是右減左:(0 − 21.8) + (0.1 − 22.2) = −43.9,越過它自己 −40.46 的左側紅線)。這就是「放電的模式與敵人的位置對不起來」的意思。
本節引用的格數與放電率都在 assets/demo/data.json(out/demo_data.json 同一份);平均值與轉向訊號由 scripts/demo_stats.py 從它算出,記在 out/demo_stats.json:episodes.fly/lesion025/scrambled_cal 第 21、49、60、146 格的 e(敵人方位)、a(按鍵)與八組放電率;閾值在 cal.fly.cal 與 cal.scrambled.cal;50 局平均在 stats50。