BSC 專題課程 / 果蠅玩 Doom / PART 1

PART 1

fruitfly-lab 在做什麼

一份連結體要變成一個會玩遊戲的模型,要再加三個人為的零件,一共四個;四個裡只有連結體來自資料

← 課程首頁 PART 2 準備環境與資料 →

1四個零件

連結體(connectome)是一張清單:一顆腦裡每一顆神經元、它連到哪些神經元、每一條連結有幾個突觸(synapse:兩顆神經元之間傳訊號的接點;一條連結的突觸愈多,通常影響愈大)。它本身是靜態的,不會動。要讓它「玩遊戲」,fruitfly-lab(一個放在 GitHub 這個公開程式碼網站上的專案;本頁說的「作者」就是寫這個專案的人,「README」是作者附的說明檔)在連結體之外又加了三個零件,一共四個:

零件它回答的問題來自資料,還是人為設定
① 連結體誰連到誰、連得多強資料(電子顯微鏡重建:把整顆腦切成極薄的切片逐張拍照,再由電腦與人工沿著每顆神經元在相鄰切片間描出來、數出接點,得到「誰連到誰、幾個突觸」的清單)
② 神經元方程式一顆神經元收到輸入之後怎麼反應人為設定(借用已發表的模型)
③ 輸入編碼遊戲畫面怎麼變成神經元的輸入人為設定
④ 讀出規則哪些神經元的活動、怎麼換成按鍵人為設定
白話:連結體像一張電路板的佈線圖。佈線圖是真的量出來的,但這塊板子要接什麼電源(輸入)、從哪個接腳讀訊號(讀出)、每個零件的電氣特性是什麼(方程式),都是做模型的人決定的。所以看到「果蠅大腦玩遊戲」的示範,第一個要問的是:四個零件裡,哪幾個是資料、哪幾個是人選的。

這一頁把四個零件逐一講完(第 2 到 4 節:第 2 節零件 ②、第 3 節零件 ①、第 4 節零件 ③ 與 ④),第 5 節講七個對照條件,最後收成一張總表(第 6 節)。

2神經元方程式:漏電整合發放

fruitfly-lab 的每一顆神經元都用漏電整合發放模型(leaky integrate-and-fire,簡稱 LIF)模擬,參數照抄 Shiu 等人 2024 年在 Nature 發表的果蠅全腦模型。這個模型只追蹤一個量:神經元的膜電位(細胞內外的電壓差,單位 mV)。膜電位夠高就「放電」一次,放電是神經元之間唯一的訊號。下面先列方程式,再用水桶比喻走一遍,接著是參數表,最後是可以自己操作的圖 1。

符號:V 是膜電位(下面的白話叫水位),g 是這一刻收到的輸入總量(白話叫水龍頭開度),兩者單位都是 mV;τm、τsyn 是兩個「多快」;Vrest、Vth 是兩個固定的水位。數值在下面的表。
隨時都在算(每 0.1 ms 一步)
τm · dV/dt = −(V − Vrest) + g(t)
τsyn · dg/dt = −g
dV/dt 讀作「V 每毫秒變多少」,dg/dt 同理;兩式各自描述 V 與 g 在沒有事件時怎麼自然演變。g 和 V 用同一個單位 mV,因為 g 在第一式裡直接算成「這一刻把 V 往上推多少」。
事件(發生那一刻直接改值)
收到輸入:上游某顆神經元(上游=送訊號給這顆的神經元;下游=這顆送訊號給它的神經元)放電 1.8 ms 後,g 跳增「這兩顆之間連結的強度」(突觸數 × 正負號 × 0.275 mV,見下表)
放電規則:V 超過 Vth,送出一個放電(spike),V 拉回 Vrest,g 歸零;接下來 2.2 ms 是不反應期:上面兩式暫停(V、g 都不變),這段時間到達的輸入照樣加進 g 先存著,不反應期結束兩式才恢復
白話:膜電位像一個底部有小洞的水桶裡的水位。
桶底的洞(漏電):水位高於原本的高度(Vrest)時,水會從洞慢慢漏掉,水位往 Vrest 回落;τm 就是漏得多快。
水龍頭(輸入):上游神經元每放電一次,就把水龍頭開大一點。g 是水龍頭的開度:興奮性突觸(上游放電讓這顆更容易放電)往正的方向開,抑制性突觸(讓這顆更難放電)往負的方向開,等於從桶裡抽水;開多大,看上游那顆神經元跟這顆之間有幾個突觸。水龍頭不會一直開著,而是自己慢慢關回去,每過 5 ms 剩下約 37%,這個「關回去的速度」就是突觸時間常數 τsyn。
刻度(放電):水位一旦超過刻度 Vth,這顆神經元就放電一次、把訊號傳給下游,然後水位拉回 Vrest、水龍頭關到零,重來。放電率就是每秒放電幾次,單位 Hz。
為什麼叫「整合」:從 Vrest(−52 mV)到 Vth(−45 mV)差 7 mV。上游一次放電只把水龍頭開一點點,而且 5 ms 內就關掉大半,單獨一次通常推不到刻度;要好幾顆上游神經元在幾毫秒之內接連放電,水位才疊得上去。尺度感:第 3 節圖 2 裡一顆 LC10a(第 3 節要講的迴路起點,一群視覺神經元)放電一次平均把 g 加約 3 mV,但 g 加 3 mV 不等於水位 V 立刻升 3 mV,水位是跟著開度慢慢升的(τm 20 ms),而開度 5 ms 內就關掉大半,所以一次放電讓水位升的幅度遠小於 3 mV(只升約 0.48 mV,下面圖 1 第 ② 步);要補到 7 mV 的差距,需要同時放電的 LC10a 顆數比 7 ÷ 3 多得多(同一刻要 15 顆,圖 1 第 ③ 步)。神經元做的事就是把短時間內的輸入「整合」起來,再決定放不放電。
參數值意思
Vrest−52 mV靜止膜電位,也是放電後拉回的值
Vth−45 mV放電閾值
τm20 ms膜時間常數:漏得多快
τsyn5 ms突觸時間常數:上游一次放電把 g 推高之後,g 衰減得多快。「每過 5 ms 剩約 37%」是指數衰減的定義:時間常數 τ 的意思就是每過一個 τ,剩下的量變成原來的 1/e ≈ 37%,再過一個 τ 又乘 37%。它決定一次輸入能推膜電位多久,也決定幾個輸入要多靠近才疊得起來。為什麼是這樣衰減、5 ms 從哪來,見表下的附註
不反應期2.2 ms放電後這段時間內不會再放電(受外部刺激的 LC10a 例外:抽中就放電,見圖 1 第 ⑦ 步)。順序是:放電那一刻 g 歸零 → 接下來 2.2 ms 兩條方程式暫停,V 停在 Vrest、g 不衰減,但期間到達的輸入照樣加進 g → 結束後兩式恢復,存起來的 g 才開始推 V 並衰減
每個突觸的權重0.275 mV一條連結的強度 = 突觸數 × 正負號 × 0.275 mV。0.275 mV 是 Shiu 等人為全腦模型挑的單一突觸強度,不是量出來的;正負號看上游那顆神經元的傳導物質(放電時釋放給下游的化學訊號):GABA 與麩胺酸為負,其餘(乙醯膽鹼、多巴胺、章魚胺、血清素)為正;精確的算法見表下附註「連結權重的精確定義」。傳導物質是 FlyWire(做出這份連結體的計畫,第 3 節細講)用電子顯微鏡影像以機器學習預測的,附在資料裡,所以算資料,但是預測值,不是逐顆實驗確認的
傳遞延遲1.8 ms上游放電到下游收到的時間
模擬時間步長0.1 ms電腦每 0.1 ms 更新一次所有神經元

這張表哪些是量出來的:只有「正負號」來自資料(FlyWire 的預測)。其餘每一個數值都是 Shiu 等人為全腦模型採用的同一組通用值,整顆腦 13 萬多顆神經元都用這一組,不是逐顆量出來的;真實神經元的這些性質各不相同。所以第 1 節把方程式整個歸在「人為設定」。

參數出自 fruitfly-lab 的 README 第 32–33 行(程式庫本身叫 repo,後面會一直用這個詞)(引用 Shiu et al. 2024, Nature);程式在 flycircuit/lif.py。

附註:連結權重的精確定義(已查原文與程式)

定義。上游神經元 i 到下游神經元 j 的權重是
wij = si × nij × Wsyn, Wsyn = 0.275 mV i 每放電一次,1.8 ms 後 j 的 g 加上 wij:gj ← gj + Σi wij(Σ 只加 1.8 ms 前那一步有放電的 i)。wij 的單位是 mV,就是上面第一式裡 g 的單位。

nij:突觸數。i 到 j 之間的突觸個數,取自 Shiu 等人的連線表 Connectivity_783.parquet 的 Connectivity 欄。這張表 15,091,983 列,每列是一對有連結的神經元,突觸數最少 1 個、最多 2,405 個。子圖內部的連結全部保留,不論幾個突觸;第 3 節的「突觸數 5 個以上」只用在挑神經元。

si:正負號,只看上游。si 是 +1 或 −1,由上游 i 一顆決定,i 送出的每一條連結都同號(表上 138,005 顆有送出連結的神經元全部如此)。Shiu 等人論文 Methods 的規則:FlyWire 替每個突觸預測一種傳導物質,只用預測可信度(cleft score)50 以上的突觸;一顆神經元若超過一半的突觸被預測為 GABA 或麩胺酸,s = −1,否則 s = +1;多巴胺、章魚胺、血清素都歸 +1。連線表的 Excitatory 欄存的就是 si,Excitatory x Connectivity 欄存 si × nij(逐列核對過,全部相符)。作者 extract.py 第 109 行讀的就是這一欄,lif.py 第 33 行再乘 0.275 mV。

因為是逐個突觸投票,si 和 FlyWire 註解檔的 top_nt 欄(整顆神經元最可能的那一種傳導物質)不完全一致:top_nt 標 GABA 的 19,079 顆裡有 1,348 顆是 +1,標乙醯膽鹼的 85,881 顆裡有 1,719 顆是 −1。模型用的是 si,不是 top_nt。

沒有正規化。wij 不除以任何總數:下游收到的突觸越多,被推得越用力。子圖的 354,879 條連結裡,si × nij 從 −2,405 到 +598,換成權重是 −661.375 mV 到 +164.45 mV;134,437 條是負的。作者存檔時壓成 16 位元整數,這個範圍放得下,沒有任何一條被截斷。

兩群之間的加總(圖 2 的數字)。WAB = Σi∈A Σj∈B wij。例如左 LC10a → 左 AOTU019 有 69 條連結,s × n 加起來 1,291,× 0.275 mV = 355.025 mV,圖上寫 +355;除以 LC10a 左側的 115 顆,就是第 2 節說的「平均一顆約 3 mV」。

0.275 mV 怎麼挑的。論文說 Wsyn 是整個模型唯一的自由參數,挑法是讓糖味受器以 100 Hz 刺激時,控制伸口器的運動神經元 MN9 放電達到最大值的約 80%。

和 21 點那一課不同。fly_blackjack 的權重是突觸數 ÷ 下游神經元在那一層收到的突觸總數,每顆下游神經元的輸入權重加起來是 1,而且全部是正的,不看傳導物質。

原文:Shiu et al. 2024, Nature 634:210–219,Methods(Europe PMC 開放全文 PMC11446845);實測數字出自 out/weight_def.json(scripts/weight_def_probe.py 直接讀連線表與作者的 circuit/edges.bin)。

附註:g 為什麼照 τsyn · dg/dt = −g 衰減?5 ms 從哪來?(已查原文)

生物上的意思。上游放電時,突觸釋放傳導物質,打開下游細胞膜上的受體通道,離子流進來,這股電流就是 g 代表的東西。傳導物質很快被清掉或脫離,打開的通道一個一個關上。假設每個打開的通道在每一瞬間都有同樣的機率關上、彼此不相干,那麼還開著的通道愈多,每毫秒關掉的就愈多:g 減少的速度和 g 本身成正比,寫成式子就是 dg/dt = −g ÷ τsyn,解出來就是「每過 τsyn 剩 37%」的指數衰減。實驗記錄到的突觸電流,大致也是很快升起、再接近指數地衰減下來。所以「指數衰減」這個形狀有生物依據。

簡化了什麼。一、上升是瞬間的,真實的突觸電流要零點幾到幾毫秒才升到頂。二、興奮、抑制、整顆腦所有突觸都用同一個 τsyn,真實的各種受體快慢差很多。三、g 直接用 mV 計,抑制的效果不隨當下的膜電位改變;真實的突觸電流大小會隨膜電位變(Jürgensen 等人的模型就有算這一點,見下面)。四、沒有連續放電之後變弱或變強這類突觸可塑性。這樣寫的好處是算得快:式子是線性的,上游所有輸入直接加進同一個 g、一起衰減,每顆神經元只要記一個 g,13 萬多顆神經元才跑得動。

5 ms 的出處。Shiu 等人論文的 Methods 寫「τ = 5 ms(突觸衰減的時間尺度)」,引的是 Jürgensen 等人 2021 年的論文(Neuromorphic Computing and Engineering 1:024008),不是 Vrest、Vth、τm 引用的 Kakaria 與 de Bivort 2017。Jürgensen 等人做的是果蠅幼蟲的嗅覺迴路模型,參數表把興奮性突觸的時間常數設為 5 ms、抑制性的設為 10 ms,表上沒有附實驗出處。Shiu 等人只取了 5 ms,抑制也用 5 ms。

對照:Kakaria 與 de Bivort 2017。Vrest −52 mV、Vth −45 mV、τm 20 ms 出自這篇。他們說這組參數對應「一般的放電神經元」,並和果蠅的一些量測相符:Vrest 引 Rohrbough 與 Broadie 2002、Sheeba 等人 2008;Vth 引 Sheeba 等人 2008、Gouwens 與 Wilson 2009;τm = 膜電阻 10 MΩ × 膜電容 0.002 μF = 20 ms,電阻與電容引 Gouwens 與 Wilson 2009。這篇的突觸電流先花 2 ms 升起、再指數衰減,衰減的半衰期是 5 ms(引 Gaudry 等人 2013,這篇我們沒有再往下查)。半衰期是剩一半的時間,換成時間常數約 7.2 ms(5 ÷ ln 2),和 Shiu 等人的 5 ms 不是同一個數。

結論。突觸輸入照指數衰減,有生物依據,也是計算神經科學的標準簡化。5 ms 是從另一個果蠅模型借來的通用值,不是在 LC10a、AOTU019 這些神經元上量到的;它和膜電位那幾個參數一樣,整顆腦共用同一個值,所以第 1 節把整條方程式歸為人為設定。

讀的原文:Shiu et al. 2024, Nature 634:210–219(PMC11446845,Methods)與作者程式 Drosophila_brain_model/model.py 的參數註解;Jürgensen A-M, Khalili A, Chicca E, Indiveri G, Nawrot MP 2021, Neuromorph. Comput. Eng. 1:024008(開放全文,表 1);Kakaria KS, de Bivort BL 2017, Front. Behav. Neurosci. 11:8(PMC5306390,Methods)。查證紀錄在 out/lif_sources.json。

下面圖 1 把方程式和水桶放在一起動:左邊是水桶,右邊是同一顆神經元的 g 與 V 隨時間怎麼變。七步各演一件事,每一步播完都可以自己按「+1 興奮」「+1 抑制」送輸入試試看。

漏電整合發放示意:左邊水桶的水位是膜電位 V,水龍頭開度是 g,桶底的洞是漏電;右邊是上游輸入、g、V 與輸出放電隨時間的變化 水桶比喻 興 抑 沿管子走 1.8 ms 水龍頭開度 g 刻度 Vth −45 Vrest −52 −40 −60 mV 桶底的洞(漏電):水位往 Vrest 拉 ↑ 加 68.75 mV,滿出桶口 放電! 送給下游 不反應期 2.2 ms 內兩式暫停 上游送出的放電(↑ 興奮、↓ 抑制,數字=同一刻幾個) g:水龍頭開度(mV) V:膜電位=水位(mV) −45 −52 −40 −60 輸出放電(送給下游)
自己送輸入:
  1. ① 漏電:水位比 Vrest 高 5 mV,沒有任何輸入。桶底的洞讓水位往 Vrest 回落,離得愈遠落得愈快,愈接近落得愈慢。過 20 ms(τm)差距從 5 mV 剩 1.84 mV,約 37%。
  2. ② 一次輸入:一顆上游神經元放電一次(假設兩顆之間有 11 個突觸:11 × 0.275 ≈ 3.03 mV,和第 3 節圖 2 裡一顆 LC10a 的平均差不多)。1.8 ms 後訊號到達,g 跳高 3.03 mV,接著每 5 ms 剩 37%。水位跟著 g 慢慢升,到達後約 9.1 ms 到頂,只升 0.48 mV,離刻度還差 7 mV 的一大截。
  3. ③ 整合:同樣是 15 個輸入,送法不同。前面每 5 ms 送一個:每一個留下的水還沒漏完下一個就來,水位疊到 −49.01 mV 左右就上不去(進來的和漏掉的打平),沒到刻度。120 ms 時 15 個同時送:水位在 127.5 ms 過刻度、放電。15 個是同一刻送最少要的個數,少一個水位只到 −45.25 mV。這就是「整合」:神經元把短時間內的輸入加起來,加得夠多才放電。
  4. ④ 放電與不反應期:10 ms 時 30 個同時送,13.7 ms 放電:水位拉回 Vrest、g 歸零,接下來 2.2 ms 是不反應期(灰底),兩條方程式暫停。12.9 ms 又送出 20 個,14.7 ms 到達時正在不反應期裡:先存在 g(60.5 mV,不衰減、也不推水位)。15.9 ms 不反應期結束,存著的 g 才開始推水位,19.5 ms 再放電一次。右邊軌跡裡放電畫成一根直線,只是記號:模型裡沒有這個尖峰,水位一過刻度就直接拉回 Vrest。
  5. ⑤ 抑制:10 ms 送 20 個興奮輸入,15.3 ms 放電。60 ms 同樣 20 個興奮,但同時來了 10 個抑制輸入(每個 −3.03 mV,上游是 GABA 或麩胺酸的神經元):g 只淨增 30.25 mV,水位最高 −47.18 mV,沒放電。抑制等於把水龍頭往負的方向開、從桶裡抽水。
  6. ⑥ 持續輸入 → 放電率:真實的迴路裡,輸入是好幾顆上游神經元在隨機時刻各自放電。拉「上游顆數」:假設每顆上游平均每秒放電 20 次、每次 3.03 mV(20 次是為了示範挑的)。上游愈多,水位愈常被推過刻度,這顆神經元每秒放電的次數(放電率)就愈高。照作者程式各跑 20 秒:25 顆 → 17.5 Hz、50 顆 → 54.9 Hz、75 顆 → 79.8 Hz、100 顆 → 100 Hz、150 顆 → 131.9 Hz、200 顆 → 157.7 Hz。下面的讀數是最近 1 秒的放電次數,會跟著隨機輸入上下跳。
  7. ⑦ LC10a 的外部刺激:LC10a 的輸入不是來自上游神經元,而是程式直接刺激(第 4 節、圖 4 第 ⑥ 步):每 0.1 ms 抽一次籤,抽中的機率 = r × 0.1 ms,抽中就把水位直接加 68.75 mV(不經過 g,所以 g 一直是 0),一定過刻度、馬上放電;V 的圖上紫色小箭頭是抽中的時刻。所以輸出的放電率幾乎就等於設定的 r。照作者程式各跑 20 秒:r = 10 → 10.8 Hz、r = 50 → 51.2 Hz、r = 100 → 100 Hz、r = 150 → 149.2 Hz。這一步的放電可以落在前一次放電後 2.2 ms 內(右邊灰底裡又出現一根橘線,旁邊標「不反應期裡」):不反應期只擋得住經過 g 的輸入(第 ④ 步),擋不住外部刺激。這是原本的設計:Shiu 等人的程式把受外部刺激的神經元不反應期設為 0(model.py 的註解:no refractory period for Poisson targets);fruitfly-lab 的 lif.py 寫法不同(放電後照樣暫停 2.2 ms 不積分,但抽中時檢查「過刻度」不看不反應期),結果一樣是抽中就放電。r = 100 時約 19.6%、r = 150 時約 28.2% 的放電落在前一次之後 2.2 ms 內。參數表「不反應期」那一列說的「這段時間內不會再放電」,只適用於收上游輸入的神經元。
圖 1 漏電整合發放,一步一步看。按「下一步」從 ① 走到 ⑦,每一步會自動播放;時間放慢很多倍(「很慢」是模型的 1 ms 演 0.2 秒),可以換速度、暫停、重播。左邊水桶:水位是膜電位 V,紅色虛線是刻度 Vth,灰色虛線是 Vrest;水龍頭的開度是 g,水柱愈粗 g 愈大,g 是負的(抑制)時改成往上抽水;桶底的洞是漏電,水滴愈快表示水位離 Vrest 愈遠。右邊由上往下:上游送出的放電、g、V、這顆神經元送出的放電;灰底是不反應期,橘色直線是放電的記號。這是單獨一顆神經元,上游輸入是示範用的(每個輸入 3.03 mV,即 11 個突觸 × 0.275 mV),不是模型裡哪一顆真正收到的輸入。 更新規則照抄作者 flycircuit/lif.py 的 _kernel(每 0.1 ms 一步:收到期的輸入 → 不反應期外才積分與衰減 → 外部刺激 → 過刻度就放電);參數讀作者 circuit/meta.json。步驟裡的數字由 scripts/lif_fig_data.py 用同一套規則在 Python 裡算出,在 out/lif_fig.json;圖由 scripts/make_lif_anim.py 產生(圖裡的文字要改在那裡)。

簡報要演示的話:圖 1 單獨頁只有這張圖,版面配合 16:9 投影片,功能和上面一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網),也可以下載後用瀏覽器直接開(單一檔案,不用網路);鍵盤 ← → 換步驟、空白鍵暫停、R 重播、E/I 送興奮/抑制輸入、S 換速度、D 顯示這一步的說明。不想用瀏覽器的話,投影片用圖有九個畫面(七步,第 ④ 步多一張不反應期當下、第 ⑥ 步多一張上游 150 顆),每個都有 PNG 與 SVG,一張投影片放一個畫面即可;壓縮檔裡也附了單獨頁。

3從全腦切出一段迴路

FlyWire v783 是一隻雌果蠅全腦的連結體,有 138,639 顆神經元、15,091,983 條連結。fruitfly-lab 不模擬整顆腦,而是切出其中一段已經被研究清楚的視覺追蹤迴路:這段迴路在真果蠅裡的工作是看到小的移動物體就轉過去追,遊戲要做的也是轉向對準敵人,所以挑它。切出來的這一小塊叫子圖(subgraph),共 3,963 顆神經元。

迴路的起點是 LC10a:一群偵測「視野裡小而移動的物體」的視覺神經元,左半腦 115 顆(接收左眼的訊號)、右半腦 119 顆。終點是五種控制轉向的下行神經元(descending neuron:從腦往下送訊號到腹神經索、控制身體動作的神經元),五種是 DNa01、DNa02、DNa03、DNa04、DNa11,切子圖時五種都當終點,決定哪些神經元留在子圖裡。

第 4 節把放電換成按鍵時,五種裡只用 DNa02,再加上中間的 AOTU019(下面要講的兩種中間神經元之一,不是下行神經元);為什麼不用另外四種,作者沒寫。README 的迴路圖也只畫從 LC10a 經 AOTU019、AOTU025 到 DNa02 這一條路。從 LC10a 到 DNa02 中間經過兩種神經元:

上面兩條是連結體資料:傳導物質是 FlyWire 預測的;投射到哪一側在連結體裡查得到,下面圖 2 的接線就是(AOTU019 的抑制連結接到對側的 DNa02、AOTU025 的興奮連結接到同側的),README 也這樣寫。這兩條也有實驗支持(Collie 等人 2026,Neuron):AOTU019 是 GABA,除了機器預測,還用 GABA 合成酶 Gad1 的基因標記確認過;在走路的果蠅身上往單顆 AOTU019 或 AOTU025 打正電流、讓它興奮,果蠅都轉向那顆細胞那一側(兩種各 n = 15),往 AOTU019 打負電流、讓它受抑制,果蠅轉向另一側(n = 8),AOTU025 受抑制則沒有顯著效果(n = 5)。兩條路的效果一樣,都讓「物體那一側的下行神經元比另一側活躍」:同側興奮與對側抑制都拉大左右差,論文叫它「蹺蹺板式轉向控制」。沒有直接量到的一步是「AOTU019 放電時,對側 DNa02 真的被壓低」:本課讀到的原文裡沒有同時記錄這兩顆細胞的實驗,這一步是從接線、傳導物質與打電流後的轉向推出來的。連結體本身不會直接告訴你一顆神經元負責視野的哪一塊。本頁後面會一直說 AOTU019 負責中央視野、AOTU025 負責外圍視野:這個分工的方向有一篇研究的連結體分析與電生理實測支持(Collie 等人 2026,Neuron,見下面附註),但那篇研究量到兩者的視野相當重疊,不是一刀切。README 第 21、22 行把它寫成 AOTU019 是 central field 0–40°、AOTU025 是 periphery 40–90°(離正前方的偏角,左右皆然,和第 4 節的方位角同一把尺),這兩個角度是作者的概括,論文裡沒有這個分界。作者再把這個分工拿來設定第 4 節的輸入編碼,做法也和論文不同(見附註),所以在這個模型裡它是人為設定。

附註:「AOTU019 管中央、AOTU025 管外圍」的生物依據(已查原文)

出處。Collie MF, Jin C, Rockwell V, Kellogg E, Vanderbeck QX, Hartman AK, Holtz SL, Wilson RI. Specialized parallel pathways for adaptive control of visual object pursuit. Neuron 114(10):1833–1847.e9 (2026). doi:10.1016/j.neuron.2026.01.001(PubMed 41713413;預印本 bioRxiv)。本課讀的是 bioRxiv 的第一版(2025 年 4 月)與修訂版(2025 年 11 月)全文;Neuron 正式版的網頁本課抓不到,卷期頁碼由 Europe PMC 的書目資料核對。

依據一:連結體。LC10a 把視野依序排在視葉的小葉(lobula)上,投射到 AOTU 時保留這個順序。論文發現 AOTU019 主要收負責內側(前方)視野的 LC10a,AOTU025 主要收負責側方視野的;再用每種 AOTU 收到的 LC10a 輸入在小葉內外軸上的分布,推估它的視野範圍(推估時納入 15° 的雙眼重疊)。用了兩份連結體:雌蠅的 FlyWire 與雄蠅的 MaleCNS。

依據二:電生理。對頭部固定、在球上走路的果蠅做全細胞記錄(把電極接上單顆神經元、直接量它的放電),在環繞的螢幕上讓小物體出現在隨機位置、以每秒 25° 橫移 22.5° 後消失,逐點量反應。雄蠅記了 AOTU019 25 顆、AOTU025 22 顆,雌蠅各 9 顆;記錄時用光遺傳學讓果蠅處於激發狀態(雄蠅刺激 P1 神經元、雌蠅刺激 aIPg),確保 AOTU 對視覺有反應。結果:AOTU019 對正前方附近的物體反應最強,AOTU025 對外圍的最強,雌雄一樣;兩者的視野相當重疊,物體從外圍移到中央時兩者會同時活化、平順交接(論文圖 4 的標題就是「平行的 AOTU 路徑編碼部分重疊的視野區域」)。

和 fruitfly-lab 的差別。① 0–40°、40–90° 這兩個角度不在論文裡,是 README 的概括。② 論文用每顆 LC10a 在小葉上的位置推估視野;fruitfly-lab 改用每顆 LC10a 接到 AOTU019 與 AOTU025 的突觸占比當偏好位置(第 4 節第 2 步),沒有用到位置,兩種做法不一樣。③ 論文推估視野時用 15° 的雙眼重疊;fruitfly-lab 的雙眼重疊區是正前方 ±6°(BINO),作者沒寫這個數字的出處。

同一篇論文的另一件事:興奮同側、抑制對側。正文第 3 節「AOTU019 抑制對側、AOTU025 興奮同側」的實驗根據也出自這篇:Gad1 基因標記確認 AOTU019 是 GABA(論文 Fig. S3B),打電流改變單顆 AOTU 細胞的放電、看果蠅往哪轉(論文 Fig. 4B)。原文摘錄與各組 n 存在查證紀錄的 ipsi_contra_evidence。

查證紀錄:out/collie2026.json。

AOTU019 與 AOTU025 在這個模型裡各管什麼、為什麼下面圖 2 裡 AOTU019 到對側 DNa02 的那條虛線(抑制)在這個模型裡沒作用,要等第 4 節講完讀出規則才答得了,答案在第 4 節末尾的五點。

+355+376 +438+378 +46+42 −59−33 LC10aLC10a AOTU019AOTU025 AOTU025AOTU019 DNa02DNa02 left (115 cells)right (119 cells)
圖 2 子圖裡的主幹。藍色是左半腦、橘色是右半腦;實線箭頭是興奮,虛線加短槓是抑制。圖上 8 個方塊是 8 群神經元:LC10a 左 115 顆、右 119 顆,AOTU019、AOTU025、DNa02 左右各 1 顆(果蠅腦裡有些種類的神經元每側真的只有一顆、可以單獨認出來,有些種類是一群;這三種是每側一顆,所以後面說「損毀一對神經元」就是左右各一顆)。數字是兩群之間所有連結的權重加總(突觸數 × 正負號 × 0.275 mV),只畫加總絕對值 30 以上的連結。圖上的 8 個數字是四組連結、左右各一:LC10a→同側 AOTU019(左 +355、右 +438)、LC10a→同側 AOTU025(左 +376、右 +378)、AOTU025→同側 DNa02(左 +46、右 +42)、AOTU019→對側 DNa02(左 −59、右 −33)。例如 +355 是左側 115 顆 LC10a 連到左側 AOTU019 的合計,355 ÷ 115 ≈ 3,平均一顆 LC10a 放電一次把水龍頭開度 g 加約 3 mV。這 8 群共 240 顆,子圖其餘 3,723 顆神經元沒有畫出來:它們是同樣在 LC10a 與下行神經元之間走得到的其他神經元,和主幹互相連接,模擬時全部都在算,只是圖上略去;主幹在全部接線裡占多少,見圖下的補充。 權重由 out/demo_data.json 的 circuit.edges 而來(從作者的 circuit/edges.bin 加總)。

圖 2 的八個數字怎麼算。每個數字是兩群之間所有連結的權重加總:每條連結先算「突觸數 × 正負號」,全部加起來,再乘每個突觸 0.275 mV(第 2 節附註「連結權重的精確定義」)。正負號看上游那顆神經元預測的傳導物質,麩胺酸與 GABA 為負。下表把八個數字拆開:

從 → 到有連過去的上游突觸數每條連結的突觸數:最少/中位數/最多(不到 5 個的條數)正號突觸 − 負號突觸 = 加總× 0.275 mV(圖上)
左 LC10a → 左 AOTU019115 顆裡 69 顆1,3451/19/56(16 條)1,318 − 27 = 1,291355.025(+355)
右 LC10a → 右 AOTU019119 顆裡 75 顆1,5941/17/60(18 條)1,594 − 0 = 1,594438.35(+438)
左 LC10a → 左 AOTU025115 顆裡 62 顆1,4461/22/55(10 條)1,407 − 39 = 1,368376.2(+376)
右 LC10a → 右 AOTU025119 顆裡 67 顆1,3731/19/55(15 條)1,373 − 0 = 1,373377.575(+378)
左 AOTU025 → 左 DNa021 顆167只有 1 條167 − 0 = 16745.925(+46)
右 AOTU025 → 右 DNa021 顆154只有 1 條154 − 0 = 15442.35(+42)
左 AOTU019 → 右 DNa021 顆216只有 1 條0 − 216 = −216−59.4(−59)
右 AOTU019 → 左 DNa021 顆121只有 1 條0 − 121 = −121−33.275(−33)

四點說明。① 「突觸數」是同一對神經元之間的接點個數,一對神經元之間可以有上百個;所以後四列都只有一條連結,突觸數卻有一兩百。② 左側兩列的負號突觸(27 與 39)來自同一顆 LC10a。234 顆 LC10a 裡有 2 顆被 FlyWire 預測為麩胺酸(本節後面的「模型用到的神經元」表),兩顆都在左側,照規則算抑制;其中一顆同時連到左 AOTU019 與左 AOTU025,就是這兩個負數,另一顆沒有連到這兩種。右側的 LC10a 全部預測為乙醯膽鹼,沒有負號。這裡只說明正負號從哪裡來:模型照機器預測的傳導物質定正負號,這兩顆在真果蠅裡是不是真的抑制下游,本課沒有查。③ 左右不對稱:右側 LC10a 到 AOTU019 的加總(+438)比左側(+355)大,一部分是因為右側連過去的 LC10a 比較多(75 對 69 顆),一部分是左側被那顆麩胺酸 LC10a 扣掉了 27。④ 每條連結的強弱差很多:以左 LC10a → 左 AOTU019 的 69 條為例,突觸最多的一條有 56 個,最少的只有 1 個(有 2 條),一半的連結在 19 個以下。這和圖 2 圖說「平均一顆 LC10a 加約 3 mV」(約 11 個突觸)不矛盾:那個平均是除以左側全部 115 顆,連沒連過去的 46 顆也算進去;這裡只看有連過去的 69 條。模擬時每條連結各自計算,不會用到 +355 這個總數:有 56 個突觸的那顆 LC10a 放電一次,AOTU019 的 g 加 56 × 0.275 = 15.4 mV;只有 1 個突觸的那顆只加 0.275 mV。表裡特別數「不到 5 個」,是因為切子圖時用了「突觸數 5 個以上」這條門檻;但它只用來決定哪些神經元留下,不用來刪連結,所以這些弱連結也照樣保留(本節後面「切法分兩步」那段)。

由 scripts/subgraph_types.py 從作者的 circuit/edges.bin 與 circuit/meta.json 算出,在 out/subgraph_types.json 的 fig2_edges 與 lc10a_glutamate_side。

圖 2 補充:主幹在全部接線裡只占一小部分。圖 2 只畫作者程式有指定用途的四種:加輸入的 LC10a、讀出的 AOTU019 與 DNa02、損毀實驗(讓一對神經元整場不放電,看成績掉多少,第 5 節)用的 AOTU025。實際接線散得多。下面三組比例都用突觸數算(不管正負號),而且只算子圖 3,963 顆之間的連結;每一組的「全部」不一樣,寫在開頭:

TuTuAa、AOTU041、PS049 這些是 FlyWire 標註的細胞種類名稱,本課沒有逐一介紹。所以訊號從 LC10a 傳到 DNa02,大部分走的是圖上沒畫的其他神經元,不是這三站直接接力。這些沒畫的接線會改變結果,PART 4 的 E4 有一個例子:它比較兩種模擬,一種只模擬子圖,一種用 Shiu 等人的程式模擬全腦 138,639 顆神經元,兩邊都只刺激右眼的 LC10a。右側 DNa02 的放電率在子圖裡是 4.4 Hz,在全腦裡是 61.6 Hz。原因之一是 PS049:它是會抑制 DNa02 的神經元(傳導物質預測為 GABA),在子圖裡反而比在全腦裡更活躍(115.2 對 89.8 Hz)。這裡說的是右側那顆 PS049。照直覺,子圖切掉了外面的輸入,神經元應該變安靜;但如果切掉的是抑制性的輸入,神經元反而會更活躍。E4 算出 PS049 直接從子圖外收到的輸入很少,所以變化不是直接來的。比較可能的路徑是:子圖裡送訊號給 PS049 的那些神經元,自己從子圖外收到的輸入被切掉了,活動跟著改變,再傳到 PS049。是哪一條被切掉的輸入造成的,E4 沒有查。主幹以外的接線對遊戲成績的整體影響有多大,本課沒有單獨檢查。

突觸數占比由 scripts/subgraph_types.py 從作者的 circuit/edges.bin 算出,在 out/subgraph_types.json 的 backbone_share;子圖與全腦的放電率出自 out/fruitfly/E4_asymmetry.json(PART 4 E4)。

切法分兩步。第一步挑神經元:只沿著突觸數 5 個以上的連結走,從 LC10a 往下游走最多 2 步、從那五種下行神經元往上游走最多 2 步,兩邊都走得到的神經元留下來,再加上起點與終點。第二步接線:留下來的神經元之間,連結體裡有的連結不論強弱全部保留,4 個突觸、1 個突觸的也留。所以「5 個以上」只用來決定誰留下,不用來刪連結。結果是 3,963 顆神經元、354,879 條連結,其中 38% 是抑制性連結(上游放電會把下游的 g 往負的方向推,見第 2 節;這個比例說的是「抑制」在這段迴路裡不是少數,上面的 AOTU019 就是其中之一)。5 與 2 這兩個數是作者挑的,README 沒有說明理由。子圖裡的接線全部是量出來的,沒有一條是人加的。

白話:像在一張全國地圖上,只留下「從甲城出發兩站以內到得了、而且離乙城兩站以內」的所有車站,再把這些車站之間的所有路線都畫上。留下來的是一張小地圖,但小地圖裡的每一條路都是真的。

切出來的 3,963 顆在腦裡分佈在哪,見圖 3。

前視圖:FlyWire 腦部 118,104 顆細胞體的淡灰點畫出腦的輪廓(兩側大圓是視葉)。切出來的 3,963 顆用深灰點標出,散在中央腦和視葉內側;LC10a 的 234 個藍點在視葉與中央腦交界的上側左右各一團;AOTU025(綠)、AOTU019(紫)、DNa02(紅)左右各一顆,在腦的上半部靠中線兩側。
A 前視:站在果蠅正前方看,背側朝上(背側=背部那一面,圖的上方;腹側=肚子那一面,圖的下方),果蠅的左邊在圖的右邊。
上視圖:同一批細胞體從背側往下看,前側朝上。AOTU019、AOTU025、DNa02 三對在腦的最前緣;LC10a 兩團在前後方向的中段、靠視葉內側;其餘 3,723 顆散在中央腦。
B 上視:從背側往下看,前側朝上,果蠅的左邊在圖的左邊。

圖 3 切出來的 3,963 顆神經元,細胞體在腦裡的位置。要帶走的一件事:子圖不是一塊,而是散在中央腦(兩個視葉中間那一塊)和視葉(眼睛後面處理視覺的腦區,圖上兩側的大圓)內側的三千多顆,圖 2 只畫了其中 8 群。細胞體是神經元的本體,纖維從這裡長出去伸進腦內,和別的神經元接線都在纖維上。極淡灰是全腦的輪廓:FlyWire 標註表(FlyWire 附的一張表,每顆神經元一列,有細胞體座標、左右側、細胞種類等欄位)裡有細胞體座標的 118,104 顆,果蠅的細胞體都排在腦的表面,點一多,輪廓就自己浮出來。深灰是切出來的 3,963 顆。四種上色:LC10a 234 顆(左 115、右 119)擠在視葉與中央腦交界的上側,左右各一團;AOTU019、AOTU025、DNa02 左右各一顆,都在腦的前方。這張圖只畫細胞體,不畫神經元的形狀,所以看不出誰連到誰,連到哪裡要看圖 2。 由 scripts/make_soma_fig.py 從 FlyWire 的標註表(作者 repo 裡的 data/flywire_annotations_783.tsv)與作者的 circuit/meta.json 畫出。底圖只有 118,104 點,是因為兩萬多顆神經元的細胞體在腦外、表裡沒有座標;標註表沒標哪邊是前、哪邊是上,方向是用兩群位置已知的神經元算出來的。細節在下面的附註,數字在 out/soma_fig.json。

附註:底圖的對帳與方向怎麼算

對帳:標註表 139,248 列,模型用的是 138,639 顆,淨差 609 = 標註表多的 623 列(多半是感覺神經元,模型沒收)− 模型多的 14 顆(不在標註表裡)。139,248 列裡 21,144 列沒有細胞體座標,多半是感覺神經元(16,897 列),細胞體在腦外的觸角、口器、身體上,所以底圖只有 118,104 點。3,963 顆裡有 5 顆沒有細胞體座標,作者的 meta.json 改用標註表另一欄的代表點(神經元上的某一點),圖上照畫。

方向:點一多,輪廓看得出形狀,但腦的形狀左右對稱、前後上下也分不出來;標註表裡每顆細胞體只有 x、y、z 三個數。所以拿兩群已知一上一下的神經元(Kenyon 細胞是細胞體在腦背側的一群、下行神經元的細胞體偏腹側,這是解剖文獻早就知道的),各算細胞體的平均位置,兩個平均點的連線方向就是上下;前後同理(觸角葉投射神經元的細胞體在腦前方、Kenyon 細胞與視葉最後方的 T4/T5 在後);左右直接用標註表的 side 欄。

模型用到的神經元

下表只列程式實際用到的四種:在哪裡加輸入、從哪裡讀輸出、損毀實驗動哪幾顆。「作用」指的是在這個模型裡程式怎麼用它,不是它在真果蠅裡做什麼。傳導物質是 FlyWire 的預測(第 2 節)。

種類顆數傳導物質在模型裡的作用
LC10a(視覺投射神經元)234(左 115、右 119)乙醯膽鹼 232、麩胺酸 2迴路的起點,也是唯一接收輸入的地方:第 4 節把敵人方位換成它們的隨機放電。切子圖時從它往下游走
AOTU0192(左右各 1)GABA(抑制)收同側 LC10a,抑制對側 DNa02。被讀出:轉向公式的一項(左右差),兩側都亮就開火。作者設定它負責中央視野;lesion 損毀它
AOTU0252(左右各 1)乙醯膽鹼(興奮)收同側 LC10a,興奮同側 DNa02。不直接讀,影響經由 DNa02 表現。作者設定它負責外圍視野;lesion、lesion025 損毀它
DNa02(下行神經元)2(左右各 1)乙醯膽鹼切子圖的終點之一。被讀出:轉向公式的另一項(左右差)

這四種就是圖 2 的 8 群、240 顆。子圖其餘 3,723 顆沒有人為指定的角色:不加輸入、不讀輸出、不損毀,模擬時照算,它們做什麼完全由接線決定。

其餘 3,723 顆是什麼。照 FlyWire 標註表的大類分成三份:

只有 LC10a 收到「看見」的訊號。真果蠅裡,上面這 1,799 顆視覺神經元的訊號來自眼睛(經過視葉),看到東西時,反應的不只是 LC10a。模型沒有「從眼睛到 LC10a」這一段(眼睛收光,視葉裡一層層處理之後才交給 LC10a):遊戲只回報敵人的方位和大小,作者用一條公式直接換成 LC10a 的放電(第 4 節),所以 LC10a 以外的視覺神經元全都沒有外部輸入,只能從子圖裡的連結收到訊號,其中 1,009 顆直接收 LC10a 的連結(不論幾個突觸)。它們會被切進子圖,是因為從 LC10a 往下游兩步內走得到、又能在兩步內走到下行神經元(上面的切法),不是因為作者要它們看東西。換句話說,在這個模型裡「看到敵人」只等於「LC10a 放電」;這是輸入編碼的簡化,算人為設定(第 6 節總表)。這些視覺神經元在模型裡被 LC10a 推動之後放電多少、對結果有沒有影響,本課沒有查。

顆數與傳導物質由 scripts/subgraph_types.py 從作者的 circuit/meta.json 數出,數字在 out/subgraph_types.json(其餘 3,723 顆的分類在 other、dn_other4、unread_visual;「直接收 LC10a 的連結」照作者的 circuit/edges.bin 數);「作用」一欄與「只刺激 LC10a」出自 doom/fly_doom.py(stim_rates() 只給 LC10a 放電率,其餘一律是 0;讀出公式;make_policy() 的損毀名單)。

4接進遊戲、接出動作

遊戲是 ViZDoom(把經典射擊遊戲 Doom 包成研究用環境的套件)的 defend_the_center 關卡:玩家站在圓形場地中央,只能左轉、右轉、開火,敵人從四周走過來。遊戲每秒更新 35 次,每一次叫一格(tic),一格是 1/35 秒 ≈ 28.6 ms。遊戲每前進一格,模型就把大腦也往前推 28.6 ms,也就是 286 個 0.1 ms 的步長,讓遊戲裡的 1 秒等於大腦裡的 1 秒;這 286 步裡每顆神經元放電幾次,除以 28.6 ms,就是這一格的放電率;同一群取平均,再和前幾格的值平滑(見下面圖 5 第 ① 步),拿去決定按哪個鍵。

輸入編碼:遊戲畫面怎麼變成 LC10a 的輸入

模型沒有看遊戲畫面的像素。ViZDoom 會直接回報畫面上每個物體的位置,程式從中換算出 LC10a 的刺激,分四步:

  1. 哪一側:把畫面裡每一個敵人各自換算成「在果蠅視野裡的方位角」(只算畫面裡看得到的敵人,畫面外的不管;遊戲的畫面標籤只列看得到的物件。已經倒下的敵人——方框寬度超過高度的 1.3 倍——和方框高不到 4 像素的也不算)(−90° 是最左、+90° 是最右)。Doom 的畫面橫向只有 90°,作者把敵人在畫面上的橫座標換算成角度之後再放大兩倍,讓畫面左緣就是 −90°、右緣就是 +90°,把 90° 的畫面攤成果蠅 180° 的視野(fly_doom.py 的 FLY_SCALE = 2.0,作者的設定)。敵人在右邊就刺激右眼的 LC10a,在左邊就刺激左眼的;正前方 ±6° 以內兩側同時受刺激(這一塊叫雙眼重疊區;±6° 是作者定的常數,fly_doom.py 的 BINO = 6.0,人為設定)。
  2. 哪幾顆:作者給同一側的每顆 LC10a 一個「偏好位置」:這顆連到 AOTU019(負責中央視野)的突觸占比愈高,就當它偏好中央;連到 AOTU025(外圍視野)愈多,就當它偏好外圍。占比 = 接到 AOTU019 的突觸數 ÷(接到 AOTU019 + 接到 AOTU025 的突觸數),只算這兩種。換算規則全用 0 到 1 的數:偏好位置 = 1 − 占比(0 是正前方、1 是最外圍;fly_doom.py 的 pref_ecc);敵人的方位取絕對值(左右已在第 1 步分開)再除以 90°,也變成 0 到 1。接著看這兩個數差多少:差 = |偏好位置 − 敵人方位|,代進一條鐘形曲線得到「接近程度」= e−差² ÷ (2 × 0.3²)(0.3 是作者定的調諧寬度,fly_doom.py 的 SIGMA = 0.3,人為設定)。差 0 時接近程度是 1(滿格),差 0.3 剩 61%,差 0.5 剩 25%,差 0.9 只剩約 1%。舉例:敵人在右方 45°,換成 0.5;右眼偏好位置 0.5 的 LC10a 差 0,拿滿格;偏好 0.2 或 0.8 的差 0.3,拿 61%;偏好 0(正前方)或 1(最外圍)的差 0.5,只拿 25%。下面圖 4 的第 ④ 步畫的就是這條曲線。換成角度說,就是占比 1 當作偏好 0°、占比 0 當作偏好 90°。有 49 顆 LC10a(左 25、右 24)跟同側的 AOTU019、AOTU025 一條連結都沒有,算不出占比,程式一律給它們偏好位置 0.5(正前方與最外圍的中間),這是程式的預設值,不是資料。偏好位置和敵人方位接近的那幾顆刺激最強,離得遠的幾乎不刺激。這是用接線「代替」真正的視野位置(真實果蠅每顆 LC10a 看哪一塊視野,要由複眼的光學量測決定,資料裡沒有),README 把它標為人為設定。
  3. 多強:敵人在畫面上愈大(愈近),刺激愈強:強度 = 0.35 + 方框高度(像素)÷ 60,最多 1。所以再遠再小的敵人也有 0.35,方框高 39 像素以上就是滿格。強度乘上第 2 步的「接近程度」,再乘每秒 150 次,就是這顆 LC10a 這一格的平均放電率。
  4. 隨機放電:前三步替每顆 LC10a 算出這一格的設定放電率 r(單位 Hz,也就是「每秒幾次」)。r 最大是 150:只有強度滿格、而且偏好位置剛好對準敵人的那顆才到 150,其餘的都比較低,不刺激的那一側是 0。「刺激」的做法是每 0.1 ms 替這顆 LC10a 抽一次籤,抽中的機率 = r × 0.1 ms(r 是 150 時每步 1.5%),抽中就讓它放電一次。一秒有 10,000 步,所以一秒內抽中的次數對時間平均是 r 次,但實際每一秒抽中幾次會上下跳動,這就是「平均」的意思。精確地說,程式抽中時不是直接讓它放電,而是把它的膜電位一次加 68.75 mV(每個突觸 0.275 mV 的 250 倍,見 PART 6);閾值只比靜止電位高 7 mV(第 2 節),所以抽中幾乎一定放電。68.75 mV 和每秒 150 次都不是量出來的生理數值:250 倍與 150 Hz 是 Shiu 等人公開程式(Drosophila_brain_model 的 model.py)的預設值,程式註解說 250 倍「足以引發放電」,論文本身沒有說明這兩個數怎麼來。論文只寫「用 Poisson 分布的輸入刺激特定神經元」,實際的刺激頻率依實驗調整(例如糖味受器 10–200 Hz、水味受器 20–260 Hz),並說模型的絕對放電率不一定準,該看的是不同條件之間的相對差異(Shiu et al. 2024, Nature 634:210–219,Methods)。所以在這個模型裡它們是人為設定:選 250 倍的目的只是讓「抽中一次」等於「放電一次」,刺激頻率就能直接當成放電率來讀。畫面上同時有好幾個敵人時,每個敵人各自走完前三步,落在同一顆 LC10a 上的放電率加起來,加到 150 次就不再加。所以同一個畫面,每次跑出來的 LC10a 放電時刻都不同,這就是 PART 3 第 1 節判定標準裡「模型有隨機雜訊」的來源。
輸入編碼示意:遊戲回報敵人方框的位置與大小,換成方位角,決定刺激哪一眼、哪幾顆 LC10a、多強,最後變成隨機放電 遊戲畫面(320×240 像素,橫向 90°) 像素 0 160 320 Doom 角度 −45° 0° +45° 果蠅方位角 −90° 0° +90° 果蠅的視野(從上往下看,頭朝上) −90° −45° 0° +45° +90° 左眼 右眼 兩眼都看到 ±6° 234 顆 LC10a,依作者指定的「偏好位置」排開(不是真的視野位置) ← 外圍 正前方 外圍 → 左眼 115 顆 右眼 119 顆

  1. ① 遊戲回報方框:ViZDoom 不給模型看像素,而是回報畫面上每個物件的方框(標籤):左緣、寬、高,單位是像素。程式只取敵人方框的橫向中心與高度。
  2. ② 換成方位角:橫向中心從 0 到 320 像素,對到 Doom 的 −45° 到 +45°,再乘 2,攤成果蠅的 −90° 到 +90°。
  3. ③ 哪一眼:方位角是正的刺激右眼的 LC10a,負的刺激左眼;在正前方 ±6° 以內兩眼都刺激。另一眼的 LC10a 完全不刺激。
  4. ④ 哪幾顆:每顆 LC10a 有一個作者指定的偏好位置(下排的橫軸)。敵人方位愈接近它的偏好位置,刺激愈強,像一座鐘形的山:差 0 是滿格,差 0.3 剩 61%,差 0.5 剩 25%。
  5. ⑤ 多強:強度 = 0.35 + 方框高度 ÷ 60,最多 1。敵人愈近、方框愈高,整座山愈高;高 39 像素以上就是滿格(最強那顆每秒 150 次)。
  6. ⑥ 隨機放電:山的高度只是「平均每秒放電幾次」。每 0.1 ms 依這個機率擲一次骰子決定放不放電,所以放電時刻每次都不同。畫面上放慢 20 倍播放。
圖 4 輸入編碼,一步一步看。按「下一步」從 ① 走到 ⑥;拖「敵人位置」「敵人大小」,或按「讓敵人走動」,看每一步跟著怎麼變;勾「加第二個敵人」看兩個敵人的刺激怎麼疊加。上排左邊是遊戲畫面(怪物是示意畫的,程式只用黃色虛線方框的位置與高度),右邊是同一個敵人在果蠅視野裡的方向;下排是全部 234 顆 LC10a,每顆一點,橫軸是作者用接線指定的偏好位置,不是這顆神經元真正看的方向(上面第 2 步)。偏好位置剛好是 0、0.5、1 的各有二、三十顆,點擠在一起,所以往上下錯開排;0.5 那一堆大半是沒接到兩種 AOTU、拿預設值的那 49 顆。顏色愈深=平均放電率愈高;⑥ 的黑點是那一刻放電的神經元,放慢 20 倍播放。 算法照抄作者 doom/fly_doom.py 的 enemies() 與 FlyBrain.stim_rates();常數與 234 顆的偏好位置由 scripts/encode_fig_data.py 從作者原始碼與 circuit/meta.json 抓出,在 out/encode_fig.json;圖由 scripts/make_encode_anim.py 產生(圖裡的文字要改在那裡)。

簡報要演示的話:圖 4 單獨頁只有這張圖,版面配合 16:9 投影片,功能和上面一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網),也可以下載後用瀏覽器直接開(單一檔案,不用網路);鍵盤 ← → 換步驟、W 讓敵人走動、T 加第二個敵人、D 顯示這一步的說明。不想用瀏覽器的話,投影片用圖有九個畫面(六步,加上兩眼都刺激、敵人遠與近、兩個敵人疊加),每個都有 PNG 與 SVG,一張投影片放一個畫面即可;壓縮檔裡也附了單獨頁。

讀出規則:神經元的放電怎麼變成按鍵

轉向訊號 = (DNa02右 − DNa02左) + (AOTU019右 − AOTU019左)
白話:每側各有一顆 DNa02、一顆 AOTU019(見圖 2)。把右半腦這兩顆的放電率加起來、減掉左半腦那兩顆的。結果是正的、而且超過一條門檻,就按「右轉」;負的、超過門檻,就按「左轉」。另外,左右兩顆 AOTU019 的放電率都超過另一條門檻時,按「開火」:每一側的 AOTU019 只收同側 LC10a 的訊號(連結體裡 LC10a 到對側 AOTU019 一條都沒有,scripts/lc10a_cross.py 數過),所以它只反映自己那一眼看到的東西;第 3 節說的「投射到對側」是指它把訊號送去對側的 DNa02,收和送是兩回事。因此所以只有敵人落在 ±6° 的雙眼重疊區、兩眼都受刺激時,兩側 AOTU019 才會一起亮(數字見下面「門檻怎麼定」);「兩側都亮」就被當成「對準了」。轉向和開火各自判斷、互不排斥,同一格可以同時按轉向鍵和開火鍵。畫面上有敵人但轉向、開火都沒過門檻時,這一格什麼鍵都不按;畫面上沒有敵人、而且整個迴路也安靜時(安靜:LC10a、AOTU019、AOTU025、DNa02 左右共八群的放電率加總低於 5 Hz,作者定的門檻),固定按右轉,讓視野轉起來找敵人;沒有敵人但迴路還有活動(例如敵人剛消失)時,照公式判斷。

為什麼公式裡有 AOTU019、沒有 AOTU025:作者在 README 寫,敵人在正前方附近時,子圖裡的 DNa02 完全不放電,只讀 DNa02 會讀不到中央視野的訊號,所以把負責中央視野的 AOTU019 左右差也加進去;AOTU025 負責外圍,而且只連到同側 DNa02,它的訊號已經反映在 DNa02 的左右差裡。這條公式是人為設定,PART 4 第 4 節會檢查它的後果。

下面圖 5 把讀出規則一步一步拆開:從八群的放電率,算出轉向訊號、跟門檻比,到最後按哪幾個鍵。第 ② 到 ⑤ 步用校準表的數字,第 ①、⑥、⑦ 步播的是 PART 5 影片那一局的逐格紀錄。後面「門檻怎麼定」講的兩條閾值,圖 5 第 ⑤ 步畫成了曲線。

讀出規則示意:八群神經元的放電率,算出轉向訊號、跟門檻比,決定按左轉、右轉、開火 敵人在哪(俯視,正前方朝上) 八群的放電率(Hz) ← 左半腦右半腦 →
  1. ① 讀哪些數:八群的放電率:遊戲每前進一格(28.6 ms),大腦往前跑 286 步。每顆神經元這 286 步放電幾次,除以 28.6 ms,就是這一格的放電率;同一群取平均(LC10a 左 115 顆、右 119 顆;AOTU019、AOTU025、DNa02 每側只有 1 顆,就是那一顆)。單獨一顆在一格裡只放電幾次,所以單算一格的放電率只能是約 35 Hz 的整數倍(放電 4 次 ≈ 140 Hz),一格一格跳得很兇。作者因此再做一次平滑:新值 = 0.75 × 上一格的值 + 0.25 × 這一格單算的值(0.75 = e−28.6 ÷ 100,作者設的平滑時間常數 0.1 秒)。長條是平滑後的值,細黑線是這一格單算的值。這裡播的是 PART 5 那一局的開頭 25 格:平滑從 0 開始,長條要好幾格才升上來。讀出規則用的都是平滑後的值。
  2. ② 轉向訊號:四個數加減:轉向訊號 = (DNa02右 − DNa02左) + (AOTU019右 − AOTU019左),只用八群裡的四個數(亮的那兩列);LC10a、AOTU025 不直接進公式。正的表示右邊比較強,負的表示左邊比較強。從這一步到第 ⑤ 步用的是校準表的數字(假想敵人、刺激最強、20 格平均):拖「敵人方位」換位置,或按「▶ 播放」掃過 17 個方位。
  3. ③ 轉向門檻:轉向訊號超過 +130.93 按右轉、低於 −130.93 按左轉,中間什麼都不按。敵人在 0° 時是 −28.59、±5° 時是 −26,都在中間,不轉;從 ±10° 起(233.27、−238.8)全部超過門檻。
  4. ④ 開火:兩側 AOTU019 都夠高:看兩側 AOTU019 裡較小的那個:超過 95.68 就按開火。取較小的,等於要求兩側都超過。校準表上只有 0° 和 ±5° 符合:敵人在雙眼重疊區,兩眼都看到,兩側 AOTU019 都亮;+10° 時左側只剩 16.77 Hz。轉向和開火各自判斷,同一格可以同時按。
  5. ⑤ 門檻怎麼定:校準曲線:17 個方位的轉向訊號連成曲線。轉向門檻 = 0° 的絕對值 28.59 和 ±10° 較小的絕對值 233.27 的中點:(28.59 + 233.27) ÷ 2 = 130.93;開火門檻 = 0° 時兩側 AOTU019 較小的 191.35 的一半 = 95.68。綠點是會開火的方位。校準只做一次,之後玩遊戲時不再改。
  6. ⑥ 沒有敵人:迴路安靜就往右找:PART 5 那一局的第 23–44 格。第 26 格敵人離開畫面,但平滑讓放電率每格只降到約 0.75 倍,八群加總從 236 Hz 一格一格往下掉;這段時間照公式判斷,訊號不夠大,什麼都不按。第 40 格加總 4.4 Hz,低於安靜門檻 5 Hz(作者定的),從這一格起固定按右轉,讓視野轉起來找敵人。從敵人消失到開始找,隔了 14 格,約 0.4 秒。
  7. ⑦ 真實的一局:481 格逐格重播:PART 5 影片那一局(13.7 秒、擊倒 7 個敵人),每一格都照上面的規則算。481 格裡 230 格什麼都不按、143 格右轉、106 格開火、2 格同時右轉和開火,這一局沒有按過左轉。用紀錄裡的放電率重算一遍,481 格按的鍵全部和遊戲當時一樣(右下角「紀錄」那行)。拖「第幾格」可以跳到任何一格。
圖 5 讀出規則,一步一步看。按「下一步」從 ① 走到 ⑦。左上是敵人在果蠅視野裡的方向(綠色扇形是 ±6° 的雙眼重疊區);中上是八群的放電率,藍色是左半腦、橘色是右半腦;右上是這一刻的算式。下排三條刻度由上往下是轉向訊號、開火、沒有敵人時的安靜判斷,紅色虛線是門檻;右下是這一格按的鍵。第 ② 到 ⑤ 步可以拖「敵人方位」,或按「▶ 播放」掃過 17 個方位;第 ①、⑥、⑦ 步可以拖「第幾格」、換速度。 讀出照抄作者 doom/fly_doom.py 的 make_policy()(轉向、開火、安靜三條規則)與 FlyBrain.step()(平滑);校準表與閾值在 out/fruitfly/local_doom_vizdoom130/calibration_fly.json;逐格紀錄是 PART 5 那一局(out/demo_data.json)。整理與核對(用規則重算紀錄、481 格全部相同)由 scripts/readout_fig_data.py 做,結果在 out/readout_fig.json;圖由 scripts/make_readout_anim.py 產生(圖裡的文字要改在那裡)。

簡報要演示的話:圖 5 單獨頁只有這張圖,版面配合 16:9 投影片,功能和上面一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網),也可以下載後用瀏覽器直接開(單一檔案,不用網路);鍵盤 ← → 換步驟、↑ ↓ 換敵人方位或換一格(Shift 一次 10 格)、空白鍵暫停、S 換速度、D 顯示這一步的說明。不想用瀏覽器的話,投影片用圖有十個畫面(七步,第 ③ 步多一張敵人在 −10°、第 ④ 步多一張敵人在 +10°、第 ⑥ 步多一張剛轉為安靜的第 41 格),每個都有 PNG 與 SVG,一張投影片放一個畫面即可;壓縮檔裡也附了單獨頁。

門檻怎麼定。兩條門檻叫閾值。轉向訊號的大小由迴路決定,事先不知道「多大算敵人在右邊」,所以要先量一次,這一步叫校準。怎麼量:沒有遊戲畫面,程式直接給一個方位角,跳過第 1 步「畫面換算成方位角」那一半,從「分左右眼」往下照第 1 到 4 步做,把一個假想敵人依序放在 −90° 到 +90° 共 17 個方位(中央密、外圍疏:0、±5、±10、±20、±30、±45、±60、±75、±90°),每個方位先讓迴路跑 10 格暖機、再跑 20 格(每格 28.6 ms,共約半秒),記錄這 20 格平均的 LC10a、AOTU019、AOTU025、DNa02 放電率與轉向訊號。量出來的表叫校準表(PART 3 第 6 節)。

量到什麼:敵人在 0° 時左 AOTU019 是 219.94 Hz、右 191.35 Hz,在 +10° 時左側只剩 17 Hz、右側 250.04 Hz,這就是上面白話說的「只有正前方兩側才一起亮」;轉向訊號 0° 時是 −28.59(= 191.35 − 219.94,因為兩側 DNa02 都是 0),+10° 時 233.27(= 250.04 − 16.77,17 是四捨五入),−10° 時 −238.8。這幾個數就是下面定閾值用的材料。

校準裡沒查的四件事:

  1. +10° 時左眼沒被刺激,左側 AOTU019 仍有 17 Hz,來源沒查(主幹以外的 3,723 顆之間有交叉連結)。
  2. 0° 時兩側刺激一樣,左右 AOTU019 卻差了近 30 Hz,原因沒查。左右接線本來就不對稱(圖 2 裡 LC10a 到 AOTU019 的權重左 +355 對右 +438,LC10a 115 對 119 顆),但方向相反:接線右強左弱,放電卻左高右低,所以圖 2 這一條接線的不對稱不是解釋;主幹以外的接線有沒有不對稱,沒查。
  3. 遊戲裡每一格的放電率是單格算的,比校準 20 格的平均抖,差距沒量。
  4. 校準時刺激強度設為最大(相當於最大的敵人);遊戲裡敵人遠、看起來小時刺激較弱,訊號可能過不了用最大刺激定出的門檻,也沒量。

量完後用兩條固定的規則算出閾值:

兩個閾值都不低於 1.0:這個下限是作者程式裡寫死的(fly_doom.py),沒有註解說明理由,算人為設定;本課猜是避免訊號接近零時閾值變成 0(例如打亂接線之後),這是猜的。完整接線用上面校準表的數字算出來:開火 = 191.35 ÷ 2 = 95.68;轉向 = (28.59 + 233.27) ÷ 2 = 130.93(±10° 兩邊取絕對值較小者:−10° 是 238.8,比 +10° 的 233.27 大,所以用 233.27),單位都是 Hz(放電率,轉向訊號是四個放電率加減出來的,所以也是 Hz)。你可能會問:下游怎麼會比單顆 LC10a 的上限還快?校準表裡敵人在 +10° 時右 AOTU019 約 250 Hz、左 17 Hz,而一顆 LC10a 最多 150 Hz;因為同側有一百多顆 LC10a 一起餵同一顆 AOTU019,下游放電率高過單顆 LC10a 不奇怪。

放電率大概落在哪裡。校準表 17 個方位、每個方位 20 格平均,各群的範圍如下(每一群都是左右兩側分開量;最低都是 0,因為敵人不在那一側時,那一側完全不放電):

神經元放電率範圍(Hz)說明
給每顆 LC10a 的刺激0–150輸入編碼設的上限(第 4 步)
LC10a(整群平均)0–85.6(左最高 84.6、右最高 85.6)只有偏好位置接近敵人的那些拿到接近 150,其他的低,平均下來就低
AOTU0190–250.04(左最高 238.8)一百多顆 LC10a 一起餵一顆,所以比單顆 LC10a 快
AOTU0250–229.1(右最高 187.3)敵人在 ±10° 以內兩側都是 0
DNa020–207.9(右最高 173.12)敵人在 ±30° 以內幾乎是 0

理論上限約 455 Hz:放電後有 2.2 ms 不反應期(第 2 節),1 秒最多擠得下 1000 ÷ 2.2 ≈ 455 次(受外部刺激的 LC10a 不受不反應期限制,見圖 1 第 ⑦ 步;但它們的刺激最多每秒 150 次,也碰不到這個數);實際最高約 250 Hz,沒有碰到上限。另外,「每 0.1 ms 抽一次」的機率換算(機率 = 放電率 × 0.1 ms = 放電率 ÷ 10,000,150 Hz 就是每步 1.5%)只用在外加給 LC10a 的刺激;AOTU019、AOTU025、DNa02 與子圖其餘的神經元都不抽籤,膜電位照第 2 節的方程式算、超過閾值才放電,沒有隨機成分(它們的放電時刻每次不同,是因為上游的 LC10a 不同)。

校準只做一次,之後玩遊戲時迴路的接線、參數、閾值都不會改變——整個過程沒有任何訓練或學習。

輸入編碼與讀出規則出自 fruitfly-lab 的 doom/fly_doom.py 與 README 第 35、40–43 行;閾值在 out/fruitfly/local_doom_vizdoom130/calibration_fly.json(17 個方位的 rows 與 cal)。

回到第 3 節留下的問題:AOTU019 與 AOTU025 各做什麼。分五點,每點先結論再理由。

出處:校準表在 PART 3 第 6 節,校準曲線圖與「量不到」的後果在 PART 4 第 4 節;PART 5 的影片裡正前方 ±30° 內 DNa02 都是 0。

5七種大腦:對照組

只看「完整迴路每局打死幾隻」說明不了什麼——也許隨便一個網路接上同樣的輸入與讀出也打得到。所以作者準備了七個條件,每個條件玩 10 局(episode:從開始到玩家死亡為一局),用同一組亂數種子(seed:讓隨機過程每次都產生同一串隨機數的起始值)。這裡有兩種隨機:遊戲抽敵人的位置與順序,以及 LC10a 的放電(第 4 節)。兩種都由種子固定。遊戲只用一個種子 0 連跑 10 局(種子只定起點,10 局連著往下抽同一串隨機數、中間不重設),所以 10 局的敵人各不相同;LC10a 的放電每局一個種子,共 10 個;七個條件共用這同一套,換一個條件重跑,兩串隨機數一模一樣,七個條件面對的是同樣的 10 局敵人,不是同一局重播 10 次。

條件代號大腦是什麼它回答的問題
fly完整接線主角
scrambled把所有連結的終點重新洗牌,洗牌方式保證每顆神經元連入、連出的條數不變(做法叫「度保持打亂」,見表下);閾值沿用完整迴路。LC10a、AOTU019、DNa02 還是原來那幾顆,刺激與讀出位置不變,只是它們之間的路被重接接線的「誰連到誰」重不重要
scrambled_cal打亂接線,用打亂後的迴路自己校準閾值同上,但排除「閾值不適合」這個解釋
lesion損毀(讓這幾顆整場都不放電,見表下)左右 AOTU019 與 AOTU025;閾值沿用完整迴路整條中央與外圍的路都斷掉會怎樣。注意開火規則讀的就是 AOTU019,損毀它開火永遠不成立,所以這個條件註定 0 分,分不出細部貢獻;作者 README 第 77 行也這樣說,比較能說明事情的是下一列
lesion025只損毀左右 AOTU025;閾值沿用完整迴路外圍視野那條路的貢獻
random不用大腦,每格隨機按鍵亂按能拿幾分的基準;有大腦的條件也可能比亂按低,怎麼解讀見 PART 3
oracle不用大腦,直接照敵人方位轉向、對準就開火這套按鍵規則能拿到的最高分

scrambled、scrambled_cal、lesion、lesion025 這四個對照動的都是零件①(把接線打亂,或讓其中幾顆神經元不放電),其他零件不變;scrambled_cal 另外為打亂後的接線重算零件④的閾值。random 與 oracle 不用大腦,只拿來當兩個基準:亂按能拿幾分(有大腦的條件可以比它低)、和看得到一切的上限。上表最後一欄寫的就是它回答什麼。七個條件各 10 局的平均擊殺:fly 10.2、lesion025 5.5、lesion 0、scrambled 0、scrambled_cal 0.7、random 0.9、oracle 11.5。這裡只先認識七個條件是什麼;這些數字怎麼解讀(例如打亂接線為什麼和亂按差不多、完整接線離上限多遠)在 PART 3 第 7 節與 PART 4。

打亂接線的做法是:每顆神經元送出幾條連結、收到幾條連結、正負號都保持不變,只把「連到誰」隨機重排(這種打亂叫度保持打亂,「度」就是一顆神經元的連結數)。打亂只換連結的終點,每顆 LC10a 的偏好位置沿用完整接線算出的占比,不重算。損毀是讓指定的神經元在整場模擬裡都不放電。

七個條件的定義出自 fruitfly-lab doom/fly_doom.py 的檔頭說明與 make_policy()。

6總表:哪些來自資料、哪些是人為設定

零件fruitfly-lab來自哪裡
① 連結體FlyWire v783 的子圖,3,963 顆、354,879 條連結資料(切哪一段、「突觸數 5 個以上」「走最多 2 步」這兩個數是作者挑的;留下來的每一條接線都是量的,第 3 節)
② 神經元方程式LIF,參數借自 Shiu 等人 2024人為設定(借用已發表的模型)
③ 輸入編碼遊戲回報的敵人方位 → LC10a 隨機放電人為設定
④ 讀出規則固定公式、校準一次的兩個閾值人為設定
有沒有學習沒有:沒有任何參數被訓練,閾值校準一次就固定—

表中數字的出處同第 2、3 節。

作者在 README 裡列了同樣意思的清單,也寫明他的模型不是把一隻真果蠅的腦整個搬進電腦(README 第 76 行的原話是 This is not an "uploaded fly"),四個零件裡三個是人為的。上面這張〈總表〉是PART 3 到 PART 5 的地圖:PART 3 檢查的是「照這四個零件組起來,能不能得到作者的數字」;PART 4 則開始動零件 ④——換一種讀法,看結論還站不站得住;PART 5 在影片上逐格看這四個零件怎麼接在一起運作。

← 課程首頁 PART 2 準備環境與資料 →
BSC 腦空間體研究中心 · 專題課程 果蠅玩 Doom · 教材由 Claude Code 產生 · 回課程首頁