← BSC 專題課程

BSC 專題課程

蕈狀體學 21 點:重現 fly-blackjack

把別人公開的程式碼在自己的電腦上重跑一次,逐項判斷「對上了沒有」,再做作者沒做的檢查

13 分 15 秒 · 1080p · 附中文字幕(播放器右下角開啟)。整門課的摘要,可以先看它抓全貌,但代替不了六頁的內容。投影片由課程網頁的內容與圖自動產生,共 14 張。 影片也可以直接下載;產生影片的程式列在本頁最下面。
這是什麼
一堂「重現」的專題課。對象是一個公開在 GitHub 上的專案 fly-blackjack。先認識三個詞。連結體(connectome)是一顆腦裡每一顆神經元連到哪些神經元、各有幾個突觸的完整清單;突觸是兩顆神經元之間傳訊號的接點。蕈狀體是果蠅負責嗅覺學習的腦區。多巴胺是腦裡負責傳「這件事是好是壞」的化學訊號,由兩群不同的多巴胺神經元送出:獎賞群報好事、懲罰群報壞事,各連到不同的輸出神經元;輸出神經元是蕈狀體的出口,它們的活動高低決定這手牌想不想要牌。fly-blackjack 做的事:從一隻雄果蠅的連結體切出蕈狀體,把牌面編成「氣味」送進去,贏了讓獎賞群的多巴胺神經元活躍起來、輸了讓懲罰群的活躍起來,讓它用學氣味好壞的方式學 21 點怎麼打。21 點的規則:玩家和莊家(發牌、和玩家比點數的那一方)各拿兩張,莊家有一張翻開給玩家看(明牌)。玩家每一手決定要不要再拿一張牌(要牌/停牌;只拿兩張時還可以加倍:賭注加倍、只再拿一張牌就停)。手裡有 A 而且 A 算 11 點叫「軟手」,其餘叫「硬手」;自己手上的點數分硬手 5 到 21 點 17 種、軟手 13 到 21 點 9 種,共 26 種(這套規則不能分牌;一對 2 是硬 4、一對 A 是軟 12,打牌時照樣會遇到、照樣學,只是作者的評分表從硬 5、軟 13 起算,不算進這 26 種)。點數超過 21 就爆牌,當場輸,莊家不用再補牌;玩家停牌後,莊家照固定規則補牌:不到 17 點就一直補,到 17 點以上停(A 算 11 的軟 17 也停),莊家爆牌玩家就贏,否則比誰接近 21。平手退回賭注、不輸不贏,模型這一手不收任何多巴胺、不學習;前兩張就 21 點叫黑傑克,直接贏 1.5 注(莊家也是黑傑克就算平手)。每手押一單位賭金,叫一「注」;「成績」是平均每手輸贏幾注,寫成百分比(−15% 就是平均每手輸 0.15 注),0% 是不輸不贏。規則讓莊家佔優勢,連數學上最佳的打法(「基本策略」)長期平均也小輸,約 −1.4%(這是作者程式裡的參考打法照本課這套規則實打 20,000 手的成績,誤差約 ±1.5 個百分點;規則是無限副牌、莊家軟 17 停牌、不能分牌、不能投降。常聽到的 −0.5% 左右是允許分牌等規則下的理論值;這套規則的理論值本課沒算,而 ±1.5 個百分點的實測誤差也把 −0.5% 包在裡面,所以兩者的差別,實測分不出來)。
清單本身不會動;把清單裡每一顆神經元換成一條會算活動量(這顆神經元此刻有多活躍,一個數)的式子、照清單接起來、再加上一條「多巴胺來了就削弱連結」的規則,就成了一個會學的模型。獎賞和懲罰都只會削弱,差別在削弱的是通往哪些輸出神經元的連結。輸出神經元分兩型:趨近型活躍時讓果蠅想靠近,迴避型活躍時讓果蠅想躲;動作也編進氣味:同一個牌面配要牌、停牌、加倍是三種不同的氣味,各送進同一組輸出神經元算一次;模型把兩型的活動相減,得到這個牌面配這個動作的「好惡值」,三個動作裡選好惡值最高的(PART 1 第 5 節);訓練時還有一部分決定不看好惡值、隨機亂選(叫「探索」,比例從 35% 逐漸降到 3%),讓每個動作都有機會被試到。懲罰多巴胺主要送到趨近型,輸了就削弱這次被點亮的那一小群 Kenyon 細胞(把氣味編成代碼的那群神經元:牌面編成的氣味會點亮其中一小群,PART 1 講)通往趨近型的連結,這個動作的好惡值下降、下次較少選;獎賞主要送到迴避型,贏了削弱通往迴避型的連結,好惡值上升、下次較常選(PART 1 第 4 節)。作者的 repo(GitHub 上的程式碼倉庫)分五部分,21 點是第五部分;另外四部分裡三個是實驗(Dino:一個躲障礙的小遊戲;氣味制約:氣味配電擊的學習;覓食:在場地裡躲電擊氣味),一個是會走路的身體模型。本課只重現 21 點這一個實驗,另外三個實驗在 PART 1 最後一節簡介,數字不出現在本課。另一個同類的公開專案 fruitfly-lab(讓一段視覺迴路在 Doom,一款射擊遊戲,裡轉身開火、沒有學習)是另一堂獨立的課。
結論先說
一行裁定:BJ1(下載、切出蕈狀體)細胞數與連結數和作者的紀錄檔相同(README 另寫的兩個連結數是沒篩選前的數字);BJ2(訓練 30,000 手的成績走向)對上;BJ3 重新訓練的一致率對不上,作者附的大腦檔重新評分接近 52% 但它本身重現不出來。下面說的「對上」「對不上」,都是照事先訂好的標準比的(標準見下面「『重現』在這堂課裡的意思」)。作者宣稱的四件事,本課重跑的結果(數字出處見下面「先看數字」四格)。用到的詞:「對照組」是把模型某一部分拿掉再跑的版本(下一段);「種子」是亂數的起點,換一個種子等於換一副洗法不同的牌重打一次;「牌面」是自己手上的點數(26 種)配莊家翻開的那張牌(10 種),共 260 種,一種牌面叫一「格」;「一致率」是模型在這 260 格裡選的動作和基本策略相同的比例;「永遠停牌」是每手都不再拿牌的固定打法,成績 −15.8%;「95% 信賴區間」是只跑了幾個種子時,平均大概落在的範圍。① 有多巴胺才會進步(作者:成績 −45% 進步到 −16%):對上,本機 3 個種子學完 −14.8%,對照組不進步;但只進步到略好於永遠停牌(20 個種子平均 −13.2%,好約 2.7 個百分點,用沒四捨五入的兩個平均相減,四捨五入後相減看起來是 2.6;永遠停牌的 −15.8% 本身是模擬 20,000 手得到的,也有誤差,兩邊誤差合起來,差距的 95% 信賴區間是 0.7 到 4.6 個百分點,不含 0,所以不只是運氣),離基本策略的 −1.4% 很遠。② 和基本策略一致約 52%:重新訓練對不上,本機 3 個種子平均 45.3%、20 個種子平均 47.9%,都低於 52%;只有把作者附的大腦檔直接拿來重算是 51.9%,接近 52%,但那是作者自己存的結果,不是重新訓練出來的。而且一致率本身分不出學沒學(沒學過就有 45%)。③ 學到「幾乎都停牌」:部分對上。本機重跑 20 個種子,每一個都以停牌為主,但要牌從 6 格到 111 格都有,「幾乎都停牌」只描述得到要牌少的那幾個;每個種子學到的表差很多,沒有一張固定的「學到的策略」。作者附的大腦檔(訓練完存下的模型)有 97 格要牌,在這個範圍內,但它標明是種子 0,而公開程式的種子 0 只要牌 6 格,所以這個檔本身重現不出來。④ 學習方向由多巴胺神經元連到哪些輸出神經元決定:作者只推論、沒驗證;本課把這層打亂後模型學不會,部分支持。總結:多巴胺驅動的學習是真的,但學到的只比「永遠停牌」好一點,稱不上學會 21 點的策略,而且連「好一點」都靠作者替輸入定的一個人設數字(PN 活動 0.7 到 1):換成全部 1.0 或 0.45 到 1,學完就和永遠停牌分不出來,只有「學了比不學好得多」不變(PART 1 第 5 節附註);每個種子學到的策略都不同,作者附的那一份從公開的程式重現不出來。
為什麼值得單獨開一堂
「果蠅大腦會學 21 點」這類示範在網路上傳得很快,但看示範影片判斷不了它可不可信。能判斷的辦法只有一個:拿到程式碼,自己重跑,逐項對照作者宣稱的數字。這個專案附了程式碼與對照組,所以能真的做這件事。對照組是把模型的某一部分拿掉再跑一次,看成績(平均每手輸贏幾注)掉不掉:一組把多巴胺神經元到輸出神經元的連結設成 0(切斷多巴胺;削弱多少取決於輸出神經元收到多少多巴胺,這層設成 0 就不會有任何削弱),一組多巴胺照常送到、但不執行削弱規則(關掉學習)。而它和多數「連結體玩遊戲」的示範不同:模型裡真的有東西在學,而且決定學習方向的那層接線(多巴胺神經元連到哪些輸出神經元)是從連結體資料裡查出來的,不是人設的。但要把它讀成「好」或「壞」,還得靠作者給每顆輸出神經元標的趨近/迴避,這個標記是作者照文獻定的規則(PART 1 第 4 節);接線和標記各對結果有多少影響,本課還沒分開驗(PART 4)。
你能帶走什麼
如果你有自己的研究資料、想讓 AI 幫你處理,這堂課示範的是一套可以照搬的做法,和果蠅、21 點無關:先寫下「怎樣算對上」再跑(事後才訂標準,什麼結果都能說成對上);固定程式版本與資料(記下 commit、核對下載的檔案);多跑幾個種子(一次的結果可能只是運氣);做對照組(拿掉關鍵的一部分,看效果還在不在);每個數字都對回產生它的輸出檔。這堂課的程式、實跑與頁面都由 AI(Claude Code)在人的指示下完成,人負責訂問題、看結果、要求查證;AI 寫錯或說過頭的地方,就是靠上面這幾條和一輪輪「只看頁面、不看程式」的審讀抓出來的。
怎麼讀
按下面六個按鈕的順序:先弄懂專案在做什麼(1),把環境準備好(2),逐步重現(3),再做作者沒做的檢查(4),在影片上逐手看蕈狀體怎麼打(5);最後一頁把 run_all.sh 叫到的每一支程式讀一遍(6),想知道這些數字到底是哪幾行算出來的再讀。run_all.sh 是下載包(下一節說明)裡的一鍵重跑指令,PART 2 要打的兩個指令之一:一個建環境、一個就是它,它一個指令把 PART 3、PART 4 要的數字全部算完(包括第四項標記和文獻的比對)。所以 PART 3、PART 4 不必再一步一步打指令:它們逐步說明每一步算了什麼、事先訂了什麼標準、跑出來怎麼對照,你拿自己 run_all.sh 的輸出對著讀就好;想單獨重跑某一步,PART 2 第 6 節教你把 run_all.sh 裡的那一行單獨打出來。
需要什麼基礎
PART 1 與 PART 5 不需要程式基礎;PART 6 讀程式,但不教語法,不會寫程式也讀得下去。PART 2 到 PART 4 要會在終端機(電腦上輸入文字指令的視窗,Mac 的「終端機」(Terminal),Linux 一般也叫 Terminal;本課只在 Linux 上實測過,macOS 照理可行但沒實測,Windows 沒測過,用 Windows 的人可以只讀 PART 1、5、6)貼上指令並執行,但不需要會寫程式;本課實測建環境 16 秒(這次需要的套件可能已經在本機的快取裡,第一次裝會更久,本課沒拆開量)、一鍵重跑 24 分 45 秒(12 核 CPU,含下載約 107 MB 資料);所有指令都附在頁面上,也打包成一個下載包(點這個連結就能下載;本課自己的程式碼與實跑紀錄都在課程網站的 repo marginli/bsc-flyblackjack,和作者的 repo 是兩個不同的倉庫)。
「重現」在這堂課裡的意思:用作者公開的程式碼與資料、固定在作者的版本,在另一台電腦上重跑,逐項比對作者宣稱的數字。每一項比對之前,先寫下怎樣算對上:有些要逐位相同(每一個數字、每一位小數都一樣),有些只要求「條件(完整模型、切斷多巴胺、未訓練這幾種設定)之間的高低順序一樣」。判定標準在 PART 3 第一節講清楚。
PART 1 這個專案在做什麼

連結體怎麼變成一個會學的模型,要接上四個零件:連結體、神經元方程式、輸入編碼、讀出規則(輸出神經元的活動怎麼變成要牌或停牌的決定)。本頁先講從 MaleCNS(那份雄果蠅連結體資料的名字)切出蕈狀體的四群神經元:把氣味訊號送進蕈狀體的投射神經元、把氣味編成代碼的 Kenyon 細胞(切出來的蕈狀體裡同時接到輸入、又連到輸出的共 3,811 顆,作者只挑了 1,200 顆來建模型,說是為了省計算)、輸出神經元、多巴胺神經元。再講三件人為設定:活動量算法(不模擬神經元一顆顆發出的短電訊號,也就是脈衝,只算一個活躍程度)、「多巴胺只會削弱連結」這條學習規則、牌面怎麼編成氣味與怎麼選動作。並逐項分清楚哪些來自資料、哪些是人為設定。最後一節簡介 repo 裡另外三個本課不重現的實驗。

概念為主 · 不需程式基礎 · 已完成

PART 2 準備環境與資料

一個 Python 執行環境(用 conda 這個工具建)、兩個要固定的地方(程式碼的版本、資料下載時的核對),以及一個會讓結果悄悄改變的陷阱:你電腦上以前裝過的別的程式零件(套件),會被誤用進這堂課的執行環境,而且不會有任何警告。

實作 · 要會用終端機 · 已完成

PART 3 重現 21 點

三個步驟(BJ1–BJ3),每一步先訂「怎樣算對上」再跑:下載資料並切出蕈狀體,切出來的檔案、細胞數與連結數逐位相同;21 點 30,000 手,成績隨手數變化的走向與作者的對上;把作者附的大腦檔(他訓練完存下來的模型檔)載入程式重算,它和 260 格的基本策略表(每種牌面該怎麼打,數學上最佳的打法)一致 51.9%,作者說 52%,數字接近,但大腦檔選的動作和作者描述的不同(README 說「幾乎都停牌」,大腦檔有 97 格要牌);本機重新訓練則只有 45.3%。作者附的大腦檔重現不出來,學到的策略每個種子都不同(20 個種子要牌 6 到 111 格),而且作者自己的三份資料(說明檔 README、程式註解、大腦檔)說法也不一致。

BJ1–BJ3 · 要會用終端機 · 已完成

PART 4 作者沒做的檢查

重現成功只代表「照作者的做法會得到作者的數字」。再往前一步,做四項檢查,前三項在 21 點上做、第四項查文獻:3 個種子加到 20 個(種子:亂數的起點;換一個種子就是換一副牌)、兩層接線(Kenyon 細胞→輸出神經元、多巴胺神經元→輸出神經元)各打亂一次、換一批神經元(看結果是不是只對作者挑的那 1,200 顆成立)、拿作者給每顆輸出神經元標的「趨近/迴避」(這顆神經元活躍時讓果蠅想靠近還是想躲)去對實驗文獻(看標記對不對得上真實果蠅)。第一項與第三項都支持作者的「有多巴胺、會學,成績才會變好」:20 個種子結論不變,換哪批神經元學完的成績都在 −15.8% 到 −12.3%,比各自沒學過時好;只是學完都只比永遠停牌(−15.8%)好 0 到 3.5 個百分點,離基本策略很遠;第四項 97 顆輸出神經元有 62 顆的標記和文獻一致;標記和文獻毫無關係時碰巧也會一致約 52 顆,62 顆比碰巧多、隨機要到這麼多的機率約 1.9%,有對上的跡象,但仍有 35 顆不一致、文獻規則本身也只是簡化,所以標記不能拿來談生物學。這和第二項不衝突:標記符不符合文獻,不改變模型的任何數字;但標記本身參與決定學習方向,所以第二項把接線打亂、標記留著,就學不會。第二項部分支持作者只推論、沒驗證的事,也就是「學習方向由多巴胺神經元連到哪些輸出神經元決定」:把多巴胺神經元連到哪些輸出神經元這層打亂、標記留著,21 點就學不會,成績 −48.8%(平均每手輸 0.488 注;5 種打亂、各 3 個種子的平均),和什麼都沒學的 −47.3%(20 個種子的平均)差不多(5 種分別是 −38.8%、−49.5%、−40.7%、−65.0%、−49.9%:兩種比未訓練好 6 到 9 個百分點,學到一部分;兩種差不多;一種掉到 −65%,學反了),一致率則全部從沒學過的 45% 降到 37% 以下,平均 33%。這層接線本身重不重要,還沒和標記分開驗。

四項檢查 · 要會用終端機 · 已完成

PART 5 逐手看蕈狀體怎麼打

把重現時的 30,000 手錄成影片:牌桌、蕈狀體裡 Kenyon 細胞(把每種氣味編成代碼的那群神經元)與輸出神經元的活動、多巴胺的閃動、學習曲線與模型的打法表(260 格)逐手對齊;完整模型、切斷多巴胺、未訓練三種大腦各一支。

互動播放 · 不需程式基礎 · 已完成

PART 6 讀程式:兩個指令按下去,電腦做了哪些事

從 run_all.sh 開始,順著「誰叫了誰」讀三層:第一層是本課寫的兩支 shell script(一個文字檔,裡面是一行一行的終端機指令:建環境的 setup_envs.sh 與一鍵重跑的 run_all.sh),第二層是它們叫到的六支 Python 程式(兩支作者的、四支本課寫的),第三層是模型本身的兩個檔:蕈狀體與 21 點。每一段程式先說在做什麼、為什麼要有,再逐行標記;PART 3、PART 4 表裡的每個數字都對回產生它的那一行。作者的程式是 MIT 授權,頁面上直接引。讀完,PART 1 那四個零件與「多巴胺只會削弱」那條學習規則,各在哪個檔、哪幾行就對得上。不用先跑過 PART 2 也能讀。

讀程式 · 不需終端機、不教語法 · 已完成

先看數字重現出了什麼

只有多巴胺那組會進步
這一格的判定標準是「走向與高低順序一樣」,不是逐位相同,所以差幾個百分點仍算對上。21 點 30,000 手,3 個種子平均:有多巴胺的蕈狀體(下面叫它完整模型)最後 2,000 手的成績是 −14.8%(指平均每手輸 0.148 注),和「永遠停牌」的固定打法(−15.8%)差不多;作者在程式碼註解裡寫的是 −45% 進步到 −16%(作者的未訓練是 −45%,本機重跑 −48.0%,起點差約 3 個百分點;判定只比走向與高低順序,不影響判定)。切斷多巴胺或關掉學習兩組都停在 −47.5%(這是作者原本設的兩個對照組,本課照跑;兩組對模型的效果相同、打出來的每一手都一樣,原因在 PART 3 第 4 節),和什麼都沒學的未訓練蕈狀體(3 個種子 −48.0%)同一個水準。「未訓練」是第三個對照:不學、也不亂選,每次都照沒學過的好惡值選最高的;前兩組也不會學,但和完整模型一樣有一部分決定是隨機亂選(亂選比例隨手數從 35% 降到 3%),所以數字和未訓練差零點幾個百分點。拿來對照的尺:隨機亂選 −44.5%、永遠停牌 −15.8%、照基本策略打 −1.4%。未訓練比亂選還差,是因為它幾乎每格都要牌、常爆牌(第四格)。只有一個地方看起來像對不上:PART 3 的表裡,本機有多巴胺那組頭 2,000 手的平均是 −25%,不是作者的 −45%。作者在程式碼裡的同一段註解寫未訓練的成績也是 −45%,所以他的起點指的是還沒學的水準;本機的頭 2,000 手已經在學(學習從第 1 手就開始),兩個數字量的不是同一個時間點。「重現成功」指的是數字對上;學到的打法只比永遠停牌略好,見上面「結論先說」①
作者的大腦檔重現不出來,學到的策略每個種子都不同
「基本策略表」是數學上最佳的打法表:自己手上的點數(26 種)× 莊家翻開的那張牌(10 種)= 260 格,每格寫該要牌、停牌還是加倍。模型自己學出來的也是一張 260 格的表,下面叫「模型的打法表」;「一致率」是兩張表有幾格相同。作者說一致率約 52%,但他留下的三份資料各說一套(說明檔 README 52%、程式註解 48.1%、附的大腦檔裡記的 53.1%)。大腦檔裡記的 53.1% 是作者另寫的網頁版程式算的,把同一個大腦檔載入作者的 Python 程式重算是 51.9%,兩套程式差 3 格,原因本課沒追。動作也對不上:README 說學到「幾乎都停牌」,大腦檔的打法表卻有 97 格要牌。本機 20 個種子學完要牌從 6 格到 111 格都有,97 格本身不算離譜;對不上的是大腦檔自己標明的種子 0。大腦檔裡自己標明是「種子 0」;本機用同一份程式、種子 0 重新訓練,一致率 43.8%(三個種子平均 45.3%),和大腦檔差約 8 個百分點。可能的原因是作者的大腦檔出自另一個版本或另一組設定:固定版本只保證同一份程式在同一個環境重跑會一樣,而作者沒記錄大腦檔是怎麼跑出來的,確切原因本課追不到。成績對上不代表每一格的選擇相同:作者的大腦檔和本機種子 0 有 114 格不同,成績卻差不多(兩者都在學完後凍結:不學、不探索,各實打 20,000 手;大腦檔 −13.5%,本機種子 0 −14.3%)
作者沒驗的那一層
蕈狀體裡有兩層接線:Kenyon 細胞(把氣味編成代碼的那群,簡寫 KC)→輸出神經元(MBON),這是學習時被削弱的那層;以及多巴胺神經元(DAN)→輸出神經元,決定獎賞與懲罰的訊號送到哪顆,固定不變。作者推論學習靠的是後者:哪顆 MBON 收得到懲罰、哪顆收得到獎賞,決定學習往哪個方向走。但他只在氣味制約實驗上試過打亂前者沒影響(那一層怎麼排只改變學習的起點,學習會從起點去削弱它),沒有直接打亂後者,21 點上兩層都沒試。我們各打亂一層再打 30,000 手:打亂 KC→MBON,學完 −15.6%,仍在永遠停牌附近(完整模型 20 個種子是 −13.2%;5 種打亂裡有 2 種沒學過就已經在那附近,PART 4 第 3 節),比完整模型低約 2.4 個百分點,但只有 5 種打亂、各 1 個種子,兩者的信賴區間重疊,分不出有沒有差;而且那 2 種的「學完」不是學上來的;另外 3 種沒學過時在 −66% 到 −87%,學完都到 −15% 上下,所以結論是:打亂 KC→MBON 之後仍學得會,和作者在氣味制約上看到的一致;打亂 DAN→MBON,−48.8%,和什麼都沒學的未訓練(20 個種子 −47.3%)差不多,與基本策略(數學上最佳的打法表,260 格)的一致率從沒學過就有的 45% 掉到 33%(完整模型學完是 47.9%)。一致率雖然說明力弱(第四格),33% 卻比全要牌(44%)和全停牌(41%)都低,不是「全部翻成某一個動作」解釋得了的,表示有不少格往基本策略的反方向學:打亂後,獎賞有一半以上落到了趨近型 MBON 上,贏了反而削弱趨近、讓這個動作少做(PART 4 第 3 節)。這部分支持作者的推論,但打亂時趨近/迴避的標記沒跟著換:學不會可能是「接線和標記對不上」造成的,不一定代表接線本身重要;兩者還沒分開驗
3 個種子加到 20 個
作者只跑 3 個種子(3 副牌序)。換 20 個種子重打:完整模型最後 2,000 手的平均 −13.2%,切斷多巴胺 −47.2%,未訓練 −47.3%;把種子之間的起伏算進去(95% 信賴區間:照這個方法估出的範圍,約 95% 會包含真正的平均),兩邊的範圍完全不重疊。「有多巴胺才會變好」不是這 3 副牌的運氣。另外,沒學過的蕈狀體一致率就已經 45%(它幾乎每格都要牌,剛好對中表上該要牌的那些格),學完 20 個種子平均也只有 47.9%:一致率幾乎沒有因為學習上升;而且這一點點上升全部來自硬 21、軟 21 兩列(20 格),扣掉這 20 格,20 個種子學完平均 44.4%(95% 信賴區間 42.3% 到 46.4%),和沒學過的 46.25% 分不出差別,點估計還略低(PART 1 第 5 節)。這兩列從不會是第一個決定(兩張牌最多是硬 20,兩張就湊成軟 21 是黑傑克,直接結算、不用決定),但要牌補到 21 點之後,程式會再問一次要不要牌(不會自動停牌;每個種子 30,000 手裡有 186 到 1,050 次),那時要牌常常輸(硬 21 再要必爆),模型就學到停牌;評分的格和這個情況只差「是不是前兩張」一項,跟著翻成停牌(未訓練時 20 格裡停牌 6 格,學完 17 到 20 格),而基本策略在這兩列都是停牌。所以這一點點上升是學到「21 點別再要牌」,不是逐格學到基本策略(硬 21、軟 21 兩列 20 格要牌後才會遇到的次數、評分格各選什麼,由課程倉庫的 scripts/row21_visits.py 算出,在 out/blackjack/row21_visits.json)。模型的打法表從「幾乎全要牌」翻成「以停牌為主」(20 個種子停牌 141 到 231 格、加倍 8 到 53 格),一致率卻幾乎沒動,是因為基本策略表 260 格裡該要牌 115 格、該停牌 106 格(其餘 39 格該加倍),幾乎全要牌對中的是前者、以停牌為主對中的是後者,數目差不多,再加上幾格碰巧對中的加倍(PART 5 第 3 節);所以作者說的「52%」就算對上也說明不了什麼

想自己核對的人:本課頁面上每個數字都來自本機實跑的輸出檔,收在本課 repo 的 out/ 資料夾;這四格依序出自 out/blackjack/bj2_blackjack_30000.json、out/blackjack/bj3_author_brain.json、out/blackjack/bj_extra.json(後兩格);第一格的對照尺出自 out/blackjack/reference_margin.json,第二格的 114 格與實打成績出自 out/blackjack/part3_extras.json;PART 4 卡片的 1.9% 出自 out/blackjack/x4_permutation.json;20 個種子的要牌格數與扣掉 20 格後的一致率出自 out/blackjack/seeds20_tables.json。種子數:第一格全是 3 個種子(對照尺除外:隨機 −44.5%、永遠停牌 −15.8%、基本策略 −1.4% 是各打 20,000 手的模擬);第二格的 45.3% 是 3 個種子的平均,43.8% 是種子 0 單獨一次;第三、四格與 PART 4 卡片除了下面列的例外,都是 20 個種子的平均;例外:換一批神經元的 −15.8% 到 −12.3% 是每批 3 個種子,1.9% 是把標記隨機重排 100,000 次的檢定結果,不是種子平均;打亂 KC→MBON 的 −15.6% 是 5 種打亂(各 1 個種子),打亂 DAN→MBON 的 −48.8% 與 33% 是 5 種打亂 × 3 個種子。同一個條件,3 個種子和 20 個種子的平均會差到一兩個百分點(完整模型 −14.8% 對 −13.2%、一致率 45.3% 對 47.9%),因為 3 個種子的平均晃得比較多。產生首頁影片的程式:投影片要點與旁白稿在 scripts/video_slides.py,影片由 scripts/make_video.py 產生,規格記在 out/video_meta.json;scripts/video_check.py 檢查「投影片上寫的每一點,旁白有沒有講到」。怎麼得到這些數字,見 PART 3 與 PART 4。

出處這堂課重現的是哪個專案

專案固定的版本用的資料授權
WilliamJones/fly-blackjackcommit 004b2e3MaleCNS v1.0 雄果蠅中樞神經系統連結體,經另一位研究者 Yijie Yin 公開的 connectome_data_prep 整理成表格;本課不重跑整理這一步,直接下載它的輸出(PART 3 的 BJ1 從下載開始比)MIT

表裡的名詞:repo 是 GitHub 上一個專案的程式碼倉庫;commit 是倉庫在某個時間點的快照,004b2e3 這類代號是它的編號,固定它才能保證重跑的是同一份程式;MIT 是一種允許任何人複製、修改、散布的授權。fly-blackjack 的 repo 分五部分,21 點是第五部分;前四部分本課沒有重現:其中三個實驗(Dino 小遊戲、氣味制約、覓食)PART 1 第 7 節簡介,會走路的身體模型本課不碰。

進度:六個部分都已完成。所有數字都出自本機實跑的輸出(收在本課 repo 的 out/ 底下),所有圖都由 scripts/make_figures.py 從那些輸出畫出來,PART 5 的影片由逐手紀錄畫出。實跑環境:Linux、12 核 CPU、不用 GPU。
BSC 腦空間體研究中心 · 專題課程 蕈狀體學 21 點 · 教材由 Claude Code 產生 · 回 BSC 專題課程首頁