BSC 專題課程 / 蕈狀體學 21 點 / PART 5

PART 5

逐手看蕈狀體怎麼打

把重現時的三萬手錄成影片:牌桌、Kenyon 細胞與輸出神經元的活動、多巴胺、學習曲線與策略表逐手對齊;把 PART 1 的機制與 PART 3 的結果直接在畫面上找出來

← PART 4 作者沒做的檢查 回課程首頁 →

1這些影片是什麼

先說前提:打牌的不是真果蠅,是一個電腦模型。它從一隻雄果蠅的連結體(connectome:腦裡每一顆神經元連到哪些神經元、各有幾個突觸的完整清單;突觸是兩顆神經元之間的接點,模型裡就是一條有強弱的連結,「削弱突觸」和「削弱連結」講的是同一件事)切出蕈狀體(果蠅形成氣味記憶的那塊腦區)的接線,把每一手的牌面與候選動作編成「氣味」送進去,贏了讓報獎賞的那群多巴胺神經元放出多巴胺、輸了讓報懲罰的那群放(果蠅腦裡有兩群多巴胺神經元,一群報好事、一群報壞事),讓它用學氣味好壞的方式學 21 點(PART 1)。這個模型是一個公開專案 fly-blackjack 的作者寫的;本課在自己的電腦上重跑它、對照作者的數字,叫「重現」;重現分三步做,打 21 點那一步的代號是 BJ2(PART 3 第 4 節)。

21 點沒有遊戲畫面,影片是從逐手紀錄畫出來的。影片裡會標「隨機探索」、會畫好惡值長條,所以先認識幾個詞:種子是程式裡「隨機」的起始數字,決定洗牌順序與所有亂數,同一個種子就是同一副牌;好惡值是蕈狀體對「這個牌面配這個動作」想靠近還是想躲的分數(趨近型與迴避型輸出神經元哪邊比較強);選動作只比三個動作的值誰最大,絕對大小和正負本身不代表做不做,三個都是負的也照樣選最高的那個;隨機探索是每做一個決定都有一定機率不看好惡值、亂選一個動作(要牌=再抽一張、停牌=不抽了、加倍=賭注加倍只再抽一張,規則見下面「先認識 21 點的幾個詞」)。為什麼需要它:只有選過的動作才會在一手結束後被學到,沒被選的動作學不到自己的結果。不探索的蕈狀體也會換動作,但只能等目前選的那個被學到比別的低才換(學習只會削弱連結,輸了削弱的是趨近型輸出神經元的輸入(輸入=從 Kenyon 細胞連過來的那些連結),這個動作的好惡值變低;贏了削弱的是迴避型的輸入,好惡值反而上升;輸出神經元見第 2 節,第 3 節第 1 手與第 6 手會看到)。一個起步偏好要牌的蕈狀體,在那之前從沒停牌過,停牌的好惡值還是起始值,不是從輸贏學來的;換成停牌之後,輪到要牌不再被試。探索讓每個動作從一開始就有機會被試、被學,好惡值的高低才是比過輸贏的結果。這個機率從 35% 起逐手平滑下降,愈降愈慢,下限是作者設的 3%(愈打愈接近、不會低於它):3,000 手時約 19%、6,000 手時約 11%,打到 30,000 手時約 3.03%;一致率是 260 種牌面裡蕈狀體的選擇與「基本策略」相同的比例,基本策略是賭場數學算出來、公開的一張最佳打法表(下面「先認識 21 點的幾個詞」會再講)。

本課把 BJ2 那一步用種子 0 重跑一次(選種子 0 不是挑過的:它是 BJ2 重現的第一個種子,作者的大腦檔標的也是種子 0。但事後看,它是 PART 4 跑的 20 個種子(結果整理在 PART 1 第 5 節)裡學完要牌最少的一個,只剩 6 格,最接近永遠停牌;別的種子學完要牌從 12 格到 111 格都有,所以這裡看到的翻面方向是共同的,翻到多徹底則不是典型,看要牌格數時要記得這一點),每一手多記下四樣東西:牌面、三個候選動作(要牌、停牌、加倍)的好惡值、選了什麼與是不是隨機探索、以及 Kenyon 細胞與輸出神經元(蕈狀體裡的兩種神經元,第 2 節會講)的活動。這份紀錄和 BJ2 的結果以每 2,000 手為單位核對過:15 個區塊的平均輸贏與一致率完全相同。然後用它畫成影片,三種大腦各一支:連結體 + 多巴胺(完整模型:接線照連結體,多巴胺照常送到)、切斷多巴胺(多巴胺神經元照常放電(放電=神經元送出訊號),但到輸出神經元的連結被設成 0,所以學不到;照常隨機探索,比例照樣從 35% 降到 3%)、未訓練(從頭到尾選好惡值最高的動作,不探索、不學習;結果出來時不送多巴胺,畫面上寫「不學習:沒有多巴胺回饋」)。後兩支是對照:切斷多巴胺排除「光靠亂選的比例下降就會進步」(它的亂選比例照樣從 35% 降到 3%,第一個 2,000 手 −0.393,最後一個 −0.439,沒有進步;兩個數都是 2,000 手的平均,各帶約 ±0.05 的誤差(第 3 節),差距分不出來,算是沒有可分辨的變化。−0.393 比亂選和未訓練都好,是種子 0 頭 2,000 手特別好,原因本課沒查,PART 3 第 4 節),未訓練排除「沒學過的蕈狀體本來就會打」;完整模型多出來的成績才能歸給多巴胺驅動的學習。三支影片的第 1 手完全相同——同一個種子、同一副牌、同一個還沒學過任何東西的蕈狀體,而且這一手三支都沒有亂選——之後的牌怎麼發:三支用同一串牌、依序往下發,哪一支在某一手多拿或少拿一張,後面的牌就整串錯開(第 2 手拿到硬 14 對明牌 2 時,三支的好惡值都是停牌最高;未訓練那支不探索,照好惡值停牌;另兩支在這一步都擲中了隨機探索、抽到要牌(兩支探索用的亂數來自同一個種子,所以擲的結果一樣),多拿一張爆牌。未訓練少要這一張,第 2、3 手就和另兩支不同);錯開的張數剛好補回來時又會對齊(第 4 到 6 手三支又相同);打到後面,三支的牌早就各不相同。

每支影片約一分鐘:開頭 6 手和最後 6 手慢速逐步播七個步驟:發牌、三個候選動作各「聞」一次、選擇、抽牌、莊家翻牌、結果、多巴胺;中間 29,988 手快轉 18 秒。「聞一次」的意思:模型把「目前牌面 + 是不是這手的第一個決定(只拿兩張牌時)+ 候選動作」編成一組氣味訊號,由投射神經元 PN 送進蕈狀體(代表牌面那部分的 PN 加代表動作那部分的 PN 拼成),就像果蠅聞一種氣味;同一手牌配要牌、停牌、加倍是三種不同的氣味,所以各聞一次、各得一個好惡值。畫面上每個數字都來自紀錄,網頁播放時只是重播,不會在瀏覽器裡重新模擬。

(以下是給想查證數字的人看的出處:檔名與程式名,不讀也不影響理解。)逐手紀錄由課程程式資料夾(repo)以外的 fly_play_game/demo/record_bj.py 產生、render_bj.py 畫成影片;本頁引用的手牌與數字收在 out/bj_demo_summary.json,播放台用的逐格資料在 assets/demo/data.json(與 out/demo_data.json 同一份)。

2播放台

沒玩過 21 點的話,先看播放台下面的「先認識 21 點的幾個詞」:硬手、軟手、明牌、加倍這些詞,播放時一開始就會出現。

簡報要演示的話:播放台單獨頁只有播放台,版面配合 16:9 投影片,功能和下面這個一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網);不能上網時用離線包(約 14 MB,解壓縮後用瀏覽器開裡面的 player.html)。網址後面加 ?b=bj_nodopa&h=6 可以指定一開始播哪個條件(bj_fly、bj_nodopa、bj_untrained)、從第幾手開始。

進度第 1 手 階段:發牌 累積每手 +0.000 果蠅 莊家 候選好惡
要牌停牌加倍
結果— 策略表

從第 1 手起的累積每手平均輸贏 灰底:快轉段 虛線:永遠停牌(−0.158)、隨機出牌(−0.445)兩條參考值;影片裡的曲線多畫一條基本策略(−0.014) 點曲線可以跳到那個時間

先認識 21 點的幾個詞。本課用的是簡化規則:玩家與莊家各拿兩張,莊家只亮一張(明牌);玩家可以要牌(再抽一張)、停牌(不抽了)、或在前兩張時加倍(賭注加倍、只再抽一張就停);點數超過 21 叫爆牌,直接輸。J、Q、K 算 10 點。玩家停牌後莊家翻牌、抽到 17 點以上停手;雙方都沒爆時點數高的贏、一樣是平手,莊家爆牌玩家就贏;贏輸各一注,前兩張就 21 點(黑傑克)贏 1.5 注。A 可以算 1 或 11:手裡有 A 算成 11 點而沒爆的叫軟手(爆了就把 A 改算 1,所以再抽一張也不會爆),其餘叫硬手;「硬 20 對 8」就是硬手 20 點、莊家明牌 8。輸贏以注計:平常一手輸贏 1 注,加倍後 2 注;和莊家同點數是平手,0 注,不送任何多巴胺、這一手不學。基本策略是賭場數學算出來、公開的一張表:26 種手牌(硬 5 到 21 點 17 種、軟 13 到 21 點 9 種)× 10 種明牌(2 到 10 與 A;J、Q、K 都算 10)共 260 格(兩張 2 是硬 4、兩張 A 是軟 12,模型照樣會打,只是作者的表沒列這兩種),每格寫明該要牌、停牌還是加倍(PART 1 第 5 節)。

影片的四個面板,一、左邊的牌桌。莊家與果蠅的牌、三個候選動作的好惡值長條(只在前兩張時有「加倍」),框起來的是選中的那個,「隨機探索」表示這個決定沒看好惡值、亂選的(探索是每個決定各擲一次,一手有兩個決定時可能只有一個是亂選);結果列寫輸贏,以及這手送的是獎賞還是懲罰。

二、右上的蕈狀體。1,200 顆 Kenyon 細胞(KC,把每種氣味編成一組「亮」的細胞)排成 40 × 30 的格子(位置只是編號順序,不是解剖位置),亮的是這個「牌面+動作」活化的 72 顆(模型設定每種氣味固定只留最活躍的 6%,1,200 × 6% = 72,哪 72 顆由氣味決定)。亮的 72 顆 KC 各自沿著連結體量到的接線連到下面的輸出神經元,97 顆輸出神經元(MBON)的活動量就是從這些連結加過來的;換一種牌面就換 72 顆、走的連結不同,MBON 的活動也就不同。但不同牌面配同一個動作,共用「動作」那組 PN,亮的 KC 也會大量重疊(例如硬 14 和硬 15 配要牌、對明牌 8,72 顆裡共用 49 顆),所以削弱一個牌面的「要牌」,也會削到別的牌面的「要牌」:學到的有一部分是「要牌整體變差」,不是逐格各學各的。MBON 分趨近型 56 顆(藍)、迴避型 41 顆(琥珀),亮度是活動量;所有藍色的活動量加總、減掉所有琥珀色的加總,就是好惡值。學習改的就是 KC 到 MBON 這些連結的強弱。下方 332 顆多巴胺神經元在結果出來時閃一次:贏是獎賞群(PAM 316 顆,綠),輸是懲罰群(PPL1 16 顆,紅);強度看輸贏幾注:1 注是 0.5,加倍後的 2 注是 1.0,黑傑克的 1.5 注是 0.75。「切斷多巴胺」那支影片在標著「減弱 KC→MBON 突觸」的箭頭上畫紅叉,旁邊寫「切斷:多巴胺到不了輸出神經元」:多巴胺神經元照樣閃,但訊號到不了輸出神經元,所以 KC→MBON 的連結不會被削弱。

三、右下左邊的曲線。每手平均輸贏(以一注為單位,−0.15 就是平均每手輸 0.15 注):線是最近 1,000 手的滑動平均(每一點只取它之前 1,000 手的平均,更早的手一路被丟掉,所以反映的是「最近打得怎樣」),點是每 2,000 手的平均,三條虛線是三種固定打法的平均,由作者程式裡的參考打法在 BJ2 那次執行一起算出,各打 20,000 手(作者寫死的手數;20,000 手的平均,95% 信賴區間約 ±0.014 到 ±0.018 注;95% 信賴區間:同樣的打法換一副牌重打,平均大概會落在這個範圍內):照基本策略打 −0.014、永遠停牌 −0.158、隨機出牌 −0.445。

四、右下右邊的 260 格策略表。橫是莊家明牌(2 到 A)、直是手上點數(上面 17 列是硬手 5 到 21,下面 9 列是軟手 13 到 21,列名標著「硬」「軟」),每格的顏色是蕈狀體現在會選的動作(三個好惡值裡最高的那個,不含隨機探索),格中的點表示與基本策略相同;表每 200 手更新一次,算法是拿當時的連結把 260 種牌面各算一次三個好惡值、取最高的,不打牌、不觸發學習,所以看表不會改變模型。每一格都當成「手上只有發的兩張、第一個決定」來算,所以三個動作都比(作者算一致率也是這樣);其中硬 21 不可能只用兩張湊出,軟 21 在前兩張就是黑傑克、直接結算,這兩列的「前兩張」氣味在打牌時從不出現;但要牌補到 21 點之後模型還要再決定一次(第 3 節第 6 手就有一次:硬 21 停牌),那個氣味和評分格只差「是不是前兩張」一項,學到的會直接帶過來。手上三張以上時的決定是另一種氣味(「前兩張」那個特徵不同),不在表上。

影片旁的讀數。與影片逐格同步。「候選好惡」三個數字就是影片裡三條長條的值;「策略表」那一行是 260 格裡與基本策略相同的比例。下方的曲線是從第 1 手起的累積平均(前 20 手不畫,因為只有幾手時平均會大幅跳動,加倍時一手就可能是 ±2),和影片裡的 1,000 手滑動平均是兩種算法,數字不會一樣。

3在畫面上找四件事

  1. 第 1 手:沒學過的蕈狀體怎麼選。三個分頁的第 1 手從發牌到輸贏完全相同,結果出來之後才不一樣(三支這一手都照好惡值選:完整模型與切斷多巴胺這一手各有 35% 機率亂選,這次都沒擲中;未訓練不探索):果蠅拿到 10、10,硬 20 對莊家明牌 8。三個候選動作的好惡值是要牌 +0.243、停牌 +0.168、加倍 +0.019——還沒學過任何東西的蕈狀體,對「要牌」這個氣味的好惡本來就最高。這個偏好是寫死的編碼造成的,不是這副牌、也不是學來的:氣味訊號由「牌面那部分的 PN」加「動作那部分的 PN」拼成,代表「要牌」的那幾顆 PN 是作者寫程式時用一個固定的亂數挑定的(換打牌的種子也不會變),這幾顆接出去的連結剛好讓好惡值偏高。說偏在「動作」那一側,根據是 260 格裡 239 格都偏要牌,跨過幾乎所有牌面;說換打牌種子不會變,是看程式得知(挑 PN 的種子寫死,和打牌種子無關),PART 4 跑的 20 個種子(就是本頁開頭提到的那 20 個)未訓練的一致率也都是同一個 45.0%。所以它在硬 20 還要牌,抽到 6 爆牌,輸 1 注。結果出來時懲罰群多巴胺閃紅、強度 0.5(輸 1 注的強度),這手「硬 20 對 8 + 要牌」那 72 顆 KC 通往收到多巴胺的 MBON 的連結被削弱。這一步只有完整模型有:切斷多巴胺那支的多巴胺神經元一樣閃紅,但畫面上「減弱 KC→MBON 突觸」的箭頭打紅叉,連結不變;未訓練那支不閃,寫著「不學習:沒有多巴胺回饋」。下面講的是完整模型。收到懲罰多巴胺的是趨近型(藍)MBON,通往它們的連結被削弱,這個氣味的好惡值就往負走,下次再遇到硬 20 對 8 就比較不想要牌(機制在 PART 1 第 4 節,第 6 手會再看到獎賞那一邊)。這就是 PART 3 第 4 節說「未訓練的蕈狀體幾乎每格都要牌」的現場:打完 0 手時,策略表 260 格裡要牌 239 格、停牌 17 格、加倍 4 格。
  2. 第 6 手:贏一次的回饋長什麼樣。在「連結體 + 多巴胺」分頁拉到第 6 手:硬 11 對明牌 10,好惡值要牌 +0.763、停牌 +0.429、加倍 +0.469(比第 1 手大很多,不是學大的:同一個局面在未訓練那支是要牌 +0.850、停牌 +0.450、加倍 +0.486(三支的第 6 手發到的牌剛好相同,第 1 節說過為什麼,切到未訓練分頁的第 6 手就看得到),起始值本來就更大;前 5 手全是爆牌輸掉、沒有停牌過,停牌和加倍的值卻也降了:點數、明牌、軟硬、是不是前兩張這四組 PN 不分動作,同一個局面的三個動作共用它們(只有動作那組不同),所以輸的手削弱的 KC 連結,有一部分也是這一格三個動作都會用到的;這一格雖然沒遇過,也跟著被削低了一點,為什麼會擴散到沒遇過的局面見第 2 節第二個面板),要牌;抽到 10 成為 21,第二次決策停牌 +0.559、要牌 +0.511,停牌(兩個決定都照好惡值選,不是亂選);莊家 20,贏 1 注,獎賞群多巴胺閃綠。獎賞和懲罰一樣只會削弱連結(這是作者設的學習規則,不是本頁跑出來的結果;真實果蠅這個突觸以削弱為主,但也有變強的情形,見 PART 1 第 4 節),差別在削弱的是哪些:獎賞群 PAM 連到的是迴避型(琥珀)MBON,削弱它們的輸入,這個氣味的好惡值就往正走;懲罰群 PPL1 連到的是趨近型(藍)MBON,削弱後好惡值往負走(PART 1 第 4 節)。這一手做過的兩個決定(硬 11 要牌、硬 21 停牌)都分到同樣的獎賞——PART 1 第 5 節講的「一手裡每個決定分到同樣的回饋」。基本策略在硬 11 對 10 會加倍,蕈狀體選的是要牌,所以這一格仍算不一致。
  3. 最後 6 手:學完之後所有好惡值都靠近 0。同一分頁拉到第 29,995 手:硬 10 對明牌 5,好惡值要牌 −0.004、停牌 −0.000(四捨五入後的極小負數,略低於 0)、加倍 −0.042,三個都在 0 附近,停牌以極小的差距勝出(選動作只看三個值誰最大,沒有門檻,差 0.004 也照樣決定;值縮到 0 附近之後學習會不會變慢、差距這麼小的格子是不是比較容易被下一次學習翻掉(例如和第 4 項那 55 格換動作有沒有關係),本課都沒查)。因為獎賞與懲罰都只會削弱,30,000 手下來幾乎每一種「牌面+動作」通往兩型 MBON 的連結都被削弱過,右上的輸出神經元幾乎不亮,三個好惡值都縮到 0 附近。好惡值是趨近型的活動總和減迴避型的總和,兩邊都被削到很小,差值也就很小;選動作只比三個差值誰最大,所以有意義的只剩三個值的先後,數值靠近 0 本身不代表「好」也不代表「不好」。基本策略在這一格會加倍。切到「切斷多巴胺」分頁看同一個位置(第 29,995 手,硬 15 對明牌 10;牌面和完整模型不同,因為打到後面兩種大腦抽到的牌早就錯開了,第 1 節):好惡值還是要牌 +0.326、停牌 +0.391、加倍 +0.219 這種沒學過的大小(這格剛好是沒學過的表裡少數停牌最高的格之一,260 格裡停牌 17 格)——連結從頭到尾沒變,30,000 手只是把隨機探索的比例照時程從 35% 降到 3% 而已。三種大腦打完 30,000 手、最後 2,000 手的每手平均輸贏並排:完整模型 −0.150、切斷多巴胺 −0.439、未訓練 −0.448。完整模型的 −0.150 和「永遠停牌」這種固定打法的 −0.158 幾乎一樣(−0.150 是 2,000 手的平均,本身約有 ±0.05 的誤差,和上面的 ±0.014 是同一種 95% 範圍,只是手數少十倍:誤差隨手數的平方根變,少十倍約寬 3 倍,和 −0.158 分不開),不是贏過了參考線,下一段會講。後兩支的差別在排除什麼:「未訓練」從頭到尾不探索、不學,是「什麼都沒做」的底線;「切斷多巴胺」照常探索、也照常跑學習規則,只是多巴胺送不到,它和完整模型只差這一件事,所以完整模型多出來的 0.29 注只能歸給多巴胺,而不是探索或別的設定。這不是說探索沒有用:下一條(快轉段)會先講怎麼算,這裡先列結論:粗估起來,第一個 2,000 手之後的那段進步(0.108)約有一半以上是亂選變少帶來的(只有種子 0 一個種子,誤差大);從未訓練的水準升到第一個 2,000 手的 −0.259,那一大段(約 0.19 注)發生在頭 2,000 手內,是學習造成的,不在這個拆法裡。三個結論的可信度:0.29 注歸多巴胺(確定,有對照組);亂選變少貢獻約 0.067(粗估);不亂選時也打得更好(還沒確認,下一段)。兩個數比的東西不同:0.29 注是同一個時間點(末 2,000 手、亂選都約 3%)兩種大腦的差;下一段的 0.108(用沒四捨五入的值算,約 0.11)是同一個模型頭 2,000 手對末 2,000 手的差,不能互相換算。兩件事不衝突的原因只有一句:亂選變少能讓成績變好,前提是不亂選時的選擇比亂選好,而那要靠多巴胺學過才成立。
  4. 快轉段:策略表怎麼翻面。在「連結體 + 多巴胺」分頁看右下的 260 格:打完 0 手是要牌 239 格;打完 2,000 手已經變成停牌 211 格、加倍 49 格、要牌 0 格;打完 30,000 手是停牌 214、加倍 40、要牌 6(還要牌的六格是:硬 10 對明牌 4 與 8、硬 11 對 4、硬 16 對 7、軟 16 對 7、軟 21 對 6。所以前一條說第 29,995 手的硬 10 對 5 停牌,和這裡不衝突,硬 10 只在對 4 和 8 時還要牌。軟 21 要牌不會爆,A 會改算 1;這一格其實翻過:打完 2,000 手時硬 21、軟 21 兩列 20 格全是停牌,到 30,000 手軟 21 對 6 又變回要牌、軟 21 對 3 變成加倍。這兩列的「前兩張」決定在打牌時從不發生,評分格是從要牌補到 21 點後的那些決定借來的(兩者只差「是不是前兩張」一項);硬 21 要牌必爆,學得很穩,軟 21 要牌不會爆、輸得少,所以比較會漂移;為什麼偏偏是這兩格,本課沒查)。與基本策略一致的比例從 45% 掉到 41%,再回到 44%,幾乎沒動,原因拆開看:基本策略的 260 格裡 115 格該要牌、106 格該停牌、39 格該加倍。未訓練的表幾乎每格都要牌,剛好對中該要牌的那 115 格裡的 106 格,加上少數停牌與加倍,共 117 格(45%)。學完後幾乎每格都停牌,對中的換成該停牌的那些格:停牌對中 101 格、加倍對中 11 格、要牌對中 2 格,共 114 格(44%),數目差不多。一致率每格算一樣重,但各格出現的頻率和選錯的代價差很多:本課推測:例如在硬 17 以上還要牌,幾乎一定爆牌、整注輸掉;在硬 12 到 16 該要牌卻停牌,只是贏的機會少一些(各格選錯要賠多少本課沒有逐格算),所以一致率差不多,成績可以差很遠。另一個原因是表只畫每手的第一個決定:手上三張以上時的決定不在表上,未訓練的蕈狀體在那些決定裡大概也一直要牌,這部分的損失一致率完全看不到。一致率差不多,成績卻差很遠:未訓練那支一致率 45%,末 2,000 手每手 −0.448;完整模型學完一致率 44%,末 2,000 手 −0.150,而「永遠停牌」這種固定打法是 −0.158:學完的蕈狀體和一個永遠不要牌的玩家打得差不多,比隨機(−0.445)好很多,離基本策略(−0.014)還很遠。這就是 PART 3 第 4、5 節的結論:成績改善能重現,但學到的不是基本策略,而是以停牌為主、加上幾十格加倍的打法,成績和永遠停牌差不多。這個結論不是單靠種子 0:PART 4 的 20 個種子都以停牌為主(停牌 141 到 231 格;要牌最多的種子 16 也有 111 格要牌、141 格停牌),平均成績 −0.132 注(−13.2%),略好於永遠停牌(PART 1 第 5 節)。
    各動作的格數在 2,000 手時就差不多了,但格數穩不等於表沒變:對照打完 2,000 手和 30,000 手的兩張表,有 55 格換了動作(加倍改停牌 29 格、停牌改加倍 20 格、停牌改要牌 6 格),只是一來一往,總數只差幾格。成績從第一個 2,000 手的 −0.259 到最後的 −0.150 也有進步,但大半發生得很早:第二個 2,000 手已經是 −0.160,之後在 −0.10 到 −0.23 之間起伏(單一個 2,000 手區塊約有 ±0.05 的誤差)。下面的拆法拿最後一個區塊(−0.150)當終點,因為它是「學完」的那一點、和 PART 3 用的一樣;換成第 2 到第 15 個區塊的平均(−0.160)當終點重算,兩部分是 0.059 與 0.040,結論不變。這段進步從哪來?本課用頁上的數字粗估成兩部分。第一,亂選變少:亂選的機率從頭 2,000 手的平均約 28.6%(從 35% 降到約 23.2%)降到末 2,000 手的約 3.04%。粗估的做法是把這個機率當成成績裡「亂選那部分」的份量,那部分的成績當成隨機出牌的 −0.445;這是簡化,因為探索是逐個決定擲,一手裡可能只有一個決定是亂選,亂選也可能剛好選中原本會選的動作。占的比例一降,平均就上來。第二,不亂選時也打得更好:用 −0.259 反推,頭 2,000 手不亂選那部分約 −0.184(28.6% × (−0.445) + 71.4% × x = −0.259,解出 x ≈ −0.184);如果它一直不變,末 2,000 手應該是 −0.192(3.04% × (−0.445) + (1 − 3.04%) × (−0.184)),實際是 −0.150,不亂選那部分升到約 −0.141。所以約 0.108 的進步裡,約 0.067(六成多)來自亂選變少,約 0.041 來自不亂選時打得更好(這幾個差是用沒四捨五入的值算的,拿頁上的三位數相減會差 0.001)。兩部分的誤差不一樣大:第一部分主要由已知的亂選比例決定,−0.259 的誤差只透過它間接傳進來,約 ±0.02;第二部分直接是兩個區塊相減,兩邊的誤差都算進去,約 ±0.08。所以第二部分(0.041)單憑種子 0 和 0 分不開,「不亂選時也打得更好」這件事本身還沒確認;下面列的三個來源只是可能的解釋:頭 2,000 手的 −0.184 是表從要牌 239 格翻成停牌的過程中打出來的平均,不是 2,000 手時那張表的成績;之後那 55 格的換動作;表只畫每手第一個決定,手上三張以上時的決定不在表上。三者各佔多少本課沒有拆。這整個拆法只是量級的粗估:只有種子 0 一次,而單一個 2,000 手區塊的平均本身約有 ±0.05 的抽樣誤差(PART 1 第 5 節),比 0.041 還大,「六成多」只能當「大約一半以上」看。這和第 1 節說「切斷多巴胺那支排除了光靠亂選下降就會進步」不衝突:亂選下降只有在「不亂選時的選擇比亂選好」時才有用。完整模型學過,不亂選時打得比亂選好,所以亂選一降成績就升;切斷多巴胺沒學,不亂選時打出來的就是沒學過的那張表,和亂選一樣差(未訓練那支種子 0 是 −0.448,亂選是 −0.445),亂選降了也沒差,這正是那支對照要看的。

四個檢查點的牌面、好惡值、策略表格數與每 2,000 手平均都在 out/bj_demo_summary.json(各條件開頭與結尾各 6 手的紀錄、打完 0/2,000/30,000 手時的 260 格統計、2,000 手到 30,000 手之間換了動作的格數 cells_changed_2000_to_30000、基本策略表各動作的格數);硬 14 與硬 15 共用的 KC 數、2,000 手區塊的誤差在 out/blackjack/part1_extras.json(scripts/part1_extras.py);三條虛線的信賴區間在 out/blackjack/reference_margin.json(scripts/reference_margin.py),進步拆成兩部分的粗估在 out/blackjack/part5_progress_split.json;每 2,000 手平均與 out/blackjack/bj2_blackjack_30000.json 種子 0 的 blocks 相同。

← PART 4 作者沒做的檢查 PART 6 讀程式(上)→
BSC 腦空間體研究中心 · 專題課程 蕈狀體學 21 點 · 教材由 Claude Code 產生 · 回課程首頁