PART 5
把重現時的三萬手錄成影片:牌桌、Kenyon 細胞與輸出神經元的活動、多巴胺、學習曲線與策略表逐手對齊;把 PART 1 的機制與 PART 3 的結果直接在畫面上找出來
先說前提:打牌的不是真果蠅,是一個電腦模型。它從一隻雄果蠅的連結體(connectome:腦裡每一顆神經元連到哪些神經元、各有幾個突觸的完整清單;突觸是兩顆神經元之間的接點,模型裡就是一條有強弱的連結,「削弱突觸」和「削弱連結」講的是同一件事)切出蕈狀體(果蠅形成氣味記憶的那塊腦區)的接線,把每一手的牌面與候選動作編成「氣味」送進去,贏了讓報獎賞的那群多巴胺神經元放出多巴胺、輸了讓報懲罰的那群放(果蠅腦裡有兩群多巴胺神經元,一群報好事、一群報壞事),讓它用學氣味好壞的方式學 21 點(PART 1)。這個模型是一個公開專案 fly-blackjack 的作者寫的;本課在自己的電腦上重跑它、對照作者的數字,叫「重現」;重現分三步做,打 21 點那一步的代號是 BJ2(PART 3 第 4 節)。
21 點沒有遊戲畫面,影片是從逐手紀錄畫出來的。影片裡會標「隨機探索」、會畫好惡值長條,所以先認識幾個詞:種子是程式裡「隨機」的起始數字,決定洗牌順序與所有亂數,同一個種子就是同一副牌;好惡值是蕈狀體對「這個牌面配這個動作」想靠近還是想躲的分數(趨近型與迴避型輸出神經元哪邊比較強);選動作只比三個動作的值誰最大,絕對大小和正負本身不代表做不做,三個都是負的也照樣選最高的那個;隨機探索是每做一個決定都有一定機率不看好惡值、亂選一個動作(要牌=再抽一張、停牌=不抽了、加倍=賭注加倍只再抽一張,規則見下面「先認識 21 點的幾個詞」)。為什麼需要它:只有選過的動作才會在一手結束後被學到,沒被選的動作學不到自己的結果。不探索的蕈狀體也會換動作,但只能等目前選的那個被學到比別的低才換(學習只會削弱連結,輸了削弱的是趨近型輸出神經元的輸入(輸入=從 Kenyon 細胞連過來的那些連結),這個動作的好惡值變低;贏了削弱的是迴避型的輸入,好惡值反而上升;輸出神經元見第 2 節,第 3 節第 1 手與第 6 手會看到)。一個起步偏好要牌的蕈狀體,在那之前從沒停牌過,停牌的好惡值還是起始值,不是從輸贏學來的;換成停牌之後,輪到要牌不再被試。探索讓每個動作從一開始就有機會被試、被學,好惡值的高低才是比過輸贏的結果。這個機率從 35% 起逐手平滑下降,愈降愈慢,下限是作者設的 3%(愈打愈接近、不會低於它):3,000 手時約 19%、6,000 手時約 11%,打到 30,000 手時約 3.03%;一致率是 260 種牌面裡蕈狀體的選擇與「基本策略」相同的比例,基本策略是賭場數學算出來、公開的一張最佳打法表(下面「先認識 21 點的幾個詞」會再講)。
本課把 BJ2 那一步用種子 0 重跑一次(選種子 0 不是挑過的:它是 BJ2 重現的第一個種子,作者的大腦檔標的也是種子 0。但事後看,它是 PART 4 跑的 20 個種子(結果整理在 PART 1 第 5 節)裡學完要牌最少的一個,只剩 6 格,最接近永遠停牌;別的種子學完要牌從 12 格到 111 格都有,所以這裡看到的翻面方向是共同的,翻到多徹底則不是典型,看要牌格數時要記得這一點),每一手多記下四樣東西:牌面、三個候選動作(要牌、停牌、加倍)的好惡值、選了什麼與是不是隨機探索、以及 Kenyon 細胞與輸出神經元(蕈狀體裡的兩種神經元,第 2 節會講)的活動。這份紀錄和 BJ2 的結果以每 2,000 手為單位核對過:15 個區塊的平均輸贏與一致率完全相同。然後用它畫成影片,三種大腦各一支:連結體 + 多巴胺(完整模型:接線照連結體,多巴胺照常送到)、切斷多巴胺(多巴胺神經元照常放電(放電=神經元送出訊號),但到輸出神經元的連結被設成 0,所以學不到;照常隨機探索,比例照樣從 35% 降到 3%)、未訓練(從頭到尾選好惡值最高的動作,不探索、不學習;結果出來時不送多巴胺,畫面上寫「不學習:沒有多巴胺回饋」)。後兩支是對照:切斷多巴胺排除「光靠亂選的比例下降就會進步」(它的亂選比例照樣從 35% 降到 3%,第一個 2,000 手 −0.393,最後一個 −0.439,沒有進步;兩個數都是 2,000 手的平均,各帶約 ±0.05 的誤差(第 3 節),差距分不出來,算是沒有可分辨的變化。−0.393 比亂選和未訓練都好,是種子 0 頭 2,000 手特別好,原因本課沒查,PART 3 第 4 節),未訓練排除「沒學過的蕈狀體本來就會打」;完整模型多出來的成績才能歸給多巴胺驅動的學習。三支影片的第 1 手完全相同——同一個種子、同一副牌、同一個還沒學過任何東西的蕈狀體,而且這一手三支都沒有亂選——之後的牌怎麼發:三支用同一串牌、依序往下發,哪一支在某一手多拿或少拿一張,後面的牌就整串錯開(第 2 手拿到硬 14 對明牌 2 時,三支的好惡值都是停牌最高;未訓練那支不探索,照好惡值停牌;另兩支在這一步都擲中了隨機探索、抽到要牌(兩支探索用的亂數來自同一個種子,所以擲的結果一樣),多拿一張爆牌。未訓練少要這一張,第 2、3 手就和另兩支不同);錯開的張數剛好補回來時又會對齊(第 4 到 6 手三支又相同);打到後面,三支的牌早就各不相同。
每支影片約一分鐘:開頭 6 手和最後 6 手慢速逐步播七個步驟:發牌、三個候選動作各「聞」一次、選擇、抽牌、莊家翻牌、結果、多巴胺;中間 29,988 手快轉 18 秒。「聞一次」的意思:模型把「目前牌面 + 是不是這手的第一個決定(只拿兩張牌時)+ 候選動作」編成一組氣味訊號,由投射神經元 PN 送進蕈狀體(代表牌面那部分的 PN 加代表動作那部分的 PN 拼成),就像果蠅聞一種氣味;同一手牌配要牌、停牌、加倍是三種不同的氣味,所以各聞一次、各得一個好惡值。畫面上每個數字都來自紀錄,網頁播放時只是重播,不會在瀏覽器裡重新模擬。
(以下是給想查證數字的人看的出處:檔名與程式名,不讀也不影響理解。)逐手紀錄由課程程式資料夾(repo)以外的 fly_play_game/demo/record_bj.py 產生、render_bj.py 畫成影片;本頁引用的手牌與數字收在 out/bj_demo_summary.json,播放台用的逐格資料在 assets/demo/data.json(與 out/demo_data.json 同一份)。
沒玩過 21 點的話,先看播放台下面的「先認識 21 點的幾個詞」:硬手、軟手、明牌、加倍這些詞,播放時一開始就會出現。
簡報要演示的話:播放台單獨頁只有播放台,版面配合 16:9 投影片,功能和下面這個一樣,可以用 PowerPoint 的網頁增益集嵌進投影片(要能上網);不能上網時用離線包(約 14 MB,解壓縮後用瀏覽器開裡面的 player.html)。網址後面加 ?b=bj_nodopa&h=6 可以指定一開始播哪個條件(bj_fly、bj_nodopa、bj_untrained)、從第幾手開始。
先認識 21 點的幾個詞。本課用的是簡化規則:玩家與莊家各拿兩張,莊家只亮一張(明牌);玩家可以要牌(再抽一張)、停牌(不抽了)、或在前兩張時加倍(賭注加倍、只再抽一張就停);點數超過 21 叫爆牌,直接輸。J、Q、K 算 10 點。玩家停牌後莊家翻牌、抽到 17 點以上停手;雙方都沒爆時點數高的贏、一樣是平手,莊家爆牌玩家就贏;贏輸各一注,前兩張就 21 點(黑傑克)贏 1.5 注。A 可以算 1 或 11:手裡有 A 算成 11 點而沒爆的叫軟手(爆了就把 A 改算 1,所以再抽一張也不會爆),其餘叫硬手;「硬 20 對 8」就是硬手 20 點、莊家明牌 8。輸贏以注計:平常一手輸贏 1 注,加倍後 2 注;和莊家同點數是平手,0 注,不送任何多巴胺、這一手不學。基本策略是賭場數學算出來、公開的一張表:26 種手牌(硬 5 到 21 點 17 種、軟 13 到 21 點 9 種)× 10 種明牌(2 到 10 與 A;J、Q、K 都算 10)共 260 格(兩張 2 是硬 4、兩張 A 是軟 12,模型照樣會打,只是作者的表沒列這兩種),每格寫明該要牌、停牌還是加倍(PART 1 第 5 節)。
影片的四個面板,一、左邊的牌桌。莊家與果蠅的牌、三個候選動作的好惡值長條(只在前兩張時有「加倍」),框起來的是選中的那個,「隨機探索」表示這個決定沒看好惡值、亂選的(探索是每個決定各擲一次,一手有兩個決定時可能只有一個是亂選);結果列寫輸贏,以及這手送的是獎賞還是懲罰。
二、右上的蕈狀體。1,200 顆 Kenyon 細胞(KC,把每種氣味編成一組「亮」的細胞)排成 40 × 30 的格子(位置只是編號順序,不是解剖位置),亮的是這個「牌面+動作」活化的 72 顆(模型設定每種氣味固定只留最活躍的 6%,1,200 × 6% = 72,哪 72 顆由氣味決定)。亮的 72 顆 KC 各自沿著連結體量到的接線連到下面的輸出神經元,97 顆輸出神經元(MBON)的活動量就是從這些連結加過來的;換一種牌面就換 72 顆、走的連結不同,MBON 的活動也就不同。但不同牌面配同一個動作,共用「動作」那組 PN,亮的 KC 也會大量重疊(例如硬 14 和硬 15 配要牌、對明牌 8,72 顆裡共用 49 顆),所以削弱一個牌面的「要牌」,也會削到別的牌面的「要牌」:學到的有一部分是「要牌整體變差」,不是逐格各學各的。MBON 分趨近型 56 顆(藍)、迴避型 41 顆(琥珀),亮度是活動量;所有藍色的活動量加總、減掉所有琥珀色的加總,就是好惡值。學習改的就是 KC 到 MBON 這些連結的強弱。下方 332 顆多巴胺神經元在結果出來時閃一次:贏是獎賞群(PAM 316 顆,綠),輸是懲罰群(PPL1 16 顆,紅);強度看輸贏幾注:1 注是 0.5,加倍後的 2 注是 1.0,黑傑克的 1.5 注是 0.75。「切斷多巴胺」那支影片在標著「減弱 KC→MBON 突觸」的箭頭上畫紅叉,旁邊寫「切斷:多巴胺到不了輸出神經元」:多巴胺神經元照樣閃,但訊號到不了輸出神經元,所以 KC→MBON 的連結不會被削弱。
三、右下左邊的曲線。每手平均輸贏(以一注為單位,−0.15 就是平均每手輸 0.15 注):線是最近 1,000 手的滑動平均(每一點只取它之前 1,000 手的平均,更早的手一路被丟掉,所以反映的是「最近打得怎樣」),點是每 2,000 手的平均,三條虛線是三種固定打法的平均,由作者程式裡的參考打法在 BJ2 那次執行一起算出,各打 20,000 手(作者寫死的手數;20,000 手的平均,95% 信賴區間約 ±0.014 到 ±0.018 注;95% 信賴區間:同樣的打法換一副牌重打,平均大概會落在這個範圍內):照基本策略打 −0.014、永遠停牌 −0.158、隨機出牌 −0.445。
四、右下右邊的 260 格策略表。橫是莊家明牌(2 到 A)、直是手上點數(上面 17 列是硬手 5 到 21,下面 9 列是軟手 13 到 21,列名標著「硬」「軟」),每格的顏色是蕈狀體現在會選的動作(三個好惡值裡最高的那個,不含隨機探索),格中的點表示與基本策略相同;表每 200 手更新一次,算法是拿當時的連結把 260 種牌面各算一次三個好惡值、取最高的,不打牌、不觸發學習,所以看表不會改變模型。每一格都當成「手上只有發的兩張、第一個決定」來算,所以三個動作都比(作者算一致率也是這樣);其中硬 21 不可能只用兩張湊出,軟 21 在前兩張就是黑傑克、直接結算,這兩列的「前兩張」氣味在打牌時從不出現;但要牌補到 21 點之後模型還要再決定一次(第 3 節第 6 手就有一次:硬 21 停牌),那個氣味和評分格只差「是不是前兩張」一項,學到的會直接帶過來。手上三張以上時的決定是另一種氣味(「前兩張」那個特徵不同),不在表上。
影片旁的讀數。與影片逐格同步。「候選好惡」三個數字就是影片裡三條長條的值;「策略表」那一行是 260 格裡與基本策略相同的比例。下方的曲線是從第 1 手起的累積平均(前 20 手不畫,因為只有幾手時平均會大幅跳動,加倍時一手就可能是 ±2),和影片裡的 1,000 手滑動平均是兩種算法,數字不會一樣。
四個檢查點的牌面、好惡值、策略表格數與每 2,000 手平均都在 out/bj_demo_summary.json(各條件開頭與結尾各 6 手的紀錄、打完 0/2,000/30,000 手時的 260 格統計、2,000 手到 30,000 手之間換了動作的格數 cells_changed_2000_to_30000、基本策略表各動作的格數);硬 14 與硬 15 共用的 KC 數、2,000 手區塊的誤差在 out/blackjack/part1_extras.json(scripts/part1_extras.py);三條虛線的信賴區間在 out/blackjack/reference_margin.json(scripts/reference_margin.py),進步拆成兩部分的粗估在 out/blackjack/part5_progress_split.json;每 2,000 手平均與 out/blackjack/bj2_blackjack_30000.json 種子 0 的 blocks 相同。