蕈狀體:學習規則走一遍 第 3 步/5
第 1 手輸了之後的一次學習:72 顆亮的 KC、每顆 MBON 收到的多巴胺、MBON 活動與它減少的量 第 3 步 削弱 第 1 手:硬 20 對莊家 8 選了要牌 → 抽到 6 爆牌 → 輸一注 → 懲罰強度 0.5 KC 1,200 顆 收到的多巴胺 MBON 活動 97 顆 活動減少的量 ×50 好惡值 亮的 72 顆=「硬 20 對 8 配要牌」的代碼(圖 2 第 3 步) 上面 56 顆:標記 +1(趨近型) 下面 41 顆:標記 −1(迴避型) 全部 18,183 條連結 各往 1 拉回一點: 0.00005 × (1 − 增益) 增益還是 1 的:不變 剛被削到 0.975 的: 拉回約 0.0000013 學之前 → 學之後 要牌 0.2432 → 0.2245 停牌 0.1681 → 0.1636 加倍 0.0185 → 0.0138 要牌仍最高 KC 每顆一點、MBON 每顆一條,全部畫出。線:每顆亮的 KC 只畫它推得最用力的那一條。最右欄放大 50 倍,原尺寸看不出來。

按「下一步 →」開始。五步走完第 1 手輸了之後的一次學習:硬 20 對莊家 8 選了要牌、爆牌輸一注。

  1. 第 1 步 一手結束,重新呈現。這手輸了。把這手唯一的決定「硬 20 對 8 配要牌」再送進蕈狀體一次:亮的還是圖 2 那 72 顆 KC,MBON 活動也和當時一樣。
  2. 第 2 步 送懲罰多巴胺。輸一注,懲罰強度 0.5。每顆 MBON 收到 0.5 × 它的「來自 PPL1 的比例」:94 顆收到、3 顆是 0;送出的多巴胺總量有 97% 落在上面的趨近型。
  3. 第 3 步 削弱。上面式子的第一行:亮的 KC 通往「收到多巴胺的 MBON」的連結,增益減掉 0.05 × KC 活動 × 多巴胺。這次動到 923 條,最多從 1 減到 0.975;其餘連結不動。下次再送同一個牌面,MBON 活動會變小,最右欄是少掉的量(放大 50 倍)。細節在下面。
  4. 第 4 步 回復。式子的第二行:所有連結都往 1 拉回一點。增益還是 1 的不變;剛被削弱的只拉回百萬分之一左右,這一次看不出來,要累積很多次呈現才有作用。
  5. 第 5 步 好惡值變了。被削弱的多半是趨近型(加分),所以要牌的好惡值從 0.2432 降到 0.2245。停牌、加倍也降了一點(0.1681 → 0.1636、0.0185 → 0.0138),因為它們的代碼和要牌共用十幾顆 KC。要牌仍最高,細節在下面。

數字出處:打牌種子 0 第 1 手輸了之後的那次學習,由 scripts/learn_anim_data.py 呼叫作者的 FlyPlayer.outcome(flybrain/mb/blackjack.py)算出,存在 out/blackjack/learn_anim_data.json;圖由 scripts/make_learn_anim.py 產生。說明全文:https://marginli.github.io/bsc-flyblackjack/part1-what.html