topics / t-timing-rules.md

先後與間隔:氣味和多巴胺的時序如何決定學到什麼

同一個氣味、同一次懲罰,只差誰先誰後、隔多久,果蠅學到的東西就不一樣。本庫五篇論文直接在不同的時間尺度上量這條規則,量法與起算點都不同,而它們對「懲罰比氣味先到」的結果說法不一。

想像一個門鈴。門鈴響完幾秒,總是有人來敲門討債,你很快就會一聽到門鈴就緊張。如果討債的人總是先敲門、走了以後門鈴才響,門鈴就不再預告壞事,反而像是「危險解除」的信號。動物的學習也是這樣:一個線索有沒有意義、是什麼意義,取決於它和好壞結果的先後。心理學把這種學習叫古典制約(classical conditioning),線索叫條件刺激(conditioned stimulus, CS),好壞結果叫非條件刺激(unconditioned stimulus, US),也常統稱「增強訊號」(reinforcement)。

在果蠅身上,氣味是線索。懲罰或獎賞的訊號,由多巴胺神經元(dopaminergic neuron, DAN)以多巴胺這種化學物質送進蘑菇體(mushroom body)。蘑菇體裡的 Kenyon 細胞(Kenyon cell, KC)代表氣味:每種氣味只活化其中一小群。KC 把訊號交給輸出神經元(MB output neuron, MBON),MBON 再推動果蠅靠近或走開。KC 與 MBON 之間的接點叫突觸(synapse),學習改變的就是這些接點的強弱。

讀這一頁需要的幾個詞

Handler 2019 寫的「PPL」和這裡的「PPL1」是不是同一群,Handler 自己沒說;本庫另一篇(Felsenberg 2017)用同一個 MB504B 品系,稱它標的是 PPL1,所以大致可當成同一群(syn-contradictions 4.4)。
- 時間差: 增強訊號比氣味晚幾秒記為正(+),早幾秒記為負(−)。「多巴胺早 1.2 秒」即時間差 −1.2 秒。
- 區室(compartment): KC 的軸突(往外送訊號的長纖維)成束排成幾條「葉」,葉沿長度被切成一格一格。每一格由一型多巴胺神經元支配、由一型輸出神經元讀取,名字取自它在哪條葉的第幾格,例如 γ1pedc、γ4、α2。一格的突觸改變,不一定代表另一格也會這樣改。
- 突觸變強或變弱對行為的意義: 這一條把「突觸」接到「行為」,後文反覆用到。輸出神經元的放電少了,通常是因為它從 KC 收到的訊號少了,也就是突觸變弱。意義取決於那一格的輸出神經元推動什麼。本頁把果蠅的行為一律寫成「靠近/愛追」(論文稱趨近)或「走開/躲開」(論文稱迴避)。論文引用的先前研究指出,γ1pedc 的輸出神經元推動「靠近」,γ4 的推動「走開」。整理成表:

格 輸出神經元推動 突觸對某氣味變弱 突觸對某氣味變強
γ1pedc(Handler 2019 舉的 γ2 也屬這一類) 靠近 比較不靠近=學會躲開 更靠近=學會喜歡
γ4 走開 比較不走開=學會喜歡 更想走開=學會躲開
- 分數的正負號: 行為實驗用一個分數表示果蠅偏向哪個氣味,各篇的正負號約定不同(見 c-performance-index)。本頁一律把分數翻成「躲開」或「喜歡」來講,括號裡附上原論文的數值。
- ※ 推論: 本庫的標記,表示這一句是本庫依據論文內容推出來的,論文沒有明說。

所以這條線最後要回答的是:多巴胺抵達 KC 的那一刻,KC 是剛被氣味活化、正被活化、還是還沒被活化,這三種情況會不會讓 KC→MBON 的突觸往不同方向改?

幾個時間尺度,幾種量法

這幾篇論文看的不是同一個時間尺度,而且量的東西不同。

數十秒:行為。 兩篇在這個尺度上量行為,量法差很多。

紅光相對氣味 時間差 結果
晚 0 到 20 秒開始 0 到 +20 秒 學會躲開,最強約 −0.45
晚 30 或 60 秒 +30、+60 秒 學不到
早 10 秒(光剛結束,氣味才來) −10 秒 學不到
早 20 到 60 秒 −20 到 −60 秒 學會喜歡,約 +0.12 到 +0.15,幅度約為躲開的三分之一
早 90 秒 −90 秒 學不到
作者的解釋是:氣味出現在壞事之後,預告的是「壞事結束了」,所以變成好消息。這篇只量行為,沒有量任何神經元。

數秒:KC 裡的化學訊號。 Tomchik 2009 也在取出的整顆腦上做實驗(c-ex-vivo-explant)。KC 接收嗅覺訊號時用的是乙醯膽鹼(acetylcholine)這種化學物質,所以作者用玻璃管滴乙醯膽鹼來模擬氣味,滴多巴胺來模擬懲罰。他們量 KC 軸突裡的 cAMP,這是一種把外界訊號傳進細胞內的小分子,被認為是啟動記憶的訊號之一。他們問的不是 cAMP 升多少,而是兩者配對時,cAMP 的上升是否超過兩者分開給時的總和。超過的部分稱為「協同」,代表 KC 偵測到兩個訊號湊在一起(見 c-coincidence-detection)。乙醯膽鹼先、多巴胺晚 1 秒或 15 秒,配對的上升量都約為總和的 1.5 倍;晚 30 秒,沒有協同;多巴胺先 15 秒,也沒有(配對與總和的差別在統計上不顯著,p = 0.14)。作者據此主張,KC 裡一個由 rutabaga 基因製造的酵素,就是負責偵測巧合的分子;這個酵素的工作正是製造 cAMP。作者也主張,這個協同出現的時間窗與行為的時間窗相似。

一秒上下:突觸本身。 另三篇直接量 KC→MBON 的突觸。它們的時序實驗都不用真的電擊或糖,而是直接活化多巴胺神經元來代替。一種方法是上面說的紅光(光遺傳學,optogenetics)。另一種是化學方法:讓多巴胺神經元帶上一種遇到 ATP 就打開的通道(P2X2,e-p2x2),再滴 ATP。

Cohn 2015 與 Handler 2019 對「沒有和氣味湊在一起的多巴胺」給出不同的圖像:相隔超過 45 秒仍讓突觸變強,相隔 6 秒卻幾乎沒有作用。矛盾點在於:兩篇的間隔沒有重疊(6 秒與 45 秒以上),單看數字可以都對;但若「沒和 KC 同時出現的多巴胺會讓突觸變強」是一般規則,相隔 6 秒時也應看到變強,Handler 卻幾乎看不到。兩篇條件相近,這個差別本庫列為等人裁決的矛盾,見 syn-contradictions 1.3。

如果只把 Tomchik 2009 與 Handler 2019 並排,很容易得到一個簡單的圖像:決定學不學得到的時間窗以數十秒計(看行為),決定往哪個方向學的時間窗以一秒計(看突觸)。加進另兩篇之後,這個二分法只對那兩組條件成立。 Tomchik 的行為窗以數十秒計,但它的倒序組沒學到,看不到方向翻轉;Handler 的方向翻轉發生在突觸上,在一秒之內。Aso 2016 卻在行為上看到方向本身也在數十秒的尺度上翻轉:光晚 0 到 20 秒是躲開,光早 20 到 60 秒是喜歡。Cohn 2015 則在突觸上看到,多巴胺與 KC 刺激相隔超過 45 秒仍有作用。所以時間窗多長,要看是哪一型多巴胺神經元、哪一種量法、什麼刺激長度。沒有一篇在同一套條件下,把行為窗與突觸窗一起從一秒量到數十秒。

訓練之後的一小時:另一種時間問題。 上面講的都是訓練當下,氣味與多巴胺之間隔多久。s-ichinose-2015-reward-recurrent-circuit 問的是訓練之後:果蠅在 T 迷宮裡學會把氣味和糖連在一起之後,記憶要經過鞏固(consolidation,把剛形成的記憶轉成穩定記憶的過程,見 c-memory-consolidation)才會留到隔天。作者用一種升溫時會阻斷神經元輸出的工具(e-shibire-ts),在訓練一結束就關掉管 α1 格的獎賞型多巴胺神經元 PAM-α1、α1 格的輸出神經元 MBON-α1,或軸突經過 α1 的那一類 KC,關 1 小時,24 小時後的記憶就變差;等到訓練後 22 小時才關 1 小時,就沒有影響。放在這裡,是為了提醒「時間窗」至少有兩種:配對當下的間隔,以及訓練後記憶還能被干擾多久。兩者是不同的問題,後者的細節屬於另外兩條主題:t-memory-updating 與 t-mbon-dan-feedback。

起算點不同,時間窗不能直接比

各篇的「間隔」從不同的時刻算起,這是讀這條線最容易出錯的地方。

論文說兩者「相似」,在定性上成立,在定量上要附條件。
- Handler 2019 只看起點。 它的時間差是兩個刺激「開始時刻」的差,不管各自持續多久。它另有一種閉迴路實驗:果蠅在一顆可轉動的球上走,研究者同時記錄行為與腦中訊號。這個實驗的氣味給 10 秒,在最後 1 秒打光,所以順向配對的時間差記為 +9 秒,比離體實驗中「幾乎無效」的 +6 秒還長,卻照樣有效。※ 推論:原因是打光時氣味還在,而離體實驗的 KC 刺激只有 0.5 秒,+6 秒時早已結束。這表示「只看起點」的時間差,在刺激長短不同的實驗之間不能直接比。
- Aso 2016 也只看起點,而且起點本身有幾秒的不確定。 它的時間差是「紅光開始」減「氣味開始」,而氣味與光各持續 10 秒。所以「早 10 秒」那一點,三下光剛好在氣味到達前結束,兩者沒有重疊;「早 20 秒」以上,光結束後還要再等 10 秒以上氣味才來。另外,閥門打開後約 2 秒氣味才到達競技場邊緣、再約 3 秒才充滿,論文沒說時間差的零點是閥門打開還是氣味到達(※ 推論:若是閥門打開,果蠅實際聞到氣味的時刻要晚幾秒,這對時間差接近 0 的幾點影響最大)。
- Hige 2015 的光有一半落在氣味之外。 4 下光的時刻是氣味開始後 0.2、0.7、1.2、1.7 秒,而氣味只給 1 秒,所以後兩下在氣味結束之後。論文沒有討論這兩下是否也有作用。
- Cohn 2015 只給「相隔不到 0.5 秒」與「相隔超過 45 秒」兩種分類。「配對」時誰先,正文沒有用數字寫明,只有示意圖畫成多巴胺神經元的活化落在 KC 刺激期間、KC 先開始;主文也沒有寫出每次滴 ATP 持續多久,所以它的多巴胺刺激與 Handler 2019 的強弱無法比較。

所以「某篇的時間窗是 X 秒」這種句子,必須附上它從哪一刻算起。細節見 c-cs-us-timing。

懲罰先到:沒學到,還是學到相反?

這是這幾篇之間最尖銳的分歧,本庫列為等人裁決的矛盾,見 syn-contradictions 1.1。

逆向配對的結果
Hige 2015,γ1pedc 突觸 光比氣味早 2.0 到 0.5 秒:完全不變。摘要據此寫「可塑性嚴格依賴時間順序」
Aso 2016,行為,只活化 PPL1-γ1pedc 光早 10 秒:學不到。光早 20 到 60 秒:果蠅學會喜歡該氣味(約 +0.12 到 +0.15)。光早 90 秒:學不到
Handler 2019,γ4 突觸 多巴胺早 1.2 秒時變強
Handler 2019,行為,活化 PAM(獎賞那一群) 果蠅比較不追該氣味。※ 推論:這與 γ4 突觸在 −1.2 秒變強的方向一致(γ4 推動走開,變強就更想走開);但行為的時間差是 −2 秒,突觸在 −2 秒沒有量過
Handler 2019,行為,活化 PPL(懲罰那一群) 果蠅反而更愛追該氣味:懲罰訊號先到,卻讓果蠅喜歡這個氣味(推理見表下)
Tomchik 2009,行為 接近沒學到

Handler 2019 的兩列行為結果,可以照同一條規則一步步推:

  1. 順向配對讓那一格的突觸變弱,逆向配對讓它變強。
  2. PAM 管 γ4,γ4 推動走開。順向時 γ4 變弱,走開的力量小了,果蠅更愛追;逆向時 γ4 變強,果蠅比較不追。所以獎賞訊號在順向時讓果蠅喜歡這個氣味,在逆向時反而讓果蠅不喜歡。
  3. PPL 不管 γ4,管的是推動靠近的那幾格(Handler 2019 只說它的 PPL 品系支配六個區室,沒有列出是哪六個;它在一般性的說明裡舉 γ2 作為推動靠近的格)。順向時那幾格變弱,靠近的力量小了,果蠅不想追;逆向時變強,果蠅更愛追。

所以 PAM 與 PPL 在行為上的效果方向相反,不是因為規則不同,而是因為兩者管的格推動相反的行為(γ4 推動走開、γ2 推動靠近);突觸本身的規則都是「順向變弱、逆向變強」。這是 Handler 2019 的推理,PPL 這一側的突觸它沒有直接量。

所以 Handler 2019 的逆向配對不是「沒學到」,而是「學到與順向相反的東西」。

這些結果不一定互相否定,因為條件差很多。Hige 2015 量的是 γ1pedc 格、活體、輸出神經元的放電;Handler 2019 量的是 γ4 格、取出的腦、輸出神經元的螢光訊號,而且活化的是 PAM 而不是 PPL1。兩者的逆向時間差其實有重疊:Hige 的 4 下光分布在氣味前 2.0 到 0.5 秒之間,涵蓋了 Handler 顯著變強的 −1.2 秒。※ 推論:所以單靠「時間差不同」解釋不了這兩篇的差異,格與多巴胺神經元群的不同是較可能的原因;但兩篇都沒有在對方的格上做實驗,這只是推論。Tomchik 2009 的倒序組,電擊長達 60 秒、與氣味重疊約 15 秒,已經不是單純的「先電後聞」,不能拿來直接比。

Aso 2016 讓這張表更複雜,但沒有解決它。 先講結論:它和兩邊都部分相符,所以無法用來判定誰對。

※ 推論:若 γ1pedc 確實有逆向變強的窗,它可能落在比 Hige 測的 2 秒更早的時候;那麼 Hige 與 Handler 的差別,可能同時來自格的不同與時間窗的不同。這沒有被測過,矛盾 1.1 維持未裁決。

為什麼方向會翻轉

Handler 2019 給了一個分子層級的答案:KC 軸突上有兩種多巴胺受體(e-dopamine-receptor)。一種製造 cAMP,推動突觸變弱;另一種讓細胞內的鈣倉庫放出鈣,推動突觸變強;而放鈣只在多巴胺先到時才發生。這部分屬於另一條主題,見 t-dopamine-to-plasticity。

和本頁有關的是兩篇對 cAMP 的不同說法,它們量的東西不同:

※ 推論:兩者可以同時成立。cAMP 在任何順序下都會上升(Handler),但只有順向時上升得比預期多(Tomchik)。若是如此,cAMP 的「量」帶有一點先後資訊,只是不足以單獨決定方向。這個推論沒有被測過,本庫列為待裁決,見 syn-contradictions 1.2。

這條線卡在哪

目前能說的只有兩點: 順向配對(氣味先、多巴胺後、間隔在幾秒內)讓那一格的突觸變弱,量過突觸的三篇都看到(Cohn 2015 附上述條件);多巴胺先到時會怎樣、時間窗多長,各篇依條件給出不同答案,沒有定論。

最容易被誤讀的一點:幾篇論文的措辭都比資料強。

這幾句話的方向都對,只是不是被直接量到的精度。

沒有人處理的缺口:

相關

被 35 頁連結
cAMP 訊號(cAMP signaling) 巧合偵測(coincidence detection) 制約刺激與非制約刺激的時序(CS–US timing) KC→MBON 突觸可塑性(KC-MBON synaptic plasticity) 蘑菇體區室(MB compartment) 表現指數(performance index, P.I.) 以人工活化取代非制約刺激(US substitution) CsChrimson(紅光活化通道) KC 上的多巴胺受體(dopamine receptors DopR1/DopR2) 多巴胺神經元(dopaminergic neuron, DAN) Epac 系 cAMP 感測器(Epac-based cAMP sensor) Kenyon 細胞(Kenyon cell, KC) MB504B 驅動品系(MB504B split-GAL4) 蘑菇體輸出神經元(mushroom body output neuron, MBON) γ4 輸出神經元(γ4 MBON) 蘑菇體(mushroom body) 四象限光遺傳嗅覺競技場(optogenetic olfactory arena) ATP 門控通道 P2X2(化學活化,chemogenetic activation) PPL1-γ1pedc 多巴胺神經元(PPL1-γ1pedc, MB-MP1) T 迷宮(T-maze) 索引 日誌 Aso 2016 · dan cell type rules Cohn 2015 · coordinated neuromodulation Felsenberg 2017 · re evaluation Felsenberg 2018 · memory extinction Handler 2019 · dopamine receptor timing Hige 2015 · heterosynaptic plasticity Ichinose 2015 · reward recurrent circuit Tomchik 2009 · camp dynamics 更新履歷 矛盾、未解問題與本庫自身的不確定性 從多巴胺到突觸改變:KC 軸突怎麼讀出增強訊號 輸出神經元回頭指揮多巴胺神經元:MBON→DAN 回饋迴路 記憶怎麼被改寫:消退、再鞏固與新舊記憶並存