來(lái)源：少數(shù)派投資 作者：高浩銘

1、ChatGPT中的注意力機(jī)制

大家都知道，ChatGPT對(duì)理解語(yǔ)義的任務(wù)表現(xiàn)的非常出色，它是基于Transformer模型建立的。Transformer模型是谷歌在2017年《Attention is All You Need》一文提出的，這里的Attention，即注意力機(jī)制，則是Transformer模型的核心。沒(méi)錯(cuò)，“注意力”機(jī)制就是類(lèi)似于人類(lèi)生活中樸素的注意力。

從心理學(xué)的角度，人們?cè)趶?fù)雜環(huán)境中傾向于關(guān)注值得注意的點(diǎn)。比如科學(xué)家曾做過(guò)這樣的實(shí)驗(yàn)，當(dāng)人們看下圖時(shí)，注意力主要集中在紅色的區(qū)域，因?yàn)槿藗兊拇竽X已經(jīng)可以快速判斷哪個(gè)區(qū)域蘊(yùn)含的信息最多。

(資料圖片)

類(lèi)比于人類(lèi)的注意力，Transformer模型也懂得化繁為簡(jiǎn)，它在訓(xùn)練過(guò)程中通過(guò)對(duì)比接收到的問(wèn)題與全樣本所有問(wèn)題的關(guān)鍵特征，越相似的對(duì)結(jié)果的影響越大，即計(jì)算相似度加權(quán)獲得結(jié)果。

區(qū)別于傳統(tǒng)更強(qiáng)調(diào)時(shí)間序列的模型，它可以捕捉到長(zhǎng)時(shí)間跨度數(shù)據(jù)之間的關(guān)系。通過(guò)訓(xùn)練大量數(shù)據(jù)，Transformer模型可以提取關(guān)鍵信息和發(fā)現(xiàn)潛在模式，使得注意力朝著正確的方向發(fā)展。

應(yīng)用在投資領(lǐng)域，訓(xùn)練Transformer模型就好比讓它不斷地在模擬盤(pán)中摸爬滾打，循環(huán)往復(fù)，朝著更高的收益努力，它就可能從一開(kāi)始只關(guān)注價(jià)格，進(jìn)化為更關(guān)注量?jī)r(jià)關(guān)系，甚至是發(fā)現(xiàn)一些高勝率高賠率的交易信號(hào)，這種注意力的變化便是模型的關(guān)鍵。如果收益曲線還不錯(cuò)，就說(shuō)明模型的注意力關(guān)注到了重要的信息。

2、行為金融學(xué)中的有限注意力

介紹完Transformer模型中擬人化的注意力機(jī)制，我們?cè)倩氐狡瘘c(diǎn)——人類(lèi)的注意力。在金融市場(chǎng)中，投資者往往面臨著海量的信息，無(wú)論是紛繁復(fù)雜的技術(shù)指標(biāo)還是天花亂墜的產(chǎn)業(yè)邏輯，我們很難將所有的因素都考慮進(jìn)來(lái)。

因此，我們會(huì)依據(jù)自身經(jīng)驗(yàn)去篩選關(guān)鍵的信息，從而做出投資決策。行為金融學(xué)中的有限注意力理論關(guān)注過(guò)程中容易出現(xiàn)的偏差：投資者往往會(huì)關(guān)注那些更容易獲得、更顯眼的信息，而忽略其他重要但不易察覺(jué)的信息。這種選擇性關(guān)注導(dǎo)致了投資決策的偏誤，從而影響市場(chǎng)的有效性。

前一段時(shí)間TMT板塊大火，機(jī)構(gòu)討論度相當(dāng)高，專(zhuān)家們通過(guò)比較宏觀環(huán)境、事件催化與技術(shù)指標(biāo)，紛紛對(duì)標(biāo)起歷史上各段火爆行情，不僅對(duì)標(biāo)TMT板塊歷史上的行情，還有對(duì)標(biāo)其他成長(zhǎng)賽道初期的行情。在這個(gè)過(guò)程中，國(guó)外巨頭企業(yè)的事件驅(qū)動(dòng)、國(guó)內(nèi)更耳熟能詳?shù)钠髽I(yè)以及結(jié)構(gòu)化行情中的領(lǐng)漲股等等這些都足夠引人關(guān)注。我們更應(yīng)該在事前找到未來(lái)會(huì)被廣泛關(guān)注的機(jī)會(huì)，而不是被漲跌綁架，避免因注意力的有限產(chǎn)生非理性的行為偏差。

3、投資需要什么樣的注意力？

從定義上來(lái)看，Transform模型中的注意力機(jī)制與行為金融學(xué)中的注意力理論都涉及到“注意力”這一概念，但它們的本質(zhì)是不同的。舉個(gè)例子，如果讓Transformer模型與研究員同時(shí)參與TMT板塊的決策：Transformer模型是為了高收益的目標(biāo)，通過(guò)無(wú)數(shù)次模擬盤(pán)嘗試，調(diào)整對(duì)于行情的注意力，最后進(jìn)行決策——但是這個(gè)注意力究竟是什么樣的，我們不得而知；研究員是通過(guò)多年的學(xué)習(xí)與積累，建立起了自己的投資體系，決策前對(duì)于本輪行情的關(guān)注點(diǎn)是可知的——但對(duì)于是否能取得正收益很難給出具體的數(shù)據(jù)支持。

兩者的缺點(diǎn)都顯而易見(jiàn)，前者是：若ChatGPT真推薦一只股票（真實(shí)情況是它對(duì)于投資相關(guān)的問(wèn)題回答的非常理性），但無(wú)法給出具體的原因，你真的敢買(mǎi)嗎？而后者的問(wèn)題就容易在我們每一個(gè)投資者身上發(fā)生：我們的注意力容易被市場(chǎng)中太多信息干擾，尤其在行情火熱時(shí)，看似理性分析的注意力恰恰是非理性的情緒造成的。

主觀與量化相結(jié)合的體系則可以在一定程度上取長(zhǎng)補(bǔ)短。量化的回測(cè)方式避免了被漲跌綁架，造成先入為主的簡(jiǎn)單對(duì)標(biāo)邏輯。特別是對(duì)于剛剛接觸市場(chǎng)的投資者，沒(méi)有經(jīng)歷過(guò)的行情信息均可以被利用；對(duì)于經(jīng)歷過(guò)的行情，回測(cè)也可以進(jìn)行標(biāo)準(zhǔn)化檢驗(yàn)，避免了記憶偏差與幸存者效應(yīng)。它給予你的指導(dǎo)是可回溯、可迭代的。

在主觀的注意力機(jī)制中，人們的創(chuàng)造力又可以提供給量化模型更多“所見(jiàn)即所得”的策略，而不僅限于黑盒中的數(shù)據(jù)拷問(wèn)。比如說(shuō)，這輪由國(guó)外新技術(shù)推動(dòng)的行情很容易讓大家聯(lián)想到之前的“云宇宙”、“機(jī)器人”等，那么這里的信息顯然不是股價(jià)走勢(shì)那么簡(jiǎn)單，如果僅僅讓模型在量?jī)r(jià)關(guān)系中訓(xùn)練，是無(wú)法獲得這個(gè)在大多人眼中“顯而易見(jiàn)”的觀點(diǎn)的。畢竟語(yǔ)義理解技術(shù)再先進(jìn)，GPT4也是從已有的語(yǔ)料庫(kù)中訓(xùn)練得到，邏輯思考能力依舊有待提升，而靈光乍現(xiàn)的創(chuàng)造力或許能注入新的活力。

盡管Transformer模型中的注意力與行為金融學(xué)中的注意力有所不同，但它們?cè)诮鹑陬I(lǐng)域存在一定的聯(lián)系，可以相互借鑒和結(jié)合，從而在市場(chǎng)猶豫時(shí)把握分歧的機(jī)會(huì)，在市場(chǎng)狂熱時(shí)做出更理性的決策。

編輯/lambor