理大研究：訓練AI大語言模型有助模仿人腦理解語言

【點新聞報道】隨着生成式人工智能（GenAI）革新了社會互動方式，運用深度學習演算法訓練GenAI的大語言模型亦受到關注。香港理工大學（理大）最近的一項研究發現，如果以人類處理語言的類似方式進行訓練，大語言模型理解語言的表現就更像人類腦部，這對腦科學研究和人工智能模式開發帶來啟發。

現有的大語言模型主要依賴於上下文單詞預測單一類型的預訓練，然而，人類平時理解語言時不僅只會預測下一個單詞，還會整合自然語言理解中的高層次信息。理大人文學院院長兼冼為堅基金人文與科技講座教授李平教授領導的研究團隊，將模擬人腦評估句子之連貫性的「下一句子預測」（Next Sentence Prediction，NSP）納入模型預訓練，並檢驗模型數據與腦活動的相關性。研究最近刊登在國際科學期刊《Science Advances》。

研究發現NSP能夠強化大語言模型的能力。NSP用來預測前後句子怎樣互相關聯，與人類語義理解的神經模型非常吻合。研究結果亦提供了新見解，了解我們大腦如何加工語義，包括右腦在理解語義中的重要作用；例如，更多右腦區域與增強模型的一致性更高。其他發現亦顯示大語言模型納入NSP的優勢，即基於增強模型的「模型-腦對應」分數可以更好地預測人的閱讀速度。

近期如ChatGPT的大語言模型主要通過無限擴充訓練資料和模型規模來提升它們的能力。李平表示：「我們的研究發現，像NSP這類多樣化的學習任務可以改進大語言模型的人性化水準，使其更加接近人類智慧。」他補充指，此項研究還可以促進人工智能和認知神經科學領域研究人員之間的互動與合作，並藉此推動未來以人工智能為導向的大腦研究以及受人腦啟發的人工智能研究。