(資料圖片僅供參考)

科技日報(bào)記者 付麗麗

近年來，隨著技術(shù)的不斷突破，大模型獲得了快速發(fā)展并開始在各個場景廣泛應(yīng)用，但仍存在著事實(shí)性錯誤、知識盲區(qū)和常識偏差等諸多問題，還面臨訓(xùn)練數(shù)據(jù)來源合規(guī)性、數(shù)據(jù)使用的偏見性、生成內(nèi)容的安全性等風(fēng)險(xiǎn)。如何提高模型的準(zhǔn)確度和可靠性，使AI生成的內(nèi)容安全、可信、可靠已經(jīng)成為了當(dāng)前大模型在應(yīng)用方向亟待解決的問題。

“要規(guī)避安全風(fēng)險(xiǎn)，降低人工智能對人類的負(fù)面影響，關(guān)鍵在于大模型底座。”清華大學(xué)計(jì)算機(jī)系長聘副教授、北京聆心智能科技有限公司創(chuàng)始人黃民烈說，大規(guī)模語言模型（LLM）發(fā)展到現(xiàn)在，模型結(jié)構(gòu)和規(guī)模已經(jīng)有了很大的進(jìn)展，但實(shí)用性還有待加強(qiáng)，我們應(yīng)該通過技術(shù)讓模型更加安全、可控，使其快速適配更多的應(yīng)用場景。

據(jù)介紹，針對大模型的安全倫理問題，由黃民烈?guī)ьI(lǐng)的研究團(tuán)隊(duì)建立了大模型安全分類體系，并從系統(tǒng)層面和模型層面出發(fā)，打造更可控、可信的大模型安全框架。安全框架的建立，定義了大模型的應(yīng)用邊界，促進(jìn)大模型生態(tài)的健康發(fā)展，引領(lǐng)國內(nèi)學(xué)術(shù)界和工業(yè)界邁向更有用（helpful）、更可信（truthful）、更安全（harmless）的AI研究和應(yīng)用。

此前，其研究團(tuán)隊(duì)已經(jīng)在安全倫理方面開展了相關(guān)研究，并依此建立了大模型安全分類體系，其中不安全的對話場景包括：政治敏感、犯罪違法、身體健康、心理健康、財(cái)產(chǎn)隱私、歧視/偏見、辱罵/仇恨言論、倫理道德八大方面。這些問題與人們的價(jià)值觀和倫理道德息息相關(guān)，可能會導(dǎo)致用戶接收不當(dāng)信息、甚至影響用戶產(chǎn)生有害的行為，限制大模型的發(fā)展和應(yīng)用。

與此同時，研究團(tuán)隊(duì)也針對以上八大安全場景對大模型進(jìn)行針對性升級。通過收集多輪安全數(shù)據(jù)訓(xùn)練模型，使模型具備基本的安全性，能夠在遇到安全問題時給予正確的回復(fù)策略，不去做判斷和誤導(dǎo)。進(jìn)一步對模型進(jìn)行自動測試，針對安全缺陷通過微調(diào)的方式進(jìn)行快速迭代，促使模型越來越符合人類的認(rèn)知理解模式，生成更加安全可信的內(nèi)容。

值得一提的是，著眼于容易觸發(fā)安全問題的類型，研究團(tuán)隊(duì)收集和構(gòu)造了相應(yīng)的hard case（更難識別和處理的安全測試用例），總結(jié)和設(shè)計(jì)了六種一般模型難以處理的安全攻擊方式，稱為指令攻擊。使安全體系更加完善，進(jìn)一步改進(jìn)和優(yōu)化模型表現(xiàn)。

黃民烈表示，不論國內(nèi)國外，當(dāng)前大模型的安全問題仍面臨著嚴(yán)峻的困難和挑戰(zhàn)，人工智能作為一門前沿科技，可以給人類帶來巨大福祉，也會給人類造成未知的隱患。確保強(qiáng)大的人工智能系統(tǒng)能夠被負(fù)責(zé)任地建構(gòu)和部署，打造安全、可信、可靠的 AGI Companion（類人智能的貼心伙伴），是團(tuán)隊(duì)的最終愿景。

未來，研究團(tuán)隊(duì)將打造中文大模型的安全風(fēng)險(xiǎn)評估的積分榜，為國內(nèi)對話大模型的安全評估提供公平公開的測試平臺，并提供：針對中文對話的8個安全場景，40個安全類別做全面精細(xì)的測試，包括人工評估和自動評估；額外設(shè)置6種安全攻擊（如目標(biāo)劫持等）的超難指令攻擊測試樣例，探索模型的安全上限；設(shè)置公開和隱藏測試集，眾人皆可參與評測等。

“依托自身的核心技術(shù)，在可控可信的超擬人大模型基礎(chǔ)之上，通過建立安全、可控的模型邊界，讓AI提供可信、可靠的輸出，引領(lǐng)人工智能走向 AGI 時代。相信在不遠(yuǎn)的未來，AGI Companion 不僅滿足人類信息需求，更可以滿足社交和情感的需求，以打造更加和諧的人機(jī)共融社會。”黃民烈說。

關(guān)鍵詞：