新聞中心
AI?大語(yǔ)言模型10大安全風(fēng)險(xiǎn)的思考
大模型應(yīng)用已經(jīng)真實(shí)來(lái)到我們每個(gè)人身邊，在自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音處理等領(lǐng)域展現(xiàn)出了前所未有的能力，影響著各行各業(yè)的發(fā)展。
隨著大模型應(yīng)用的日益廣泛，其安全問(wèn)題也變得愈發(fā)重要。大模型訓(xùn)練需要大量數(shù)據(jù)，可能包含敏感信息（如個(gè)人信息、商業(yè)秘密等），造成信息泄漏；攻擊者可以通過(guò)精心設(shè)計(jì)的輸入（對(duì)抗性樣本）欺騙AI模型，導(dǎo)致錯(cuò)誤的輸出，對(duì)自動(dòng)駕駛、醫(yī)療診斷等構(gòu)成嚴(yán)重威脅；大模型還可能被用于生成虛假信息、傳播謠言、網(wǎng)絡(luò)欺詐等惡意活動(dòng)。
2023年8月，國(guó)家網(wǎng)信辦等聯(lián)合發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》正式實(shí)施，強(qiáng)調(diào)了大語(yǔ)言模型安全的重要性，防止?jié)撛诘碾[私泄漏、違法犯罪行為。
《OWASP大語(yǔ)言模型應(yīng)用程序十大風(fēng)險(xiǎn)》報(bào)告，對(duì)大語(yǔ)言模型安全給出了詳細(xì)指南，讓我們逐條解讀：
1、提示詞注入
攻擊者采用繞過(guò) 過(guò)濾器或構(gòu)造提示詞的方法，操控大語(yǔ)言模型（LLM），使其執(zhí)行“注入”操作，進(jìn)而導(dǎo)致數(shù)據(jù)泄漏或其他安全漏洞。
防范措施
1）實(shí)施嚴(yán)格的輸入驗(yàn)證，拒絕或凈化惡意輸入。
2）使用上下文感知的過(guò)濾器，檢測(cè)并阻止可疑提示詞。
3）定期更新LLM，增強(qiáng)其對(duì)惡意輸入的識(shí)別能力。
4）監(jiān)控記錄所有LLM交互，以便檢測(cè)分析潛在的注入嘗試。
2、數(shù)據(jù)泄漏
LLM可能無(wú)意中在回復(fù)時(shí)泄漏敏感信息或?qū)Ｓ兴惴ā?/span>
防范措施
1）嚴(yán)格進(jìn)行輸出過(guò)濾，通過(guò)上下文感知限制惡意輸入，防止LLM泄漏敏感數(shù)據(jù)。
2）通過(guò)差分隱私技術(shù)或數(shù)據(jù)匿名化，降低LLM對(duì)訓(xùn)練數(shù)據(jù)的記憶與過(guò)度擬合。
3）定期評(píng)估數(shù)據(jù)暴露面，檢查L(zhǎng)LM響應(yīng)內(nèi)容，避免無(wú)意泄漏。
4）事前加強(qiáng)數(shù)據(jù)安全防護(hù)，事中監(jiān)控模型交互，事后通過(guò)記錄日志回溯分析數(shù)據(jù)泄漏事件。
3、不完善的沙盒隔離
LLM與其他關(guān)鍵系統(tǒng)或數(shù)據(jù)存儲(chǔ)隔離不充分，可能潛在利用、越權(quán)訪(fǎng)問(wèn)或意外操作敏感資源。
防范措施
1）選擇完善的沙箱技術(shù)，使LLM與其他關(guān)鍵系統(tǒng)資源獨(dú)立。
2）限制LLM對(duì)敏感資源的訪(fǎng)問(wèn)，確保操作權(quán)限為最低限制且在安全路徑內(nèi)。
3）定期審核并檢查沙箱的完整性和安全性。
4）監(jiān)控LLM的所有交互，預(yù)先分析潛在的沙箱問(wèn)題。
4、非授權(quán)代碼執(zhí)行
LLM可能成為攻擊者在底層系統(tǒng)執(zhí)行惡意代碼或命令的工具。
防范措施
1）實(shí)施嚴(yán)格的輸入驗(yàn)證和清理流程，防止LLM響應(yīng)惡意注入。
2）確保沙箱環(huán)境的安全性，限制LLM的操作權(quán)限以及與底層系統(tǒng)的交互能力。
3）定期進(jìn)行安全審計(jì)，避免越權(quán)或攻擊面暴露。
4）監(jiān)控系統(tǒng)日志，檢測(cè)和分析未經(jīng)授權(quán)的系統(tǒng)接口暴露，以便及時(shí)止損。
5、SSRF（服務(wù)器端請(qǐng)求偽造）漏洞
LLM可能被攻擊者利用去訪(fǎng)問(wèn)受限資源，出現(xiàn)SSRF漏洞。
防范措施
1）進(jìn)行輸入驗(yàn)證和過(guò)濾，拒絕白名單外的所有輸入。
2）進(jìn)行內(nèi)部訪(fǎng)問(wèn)控制，限制LLM直接訪(fǎng)問(wèn)內(nèi)部資源，訪(fǎng)問(wèn)外部資源時(shí)通過(guò)代理服務(wù)器中轉(zhuǎn)。
3）定期進(jìn)行漏洞掃描和安全評(píng)估，及時(shí)修補(bǔ)發(fā)現(xiàn)的漏洞，也包括SSRF漏洞。
4）實(shí)施詳細(xì)的日志記錄和監(jiān)控，及時(shí)發(fā)現(xiàn)并響應(yīng)潛在的SSRF攻擊行為。
6、過(guò)度依賴(lài)LLM生成的內(nèi)容
過(guò)度依賴(lài)LLM生成的內(nèi)容，可能導(dǎo)致信息錯(cuò)誤、結(jié)果錯(cuò)誤。
防范措施
1）人工審查確保內(nèi)容的適用性，通過(guò)其他來(lái)源驗(yàn)證信息準(zhǔn)確與否。
2）采用多樣化數(shù)據(jù)源和信息來(lái)源，確保內(nèi)容語(yǔ)法正確、邏輯一致。
3）向用戶(hù)傳達(dá)生成內(nèi)容的局限性，提醒其保持懷疑態(tài)度。
4）建立反饋機(jī)制，保障信息逐漸完善，生成內(nèi)容作為人類(lèi)知識(shí)的輸入補(bǔ)充。
7、人工智能未充分對(duì)齊
LLM的目標(biāo)和行為可能與預(yù)期用例不一致，導(dǎo)致不良后果。
防范措施
1）在設(shè)計(jì)開(kāi)發(fā)階段，明確定義LLM的目標(biāo)和預(yù)期行為。
2）建立多學(xué)科團(tuán)隊(duì)和審查機(jī)制，從多個(gè)視角評(píng)估AI系統(tǒng)可能產(chǎn)生的影響，減少偏差及風(fēng)險(xiǎn)。
3）確保使用數(shù)據(jù)的質(zhì)量多樣化，能夠代表廣泛的人群和情景，避免數(shù)據(jù)偏見(jiàn)與不完整。
4）實(shí)施有效的監(jiān)控反饋機(jī)制，定期評(píng)估AI系統(tǒng)的表現(xiàn)與影響，及時(shí)發(fā)現(xiàn)修正任何不對(duì)齊行為，確保系統(tǒng)持續(xù)符合人類(lèi)的價(jià)值和意圖。
8、訪(fǎng)問(wèn)控制不足
未正確實(shí)施訪(fǎng)問(wèn)控制，可能允許未授權(quán)用戶(hù)訪(fǎng)問(wèn)或操作LLM。
防范措施
1）遵循最小權(quán)限原則，限制用戶(hù)或程序只能訪(fǎng)問(wèn)所需的資源和數(shù)據(jù)。
2）強(qiáng)制實(shí)施強(qiáng)密碼策略和多因素認(rèn)證，確保只有授權(quán)用戶(hù)能夠訪(fǎng)問(wèn)系統(tǒng)和敏感數(shù)據(jù)。
3）根據(jù)數(shù)據(jù)敏感性和訪(fǎng)問(wèn)需求，將訪(fǎng)問(wèn)權(quán)限控制在特定網(wǎng)絡(luò)區(qū)域內(nèi)，減少不必要的訪(fǎng)問(wèn)控制風(fēng)險(xiǎn)和暴露面。
4）建立全面的監(jiān)控與日志記錄機(jī)制，記錄用戶(hù)對(duì)系統(tǒng)的訪(fǎng)問(wèn)行為，可及時(shí)發(fā)現(xiàn)異常行為并采取應(yīng)對(duì)措施。
9、錯(cuò)誤處置不當(dāng)
錯(cuò)誤消息或調(diào)試信息可能向攻擊者泄漏敏感內(nèi)容。
防范措施
1）實(shí)施恰當(dāng)?shù)腻e(cuò)誤處置機(jī)制，確保正確地捕獲、記錄和處理錯(cuò)誤。
2）定制通用錯(cuò)誤消息，避免泄漏敏感內(nèi)容。
3）定期審查錯(cuò)誤日志，修復(fù)問(wèn)題和漏洞，避免安全風(fēng)險(xiǎn)影響系統(tǒng)穩(wěn)定性。
10、訓(xùn)練數(shù)據(jù)投毒
攻擊者惡意操縱訓(xùn)練數(shù)據(jù)，向LLM引入危及模型安全性、有效性或倫理性的后門(mén)、漏洞與偏見(jiàn)。
防范措施
1）對(duì)數(shù)據(jù)源可信度進(jìn)行驗(yàn)證，確保訓(xùn)練數(shù)據(jù)的來(lái)源可信。
2）將數(shù)據(jù)用于訓(xùn)練之前，進(jìn)行充分的預(yù)處理和清理，包括檢測(cè)和刪除異常值、錯(cuò)誤標(biāo)記數(shù)據(jù)等。
3）通過(guò)異常檢測(cè)技術(shù)發(fā)現(xiàn)潛在的異常行為，輔助識(shí)別和過(guò)濾投毒數(shù)據(jù)。
4）定期對(duì)訓(xùn)練數(shù)據(jù)和模型輸出進(jìn)行偏差與質(zhì)量分析。
5）實(shí)施數(shù)據(jù)訪(fǎng)問(wèn)控制和審計(jì)，防止未經(jīng)授權(quán)的數(shù)據(jù)修改。
除OWASP公布的十大風(fēng)險(xiǎn)外，大模型應(yīng)用還面臨如下挑戰(zhàn)：
· 個(gè)人隱私泄漏：大模型可能需要大量個(gè)人數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，這些數(shù)據(jù)如果泄漏或不當(dāng)使用，會(huì)對(duì)個(gè)人隱私造成嚴(yán)重威脅。
· 歧視性結(jié)果：如果訓(xùn)練數(shù)據(jù)不足或不平衡，大模型可能產(chǎn)生偏見(jiàn)或歧視性結(jié)果，導(dǎo)致不公平的決策與推薦。
· 安全漏洞：大模型本身可能存在安全漏洞，被攻擊者利用進(jìn)行數(shù)據(jù)竊取、模型篡改或其他形式攻擊。
· 社會(huì)影響：大模型的廣泛應(yīng)用可能會(huì)對(duì)社會(huì)產(chǎn)生深遠(yuǎn)影響，產(chǎn)生工作崗位變動(dòng)、信息可信度下降等問(wèn)題。
· 透明度和解釋性：大模型通常是復(fù)雜的黑盒系統(tǒng)，其決策過(guò)程難以解釋。缺乏透明度可能導(dǎo)致用戶(hù)對(duì)模型決策的不信任。
· 環(huán)境影響：訓(xùn)練大模型需要大量的計(jì)算資源，導(dǎo)致能源消耗與碳排放，加劇環(huán)境問(wèn)題。
· 濫用風(fēng)險(xiǎn)：大模型可能被惡意使用，包括生成虛假信息、進(jìn)行欺詐等，導(dǎo)致制造混亂、操縱市場(chǎng)或擾亂公共秩序。
綜上所述，大模型是人工智能的發(fā)展趨勢(shì)和未來(lái)，在技術(shù)上帶來(lái)了重大進(jìn)步和廣闊前景，但其應(yīng)用也伴隨著一系列復(fù)雜的風(fēng)險(xiǎn)和挑戰(zhàn)，需要各行業(yè)在開(kāi)發(fā)使用過(guò)程中謹(jǐn)慎思考、不斷優(yōu)化。
