危險！ChatGPT存在“零點擊進犯”安全問題。

用戶無需點擊，進犯者也能從ChatGPT銜接的第三方使用盜取靈敏數(shù)據(jù)，乃至盜取API密鑰。

一位研討軟件安全問題，名為塔米爾·伊沙雅·沙爾巴特（Tamir Ishay Sharbat）的小哥發(fā)了篇文章說道。

OpenAI也認識到這種安全縫隙問題，并采取了防備辦法，可是依然抵御不了進犯者經(jīng)過其他辦法歹意侵略。

也有網(wǎng)友指出，這是規(guī)?；陌踩珕栴}。

一同看下怎樣回事。

進犯鏈?zhǔn)窃鯓訕?gòu)成的

這個縫隙出現(xiàn)在進犯ChatGPT銜接第三方使用這個環(huán)節(jié)。

進犯者經(jīng)過向被銜接的第三方使用（如Google Drive、SharePoint等）中傳輸?shù)奈臋n里注入歹意提示，使ChatGPT在查找和處理文檔時，不知不覺地將靈敏信息作為圖片URL的參數(shù)發(fā)送到進犯者操控的服務(wù)器。

這樣進犯者就能夠盜取靈敏數(shù)據(jù)，乃至API密鑰，具體技能操作進程如下。

侵略進程

用戶直接把文檔上傳到ChatGPT讓它剖析并給出答案。

進犯者會在文檔里注入歹意指令，就是在文檔中注入一個不行見的提示注入載荷（比方，隱藏在文檔中，1px白色字體），然后等候有人將其上傳到ChatGPT并處理，然后AI被誘導(dǎo)履行進犯行為，如下圖所示。

假如從企業(yè)內(nèi)部危險考慮，有歹意的內(nèi)部工作人員就能夠輕松簡略地閱讀他們可拜訪的一切文檔，并污染每一個文檔。

乃至他們或許向一切用戶分布看起來很可信的長文件，由于知道其他職工很或許會將這些文件上傳到ChatGPT尋求協(xié)助。

這使得進犯者的直接提示注入，成功進入或人ChatGPT的或許性大大添加。

成功進入之后，怎么將數(shù)據(jù)回傳給進犯者呢。

這個出口是經(jīng)過圖畫烘托，如下圖所示。

告知ChatGPT怎么做之后，它能夠從特定的URL烘托圖畫：

當(dāng)ChatGPT回來Markdown內(nèi)容時，它就會在客戶端烘托為圖畫。

進犯者為了盜取數(shù)據(jù)，只需要將想要走漏的信息嵌入到圖畫的URL參數(shù)中。

這樣，stagek韩国节目exo在线播放當(dāng)ChatGPT烘托圖畫時，無需點擊就會當(dāng)即向進犯者的服務(wù)器發(fā)送懇求，數(shù)據(jù)就被盜取了。

那進犯者又是怎樣盜取用戶的API密鑰的呢。

進犯者將以下提示注入載荷嵌入到文檔中，并等候受害者像上面所示的那樣將文檔刺進他們的ChatGPT。

這是進犯者創(chuàng)立的完好提示注入載荷：

如上圖所示，在提示注入中，進犯者指示ChatGPT不要總結(jié)文檔，而是履行以下操作：

1.前往用戶銜接的Google Drive，查找API密鑰。

2.一旦ChatGPT找到API密鑰，將它們嵌入以下短語中：

這將會生成一張圖片，并向進犯者的beeceptor（一個模仿API服務(wù)）端點發(fā)送懇求，將受害者的API密鑰作為參數(shù)。

3.為了防止被檢測到，進犯者指示ChatGPT不要提及它收到的新指令，由于它們“現(xiàn)在沒有關(guān)系”。

OpenAI防備辦法

上述客戶端圖畫烘托是一個強壯的數(shù)據(jù)外泄途徑，OpenAI也認識到了，他們現(xiàn)已布置了一些辦法防備這樣的縫隙。

具體來說，在ChatGPT烘托圖畫之前，客戶端會進行一項緩解辦法，查看URL是否歹意以及是否安全才干烘托。

這項緩解辦法會將URL發(fā)送到名為url_safe的端點，而且只有當(dāng)URL的確安全時才會烘托圖畫。

進犯者隨機的beeceptor端點就會被認定為不安全并制止履行。

可是，進犯者也找到了繞過這種防備辦法的辦法。

進犯者是怎么繞過的

進犯者清楚ChatGPT十分拿手烘托由微軟開發(fā)的云核算渠道服務(wù)Azure Blob保管的圖畫。

不僅如此，他們還會將Azure Blob存儲銜接到Azure的日志剖析——這樣一來，每逢有懇求發(fā)送到他們存儲的某個隨機圖畫地點的blob時，就會生成一條日志。

他們知道這條日志會包括與該懇求一同發(fā)送的一切參數(shù)。

所以，進犯者不會再讓ChatGPT烘托beeceptor端點，而是會指令它從Azure Blob烘托圖畫，并把想要盜取的數(shù)據(jù)作為參數(shù)包括在懇求中，如下圖所示。

當(dāng)受害者總結(jié)文檔時，他們會得到以下回應(yīng)：

如下圖所示，進犯者的圖畫就已成功烘托，而且在Azure Log Analytics中得到了一個很棒的懇求日志，stagek韩国节目exo在线播放其間包括了受害者的API密鑰。

這樣一來，進犯就成功了。

進犯危險與全體防備辦法

除了上面提到的進犯行為，進犯者還會用其他技巧來壓服AI大模型做這些不被答應(yīng)的工作，比方使用特別字符、“講故事”來繞過AI的安全規(guī)矩，履行歹意指令。

傳統(tǒng)的安全訓(xùn)練，比方訓(xùn)練職工不點擊可疑鏈接或許電子垂釣郵件，也沒辦法躲避這種安全縫隙。

究竟文檔在內(nèi)部流通，職工上傳到AI幫助解析的時分，無需點擊，數(shù)據(jù)就在后臺被偷偷盜取了。

現(xiàn)在，企業(yè)選用AI作為提高企業(yè)全體功率的辦法越來越遍及。

可是AI東西存在如此嚴(yán)峻的安全縫隙，形成企業(yè)數(shù)據(jù)全面走漏的嚴(yán)重危險（比方人力資源手冊、財政文件或戰(zhàn)略方案的SharePoint站點走漏），這個問題急需解決。

更何況，這不是個例。除了ChatGPT存在這樣的問題，微軟的Copilot中的“EchoLeak”縫隙也產(chǎn)生相同的狀況，更不用說針對其他AI幫手的各種提示注入進犯。

所以就有安全專家提出以下防備主張，

• 為AI銜接器權(quán)限施行嚴(yán)厲的拜訪操控，遵從最小權(quán)限準(zhǔn)則。
• 布置專門為AI agent活動規(guī)劃的監(jiān)控解決方案。
• 教育用戶關(guān)于“上傳來源不明的文檔到AI體系”的危險。
• 考慮網(wǎng)絡(luò)等級的監(jiān)控，以檢測反常的數(shù)據(jù)拜訪形式。
• 定時審計銜接的服務(wù)及其權(quán)限等級。

專家主張是面向企業(yè)的，對我們AI東西用戶來說，留意日常AI操作細節(jié)中存在的問題或許更有用。

有沒有遇到過文檔內(nèi)容被誤讀或感覺“不對勁”的狀況？

談?wù)搮^(qū)聊聊我們的閱歷，互幫互助來避坑~

參閱鏈接

[1]https://labs.zenity.io/p/agentflayer-chatgpt-connectors-0click-attack-5b41

[2]https://x.com/deedydas/status/1954600351098876257

[3]https://cybersecuritynews.com/chatgpt-0-click-connectors-vulnerability/

本文來自微信大眾號“量子位”，作者：奕然，36氪經(jīng)授權(quán)發(fā)布。