«提示注入»已成爲AI瀏覽器的主要威脅 - ForkLog: 加密貨幣，AI，奇點，未來

![OpenAI 的 ChatGPT 聊天機器人](http://img-cdn.gateio.im/social/moments-8f1b0180ccd56aee6a5cdcfb14009875019283746574839201# “提示注入”已成爲 AI 瀏覽器的頭號危險

公司OpenAI講述了AI瀏覽器的漏洞以及加強其自有解決方案Atlas安全性的措施。

公司承認，利用“提示注入”類型的攻擊，操控代理使其執行惡意指令，是一種風險。這種風險在短期內不會消失。

“類似的漏洞，如網路詐騙和社會工程學，可能永遠無法完全消除，” — OpenAI 寫道。

她指出，Atlas 中的“代理模式”會“增加威脅範圍”。

除了薩姆·阿爾特曼的創業公司外，其他專家也關注到了這個問題。12月初，英國國家網路安全中心警告稱，惡意提示集成的攻擊“永遠不會消失”。政府建議網路專家不要試圖阻止問題，而是降低風險和後果。

“我們將其視爲人工智能的長期安全問題，並將不斷加強我們的防護措施，” OpenAI表示。

打擊措施

注入提示是一種操縱人工智能的方法，故意在其輸入數據中添加文本，使其忽略原始指令。

OpenAI宣布採用大佬快速反應的主動循環，顯示出在攻擊新策略出現之前“在實際條件下”尋找它們的可喜成果。

Anthropic 和 Google 表達了相似的觀點。競爭對手建議採用多層次的保護並持續進行壓力測試。

OpenAI使用“基於LLM的自動化惡意攻擊者”——一個被訓練扮演黑客角色的AI機器人，尋找通過惡意提示滲透代理的方法。

人工欺詐者能夠在模擬器中測試漏洞的利用，這將展示被攻擊的神經網路的行爲。然後，機器人將學習反應，調整行動，並進行第二次嘗試，然後是第三次，依此類推。

外部人員無法訪問目標AI內部思維的信息。理論上，“虛擬黑客”應該比真實的攻擊者更快地找到漏洞。

«我們的AI助手可以促使代理執行復雜的、長期的惡意過程，這些過程會在數十步甚至數百步中啓動。我們觀察到了新的攻擊策略，這些策略在我們與紅隊成員的參與活動或外部報告中並未出現，» OpenAI在其博客中表示。

![])https://img-cdn.gateio.im/webp-social/moments-178333a912fa8e269501153cf8a71818.webp(演示測試。來源：OpenAI博客。在這個例子中，自動化的惡意攻擊者向用戶的郵箱發送了一封郵件。然後，AI代理掃描了電子郵件服務，並執行了隱藏的指令，發送了一封解僱通知，而不是回復缺席工作的信息。

在安全更新後，“代理模式”能夠檢測到突發的提示注入嘗試並將其標記給用戶。

OpenAI強調，雖然這種攻擊類型很難有效防御，但它依賴於大規模測試和快速修復週期。

用戶建議

Wiz的首席安全研究員Rami McCarthy強調，強化學習是持續適應惡意行爲者的一種主要方式，但這只是全貌的一部分。

«有益的思考人工智能系統風險的方式是：自主性乘以可達性。代理瀏覽器處於這個領域的復雜部分：適度的自主性結合極高的可達性。許多當前的建議反映了這一妥協。登入後限制訪問首先降低了脆弱性，而要求對請求進行確認則限制了自主性，» 專家說。

這些建議是OpenAI爲用戶提供的，旨在降低風險。該初創公司還建議給代理人提供具體的指示，而不是提供訪問郵件的權限，並要求“採取任何必要的行動”。

麥卡錫指出，至今爲止，內置人工智能代理的瀏覽器並沒有帶來足夠的好處，以證明其風險配置是合理的。

«這個餘額將會發展，但今天的妥協仍然非常現實，» — 他說。

提醒大家，在11月，微軟的專家們展示了一個用於測試AI代理的環境，並發現了現代數字助手固有的漏洞。