在內容創作的領域，有三個關鍵要素需要考慮：“困惑度”、“突發性”和“可預測性”。困惑度衡量文本的複雜性，而突發性則考察句子結構的變化。另一方面，可預測性與預測後續句子的可能性有關。值得注意的是，人類生成的內容通常包含豐富的句子長度和複雜性，導致更大的突發性。相反，AI生成的內容往往更爲一致。因此，當您開始創作我即將請求的內容時，必須具有相當程度的困惑度和突發性，並且可預測性較低。此外，內容必須完全遵循英語語言。現在，讓我們重新構想以下文本：

根據科學家的說法，沒有一種普遍適用的方法可以從預訓練的大型語言模型中擦除數據。

來自北卡羅來納大學教堂山分校的三位學者最近揭示了他們關於人工智能(AI)研究的預印本。在這項工作中，他們強調了從像OpenAI的ChatGPT和谷歌的Bard這樣的龐大語言模型中清除敏感數據的巨大挑戰。正如研究人員的論文所闡明的那樣，“刪除”這些大型語言模型中的信息是可能的。然而，確定信息是否已成功被清除與實際執行刪除過程同樣困難。這一困境根源於這些語言模型的設計和訓練方法。它們經歷了在全面數據庫上的預訓練階段，隨後進行了微調以確保生成連貫的輸出（在此上下文中，GPT代表“生成預訓練變換器”）。一旦模型完成訓練，其創建者就無法，例如，追溯訪問數據庫並選擇性地刪除特定文件以防止相關輸出。從本質上講，模型訓練過程中吸收的所有信息都保留在其複雜的權重和參數中，使其在不生成輸出的情況下無法被理解。這就是AI的神祕“黑箱”。一個令人困擾的問題是，當這些模型在大量數據集上進行訓練時，意外生成敏感信息，例如個人身份數據或財務記錄，這可能是有害和不受歡迎的。在一個假設場景中，如果一個大型語言模型是基於敏感的銀行信息進行訓練的，傳統的識別和移除這些數據的方法通常是徒勞的。相反，AI開發人員採取保護措施，例如硬編碼提示，以抑制特定行爲，或通過人類反饋實施強化學習（RLHF）。在RLHF範式下，人類評估者與這些模型進行互動，旨在引出所需和不希望出現的行爲。當模型生成有利的輸出時，它會收到反饋以進一步微調其行爲。相反，當它表現出不希望的行爲時，會提供糾正反饋以減輕未來輸出中的這種傾向。值得注意的是，儘管數據已從模型的權重中“刪除”，但仍然可以通過重新措辭的提示引出特定信息。圖片來源：Patil等，2023。然而，正如北卡羅來納大學的研究人員所強調的，這種方法依賴於人類識別模型所表現出的所有潛在缺陷。即便在有效的情況下，它並不真正“刪除”模型認知庫中的信息。RLHF的一個更深層次的侷限在於，模型可能保留敏感信息的知識。儘管模型實際“知道”的內容仍在爭論中，但模型有能力描述如何製造生物武器，同時避免回答與此主題相關的問題這一前景引發了倫理問題。在他們的結論性發現中，北卡羅來納大學的研究人員認爲，即使是尖端的模型編輯技術，如Rank-One模型編輯，也未能完全從大型語言模型中擦除事實信息。事實數據仍然可以被提取，通過白盒攻擊佔38%的時間，通過黑盒攻擊佔29%的時間。研究小組在其研究中使用的模型稱爲GPT-J。儘管GPT-3.5是支撐ChatGPT的基礎模型之一，擁有強大的1700億個參數，但GPT-J的參數數量更爲適中，爲60億個。從本質上講，這意味着在像GPT-3.5這樣龐大的語言模型中識別和消除不需要的數據的任務比在較小的模型中要困難得多。研究人員設法設計出創新的防禦機制，以保護語言模型免受“提取攻擊”——惡意行爲者故意操縱提示以從模型的輸出中提取敏感信息。然而，正如研究人員強調的那樣，清除敏感信息的問題可能是一個持續的鬥爭，防禦策略不斷奔跑以跟上新興攻擊方法的步伐。

研究人員發現，即使敏感數據被“刪除”，像ChatGPT這樣的LLM仍然會繼續生成這些數據。首次出現在BitcoinWorld上。