你的AI模型安全嗎？Pickle程式背後的驚人真相

一個流行的 AI 模型和應用程式共享中心 Hugging Face 平台上發現的惡意機器學習 (ML) 模型。惡意模型利用一種被稱為「nullifAI」的新型攻擊技術，該技術濫用「Pickle 檔案序列化」格式來逃避偵測並在無防範的系統上執行有害程式碼。以下是關鍵點的詳細分析：

Hugging Face的沉默威脅：惡意軟體如何隱藏在顯眼處 | 資訊安全新聞

Pickle 的背景及其風險

  • Pickle 是一個用於序列化和反序列化 ML 模型資料的 Python 模組，允許共享和重複使用模型而無需重新訓練。然而，它本質上是不安全的，因為它可以在反序列化期間執行任意 Python 程式碼，使其成為攻擊者的主要目標。
  • 儘管 Hugging Face 的文件和先前的研究都警告了其風險，但 Pickle 因其簡單性和生產效率優勢仍然被廣泛使用。

nullifAI 技術

  • ReversingLabs 發現的惡意模式使用了一種新方法來繞過 Hugging Face 的安全工具。它們以 PyTorch 格式（壓縮的 Pickle 檔案）存儲，但使用 7z 格式而不是預設的 ZIP 格式進行壓縮。這使得它們無法使用 PyTorch 的標準 torch.load() 函數載入，由此逃避 Hugging Face 的 Picklescan 工具的檢測。
  • 模型包含損壞的 Pickle 檔案，其中惡意 Payload 嵌入在序列化物件的開頭。這使得 Payload 可以在檔案完整性受到損害之前執行，從而繞過安全檢查。

Hugging Face 安全工具的缺陷

  • Picklescan 是 Hugging Face 用於檢測惡意 Pickle 檔案的工具，它依賴 危險函數黑名單。然而，這種方法不可擴展，也無法適應不斷演變的威脅。
  • 工具也無法正確掃描損壞的 Pickle 檔案，因為它在掃描之前會檢查檔案，而 Pickle 反序列化會依序執行程式碼。這種差異使得惡意程式碼在被標記之前就能運作。

影響與回應

  • 惡意模型很可能是概念驗證而不是主動威脅，但它們顯示了可能危害開發人員系統的合法攻擊媒介。
  • ReversingLabs 於 2025 年 1 月 20 日 報告了 Hugging Face 的漏洞，惡意模型在 24 小時內被刪除。 Hugging Face 也更新了 Picklescan，以便更好地偵測損壞的 Pickle 檔案中的威脅。

對人工智慧安全的更廣泛影響

  • 這項發現凸顯了與人工智慧平台相關的網路安全風險日益增加，使用像 Pickle 這樣的不安全格式可能會使開發人員遭受惡意攻擊。
  • 隨著人工智慧產生的程式碼變得越來越普遍，組織必須採用現代軟體供應鏈安全解決方案來降低風險。例如，ReversingLabs 的 Spectra Assure 產品為 ML 模型提供進階威脅偵測。

對開發人員的建議

  • 對 ML 模型使用可信任來源。
  • 避免使用來自不受信任來源的 Pickle 檔案。
  • 盡可能選擇更安全的序列化格式。
  • 監控系統是否有被入侵的跡象。

結論

nullifAI 攻擊技術強調了 AI 開發平台需要採取強有力的安全措施。雖然 Hugging Face 已採取措施解決該漏洞，但此案件提醒人們不安全的資料格式帶來的風險，以及在協作 AI 環境中優先考慮安全性的重要性。