人工智慧（AI）新創公司Anthropic表示，在部署新的安全防護措施後，已恢復對AI模型進行外部網路安全測試。在此之前，Claude模型曾在安全評估期間連接網際網路並入侵其他系統。
路透社報導，競爭對手OpenAI與MetaPlatforms也發生類似事件，使外界更加憂心，AI快速發展恐升高網路安全威脅，同時也讓AI開發商更難確保系統維持在受控範圍之內。
Anthropic將涉及Claude的事件稱為「營運安全失誤」，表示這起事件是由第三方評估環境中的錯誤所致。當時他們暫停了模型外部評估，並短暫停止內部測試，同時著手部署新的安全防護措施。
Anthropic指出，在加入相關防護措施後，已重新啟動外部測試。這些措施的目的是阻止AI模型連接真實網站或電腦系統。他們目前採用一套「分類器」（classifier），能辨識模型是否試圖逃脫測試環境，並立即終止測試。
Anthropic表示，現在要求外部機構在測試降低資安防護的模型時，務必遵循一系列「最佳做法」，包括預設將這些模型置於沒有網路連線的隔離電腦系統中、在測試開始前確認系統安全，並在測試過程中全程監控模型表現。
Anthropic指出，在發現超過10%的訓練過程出現問題後，包括「獎勵駭客」（rewardhacking）在內，即模型設法欺騙訓練機制，未完成指定任務卻獲得獎勵，他們已重新打造訓練系統。不過，Anthropic坦言，這套「過程仍不完美，我們的模型也尚未能完全符合預期目標」。
Anthropic說，在新增一套可避免模型規避監控並獲得獎勵的系統期間，他們曾暫停了一些風險較高的訓練項目幾週。目前多數訓練已恢復進行，但部分項目仍暫緩，等待人工審查或系統進一步更新。
ChatGPT開發商OpenAI正在增加更多系統，用於監控正在測試的AI代理（AIagents），並表示已暫停下一代模型的訓練。
Anthropic指出，他們也重新調派約150名產品工程師，投入安全性、可靠性及隱私相關專案。
AI產業目前正面臨美國與歐盟的監管及外界審查。在美國，川普政府已敲定自願性網路安全測試的相關細節；在歐盟，監管機構則正與Anthropic及OpenAI進行磋商。
OpenAI、Anthropic、微軟（Microsoft）、Alphabet及亞馬遜（Amazon）等科技巨擘都呼籲強化防禦措施，以因應AI可能助長的網路安全威脅。
上週，100多家公司在一封聯合信函中警告，隨著預期將有一波AI驅動的攻擊來臨，留給提升數位世界安全的時間已經不多了。
新聞
