LLM 正迅速從網路安全領域的實驗走向日常應用。團隊開始使用它們來篩選威脅情報、指導事件回應，並幫助分析師處理重複性工作。然而，將人工智慧納入決策過程也帶來了新的問題：這些工具何時才能真正提升績效，何時又會造成盲點？

網路安全法學碩士

一項新的研究對這個問題進行了更深入的探討。透過觀察人們在有和沒有法學碩士（LLM）支持的情況下如何做出決策，研究人員發現，雖然這些系統可以提高準確性，但也可能導致過度依賴和獨立思考能力的下降。

測試人類與人工智慧如何協同工作

研究人員希望了解法學碩士如何影響人們在安全關鍵情況下的決策方式。他們研究了這些工具如何改變決策的準確性、獨立性和對技術的依賴性。

該團隊組織了兩個焦點小組。其中一個小組在沒有人工智慧支援的情況下處理安全任務。另一個小組則藉助法學碩士（LLM）的支持。參與者均為網路安全背景的碩士生。任務基於 CompTIA Security+ 概念，涵蓋網路釣魚偵測、密碼管理和事件回應等領域。

研究人員也使用心理量表測量了每位參與者的韌性。這裡的韌性指的是一個人在壓力下適應、解決問題和保持穩定的能力。

人工智慧有助於日常工作，但無法做出複雜的決策

獲得 LLM 支援的使用者在日常任務中表現更準確。他們更善於發現網路釣魚攻擊，並對密碼強度進行排名。 LLM 使用者對安全策略的評分也更加一致，並選擇了更有針對性的事件回應方式。

然而，研究也發現了這些優點的限制。在更複雜的任務中，LLM 使用者有時會遵循錯誤的模型建議。例如，在將防禦策略與進階持續性威脅或零日漏洞等複雜威脅進行比對時，他們的答案可靠性較低。這表明 LLM 可能聽起來很自信，但也可能犯錯。

Lasso Security 首席研究員Bar Lanyado告訴 Help Net Security，組織應採取審慎措施，防止對 LLM 的盲目信任。 「為了減少自動化錯誤訊息和偏見，組織應建立人機互動機制，將 LLM 的輸出視為假設，需要分析師根據日誌、捕獲或其他基本事實進行驗證，然後才能採取任何行動，」他解釋道。 「團隊應始終確認建議的輸出是否存在於軟體包中，檢查存儲庫活動和安全漏洞，並在採用前進行掃描。允許列表、依賴項審批工作流門控等治理策略有助於強化紀律，並減少對 LLM 建議的盲目信任。”

韌性帶來巨大改變

韌性在結果中扮演著重要的角色。無論是否有法學碩士（LLM）的支持，高韌性的個體都表現良好，並且他們更善於運用人工智慧指導，但又不會過度依賴。而低韌性的參與者從LLM課程中獲益不多。在某些情況下，他們的表現並沒有提高，甚至有所下降。

這會帶來結果不均衡的風險。團隊可能會發現，能夠批判性地評估人工智慧建議的人員與無法做到這一點的人員之間的差距越來越大。隨著時間的推移，這可能會導致過度依賴模型，獨立思考能力下降，以及解決問題方式的多樣性喪失。

Lanyado 表示，安全領導者在組建團隊和培訓專案時，需要考慮到這些差異。 「並非每個組織和/或員工都以相同的方式與自動化互動，團隊準備程度的差異可能會擴大安全風險。」他說。

為了解決這個問題，他建議採取四個關鍵步驟：

針對 LLM 故障模式實施基準訓練。團隊應了解常見的模型錯誤、幻覺、過時的知識以及提示注入風險，以減少對輸出的盲目信任。

透過紅隊演習和模擬訓練來提升韌性。進行桌面演習或紅藍隊聯合演習，並故意設置一些具有誤導性的法學碩士（LLM）輸出，以教會團隊驗證建議，而不是接受建議。

結對團隊。經驗較少或適應力較弱的團隊應該與擅長分析和質疑模型建議的團隊合作。

實現持續的回饋循環。鼓勵團隊記錄 LLM 成果何時有助於他們建立反思和安全使用的文化，何時誤導他們。

設計適合每個人的系統

研究結果表明，組織不能想當然地認為增加法學碩士學位就能平等地提高每個人的績效。如果沒有設計，這些工具可能會提高某些團隊成員的效率，而讓其他成員效率低落。

研究人員建議設計一個能夠適應使用者的人工智慧系統。高韌性的人可能會受益於開放式建議。低韌性的使用者可能需要指導、信心指標或提示，以鼓勵他們考慮其他觀點。

另一個問題是自動化偏見，即人們過於信任人工智慧的建議。團隊可以透過創建需要手動審核的流程，並培訓員工質疑模型輸出來減少這種偏見。 Lanyado 提出的治理和驗證實務建議也呼應了這一點。