2025年3月1日，由騰訊云安全云鼎實驗室、西安智能系統安全重點實驗室、LLM&Sec Landscape社區聯合主辦的 “模型有界，安全無疆”大模型安全學術沙龍在西安圓滿落幕 。本次活動創新采用 “音樂+黑客+學術”的跨界形式，吸引了來自學術界、產業界及安全攻防領域的300余位專家、白帽子、高校師生及行業同仁參與，在電子音樂的節奏中，共探大模型安全的技術破界之道。

本次沙龍聚焦三大目標：

??? 技術破局： 探討大模型安全核心問題，分享最新研究成果與攻防實踐；

??? 生態共建： 打通產學研壁壘，推動技術標準與防御體系的協同創新；

??? 人才賦能： 剖析AI時代安全人才需求，探索校企聯合培養新模式。

解碼AI時代

紅藍攻防新范式

綠盟天元實驗室高級安全研究員、M01N戰隊核心成員祝榮吉

綠盟天元實驗室高級安全研究員、M01N戰隊核心成員祝榮吉以《LLM應用安全問題與應對實踐探索 》為主題，圍繞模型選型、應用開發、應用部署三個關鍵階段，深入剖析了大模型面臨的安全風險，并結合實際案例，探討了有效的安全防護策略。

在模型選型階段，強調合規性要求與安全評估的重要性。通過內容安全評估與對抗性測試，開發者能夠甄別潛在風險，為后續的安全開發提供指導。在應用開發階段，關鍵是提示詞安全策略，如Prompt增強技術，以防范模型越獄、角色逃逸等攻擊手段，提高模型對抗風險的能力。而在應用部署階段，應結合傳統網絡安全技術，強化LLM應用的安全防護，涵蓋API接口安全、插件管理、存儲安全等關鍵環節。

西安電子 科技 大學博士、西安智能系統安全重點實驗室成員吳子輝

西安電子科技大學博士、西安智能系統安全重點實驗室成員吳子輝聚焦大模型API服務中的函數調用接口，揭示了潛在的安全漏洞。他通過實驗證明，主流大模型在函數調用參數生成階段可能存在漏洞隱患，攻擊者通過構造"情景設定+前綴注入+最小字數限制"的復合模板（如將惡意指令嵌入小說創作場景），誘導模型生成危險參數（如制作炸彈教程），在GPT-4等六大主流模型上實現平均超90%的攻擊成功率。

該類型的漏洞根源在于參數生成階段缺乏安全對齊機制，且系統級強制執行模式繞過模型自主決策。對此，團隊提出參數安全過濾、提示詞防御及安全對齊訓練三層解決方案，相關成果已被頂級會議接收，并觸發Reddit社區新型攻擊變種演化。

京東藍軍-白鵺攻防實驗室安全研究員Knight

京東藍軍-白鵺攻防實驗室的安全研究員Knight基于ExpAttack框架，提出了構建“大模型越獄第二大腦”的創新思路，旨在通過大模型的技術來解決大模型的安全難題。Knight指出，當前大模型安全領域面臨信息過載、風險變化快等挑戰，人、信息、業務之間的關系亟待優化。為此，他提出了“大模型越獄的CODE構建法”，通過捕獲、結構化、提煉、表達四個環節，構建起一個能夠高效處理知識的“第二大腦”。

該方法利用向量數據庫、圖數據庫等技術，分層次對大模型越獄相關的論文進行分析、存儲，再通過LLOOM for jailbreak算法對277篇大模型攻擊方向的進行聚類，最后再通過存儲的數據提取進行基于論文方法的自動化越獄攻擊生成。

Knight認為，大模型攻防是一個動態且不斷變化的過程，自動化是解決大模型安全的關鍵，但最終的對抗仍需回歸人與人的智慧較量。同時，大模型安全需要系統性方法來解決，模型側與系統側的緊密合作至關重要。

云起無垠模型安全研究負責人、知攻善防實驗室核心成員劉洋

云起無垠模型安全研究負責人、知攻善防實驗室核心成員劉洋剖析大模型在真實場景中的安全風險。劉洋認為，隨著大模型加速滲透應用于各行各業，傳統漏洞（如SQL注入、SSRF）通過與AI交互結合，衍生出全新攻擊面，典型風險包括：越獄操控（ChatGPT遭Prompt注入生成違規內容、惡意注釋誘導RCE）、權限失控（微軟醫療機器人數據泄露）、數據裸奔（政務公眾號密鑰通過AI接口暴露）、SQL注入（AI簡歷助手被注入攻擊篡改數據庫）等。

為應對威脅，行業需構建AI原生安全體系，即實施最小權限原則（如GitHub Copilot CLI操作雙驗證），阻斷高風險自動化行為；隔離敏感數據，禁止AI直接訪問核心數據庫與密鑰；動態升級防御，研發AI漏洞掃描器，結合Prompt模糊測試與框架漏洞檢測，實現攻擊面自動化挖掘。

ChaMD5安全團隊AI組負責人bayuncao

會上，ChaMD5安全團隊AI組負責人bayuncao正式發布開源項目ltrack，致力于解決ML領域模型加載安全關觀測問題。ltrack聚焦大模型加載環節安全監控，基于ebpf技術實現零侵入動態監測，精準覆蓋文件篡改、惡意依賴注入、敏感數據外傳三大核心攻擊面。通過實時捕獲模型文件哈希值、動態鏈接庫行為及網絡異常流量，ltrack有效識別隱蔽性威脅，成功復現Hugging Face惡意模型加載、PyTorch權重篡改等高風險漏洞。

目前ltrack已實現Docker容器全棧監控，未來兩個月將擴展至K8S集群及GPU內存泄漏檢測，助力企業構建從模型加載、推理到分布式部署的全生命周期防護體系。

希譚實驗室公眾號作者、網絡安全專家ABC_123

希譚實驗室公眾號作者、網絡安全專家ABC_123結合APT（高級持續性威脅）攻擊案例，探討大模型在威脅情報挖掘與防御體系中的價值。他認為，DGA（域名生成算法）域名識別可能是APT攻擊問題解決的關鍵。然而，傳統的LSTM深度學習模型可以識別惡意DGA域名，但是難以有效區分正常業務行為與異常行為，因此最終需要依靠AI大模型來解決這一難題。

活動最后的“AI時代網絡安全人才發展機遇與挑戰”主題圓桌環節，西安電子科技大學博士生導師、西安市智能系統安全重點實驗室主任、陜西省計算機學會網絡空間安全專委會副秘書長高海昌教授，騰訊云安全策略&攻防專家李濱，騰訊云鼎實驗室攻防負責人李鑫，綠盟科技M01N戰隊負責人、LLM&SEC Landscape 社區發起人高東，圍繞AI技術爆發式增長對安全行業的影響展開深度對話。

在人工智能蓬勃發展的當下，生物特征濫用、算法偏見等 AI 倫理風險如影隨形，嚴重威脅著個人隱私、社會公平與安全，構建全面且系統的治理體系已刻不容緩。與會嘉賓一致認同，可嘗試構建一套“威脅建模-合規翻譯-持續驗證”的技術治理框架。

???先通過威脅建模，深度剖析 AI 系統潛在的倫理風險點，精準識別生物特征數據處理過程中的漏洞與隱患；

???再借由合規翻譯，將繁雜的法規條文轉化為切實可行的技術標準與操作指南，讓從業者清晰知曉合規邊界；

???最后依靠持續驗證，在 AI 系統的全生命周期中不斷審視與糾偏，確保其始終嚴守倫理與合規底線，推動人工智能行業健康、有序發展。

未來，騰訊安全城市沙龍也將持續聚焦技術縱深-標準建設-生態協同-人才儲備方向，與產學研用各界專家及從業者，共同探討數字世界的安全之道，助力企業打造更加穩固的數字防線。