2024年是大模型发展的元年，百花齐放、百家争鸣。在这样的背景下，人工智能与网络安全领域的结合催生了两大新兴领域：大模型赋能安全和大模型内生安全。那么，这种结合又带来哪些新的动态和前沿探索呢？
针对上述问题，安全极客、Wisemodel社区联合主办了“AI+Security”系列线下活动，首期活动的主题是：大模型与网络空间安全前沿探索。本场活动在由阿尔法公社运营的科大硅谷北京创新中心举行，旨在汇聚行业精英，共同探讨AI与网络安全融合的最新进展和未来趋势。
参与本次活动的嘉宾有：清华大学博士生导师、助理教授陈建军，阿尔法公社创始合伙人兼CEO许四清，云起无垠创始人兼CEO沈凯文，墨云科技合伙人彭逍遥，月之暗面安全工程师麦香和安全资深专家宁宇飞，他们一起探讨了大模型与网络安全的技术应用与研究，带来了专业的技术分享，并收获了与会者的一致好评。
活动伊始，始智AIWisemodel社区创始人兼CEO刘道全先生在开场致辞环节，对与会者的到来表示热烈的欢迎，随后简明扼要地介绍了本次活动的主题和社区联合举办此次活动的初衷，希望与业界同仁共同探讨和交流AI与Security结合的技术理念及其在实践中的应用，以促进知识的共享和行业的发展。
在活动中，阿尔法公社创始合伙人兼CEO许四清向参与活动的行业专家们介绍了合肥的科创生态和科大硅谷的发展愿景，并诚邀各位企业家来合肥创业。
厚植创新生态，感召五洲英才。“科大硅谷”是聚焦创新成果转化、创新企业孵化、创新生态优化，以中国科学技术大学等高校院所全球校友为纽带汇聚世界创新力量，发挥科技体制创新引领作用，立足合肥城市区域新空间打造的科技创新策源地、新兴产业聚集地示范工程。
许四清也分享了阿尔法公社在天使投资领域的最佳实践，并现场与对创业有兴趣的AI安全专家们深入互动。
01、
安全智能体的前沿技术研究与实践
随着人工智能技术的不断进步，AI成为安全领域创新发展的重要引擎。从传统规则到大数据，再到AI的广泛赋能，安全能力日益增强。当前，大模型赋能安全正处于探索阶段，其潜力巨大，有望为安全领域带来更加精准、智能的解决方案。然而，大模型在安全场景的应用中存在幻觉和鲁棒性问题，距离理想状态还有⼀定差距。
在这样的背景下，云起无垠创始人兼CEO沈凯文认为，AI Agent是解决LLM落地应用痛点的最佳途径。通过提升AI Agent的理解力和泛化能力，使其能更好地处理多种任务和上下文信息。这将增强AI智能体的自然语言处理能力，从而提供更个性化、连贯的交互体验。
相比传统的安全解决方案，安全智能体具有显著的优势。传统的威胁检测方法依赖于特征签名和静态规则，容易导致威胁过载和误报漏报。而智能体通过动态学习和优化，可以有效减少误报，提高威胁检测的准确性和效率。此外，智能体的自动化能力也显著提升了安全任务的处理效率，降低了人力成本。
02、
AI赋能下的自动化攻防
攻防实战⼀直是网络安全行业的主旋律，也是双方检验技战法的重要手段。在小模型时代，攻击者通常参照cyberkill-chain模型进行安全攻击，此阶段的AI主要赋能验证码识别、登录页面识别、攻击路径决策以及组合和迭代攻击。
随着GPT大模型的兴起，大模型赋能安全后，在自动化攻防中发挥了许多作用。墨云科技合伙人彭逍遥先生指出，在大模型时代，AI在攻击决策、漏洞分析及可视化分析等方面都发挥了重要作用。此外，多模态模型和开源大模型也展示了其解决工程化难题的能力。最后，彭逍遥先生还分享了未来自动化攻防存在的三大趋势。
03、
月之暗面安全实践思考
自大模型兴起以来，依托大模型研发设计的产品和工具层出不穷，旨在为用户提供更好的服务。国内AIGC产品的典型代表月之暗面，作为其中的佼佼者，展示了强大的实力，被广泛关注。然而，大模型的快速发展也伴随着网络安全问题，如何保证大模型的安全及其工具的安全使用显得至关重要。
月之暗面的安全工程师麦香老师结合公司的安全实践，详细分享了大模型在网络安全、数据安全、应用安全和访问控制等方面面临的问题，并针对OWASP LLM TOP10问题及其应对措施进行了深入阐述。此外，他还介绍了目前在云安全、LLM安全实践和外部能力生态共建等方面的措施，以确保月之暗面Kimichat工具的安全使用。
04、
大模型安全边界:揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略
随着大模型和AI的普及及广泛应用，确保模型的输入和输出安全至关重要。资深安全专家、Kelp AI Beta作者宁宇飞分享了在商业AI中最常见的三种安全攻击：提示注入攻击、会话共享漏洞和AI幻觉毒化策略。他详细介绍了这三种攻击的具体方式和实践案例，并讨论了关键挑战和未来方向。
宁宇飞先生表示，未来我们需要重点关注大模型的涌现能力。这种能力的安全性几乎等同于大模型的安全性，既可能是有益的、良性的，也可能是潜在的有害的。无论是哪种情况，涌现能力都很难预测，直到它们表现出来。
05、
圆桌讨论：《大模型+网络空间安全前沿探索》
在圆桌讨论中，清华大学博士生导师、助理教授陈建军，阿尔法公社创始合伙人兼CEO许四清，云起无垠创始⼈兼CEO沈凯文，墨云科技合伙人彭逍遥，月之暗面安全工程师麦香和安全资深专家宁宇飞，共同探讨了大模型和网络安全前沿探索中的几个关键问题。
如何解决大模型的幻觉问题，以提升其在B端应用中的鲁棒性和正确性，使其达到商业可用标准？
在网络空间安全领域，大模型的应用与商业化正在积极探索中。专家们认为“安全+AI”的未来应用方案将朝哪个方向发展？是垂直模型、智能体，还是其他形态？
随着大模型智能安全产品的能力、自动化程度和自主决策能力的增强，未来的智能安全产品能否替代企业中的安全从业者？未来的安全团队将如何工作？
在讨论中，嘉宾们分享了他们的专业见解和认知，帮助我们对上述关键问题有了更深入的理解。
本文转载自安全极客。
更多精彩内容
关于阿尔法公社
