cs
02-06 00:00
本研究提出使用去噪扩散概率模型(DDPMs)作为神经影像表型(IDPs)的统一条件密度估计器,以克服传统单变量建模丢弃多变量依赖关系的局限。方法采用两种骨干网络:FiLM条件MLP和SAINT表格Transformer,通过采样生成单变量百分位数和临床可解释的偏差分数。在合成数据和UK Biobank FreeSurfer表型(维度2至200)上的评估表明,扩散模型在低维时能提供与传统基线相当的校准输出,同时联合建模真实依赖结构;在高维时,Transformer骨干在百分位数校准和保持高阶依赖方面显著优于MLP,为实现与标准单变量流程兼容的可扩展联合规范模型提供了可行路径。
扩散模型规范建模神经影像多变量分析条件密度估计偏差评估
cs
02-06 00:00
Doc2Spec 是一个多智能体框架,旨在解决形式化验证中手动编写精确规范成本高昂的难题。它利用大语言模型从自然语言编程规则中自动归纳出规范语法,并在此语法的引导下生成形式化的编程规范。该诱导出的语法能捕获关键领域知识、约束规范空间并确保表示一致性,从而提升生成规范的可靠性与质量。在涵盖三种编程语言的七个基准测试中,Doc2Spec 的表现优于无语法归纳的基线方法,并与使用人工编写语法的技术取得了竞争性结果,证明了自动化语法归纳在形式化自然语言规则方面的有效性。
形式化规范语法归纳大语言模型软件验证多智能体
cs
02-06 00:00
本研究提出Causal Analyst框架,首次从因果关系的角度系统分析大语言模型(LLM)的“越狱”机制。通过构建包含3.5万次越狱尝试的数据集,并联合训练基于LLM的提示编码和基于图神经网络(GNN)的因果图学习,该框架揭示了如“正面角色设定”和“任务步骤数量”等可解释提示特征是导致越狱的直接因果驱动因素。基于此,研究开发了能针对性提升攻击成功率的“越狱增强器”和能从混淆查询中提取真实恶意意图的“护栏顾问”,实验证明该因果分析方法在提升LLM安全性与可解释性方面优于非因果方法。
大语言模型安全因果分析越狱攻击图神经网络可解释性ai对抗性提示
cs
02-06 00:00
研究发现,大语言模型生成的代码常包含可预测的模板化漏洞。本文提出特征-安全表方法,通过前端特征和模型知识,在无需访问后端源码的情况下,成功预测漏洞,攻击成功率高达94%。该方法还量化了模型在不同程序、语义改写和应用领域中重复产生相同漏洞的一致性,揭示了LLM代码生成中未被充分探索的安全风险。
代码安全大语言模型漏洞预测黑盒攻击软件工程
cs
02-06 00:00
本研究挑战了现有认知,证明在参数有界的条件下,即使发布无限数量的合成数据记录,隐私放大效应依然存在。这突破了Pierquin等人(2025)研究中模型维度需远大于发布记录数的限制,使理论结果更具实际应用价值。分析揭示了合成数据发布机制的结构性见解,为开发更复杂、隐私保障更严格的发布机制提供了理论指导。
差分隐私合成数据隐私放大生成模型数据发布
cs
02-06 00:00
研究发现,一种用于提升大语言模型(LLM)实用性的后训练对齐技术——激活引导(Activation Steering)——会带来严重的安全风险。即使使用完全良性的数据集(如强化合规性或特定输出格式)生成的引导向量,也会无意中削弱模型原有的安全防护机制,导致模型对越狱攻击的抵抗力下降。实验表明,这种干预会绕过初始的安全对齐,使标准基准测试中的攻击成功率提升至80%以上,暴露了模型部署过程中的一个关键盲点。
大语言模型模型安全激活引导越狱攻击后训练对齐安全风险
cs
02-06 00:00
本研究提出了一种针对文本到图像扩散模型的语义级后门攻击方法。与依赖固定文本触发器的传统攻击不同,该方法将触发器定义为连续的语义区域,并通过在交叉注意力层中编辑关键投影矩阵来植入后门。这使得具有相同语义组合的多样化提示都能可靠地激活攻击。该方法还引入了语义正则化和多实体后门目标,以增强隐蔽性并规避基于注意力一致性的检测。实验表明,该方法在保持高攻击成功率的同时,对现有输入级防御具有强鲁棒性。
后门攻击扩散模型语义安全模型安全对抗样本
cs
02-06 00:00
本文提出一种名为“幻影转移”的新型数据投毒攻击。该攻击的关键特性在于,即使攻击者完全知晓毒化数据在良性数据集中的具体植入方式,也无法通过过滤手段将其清除。研究通过改进潜意识学习技术,使其适用于现实场景,并证明该攻击对包括GPT-4.1在内的多种模型均有效。实验表明,即使使用另一模型对数据集中的每个样本进行完全复述,也无法阻止攻击生效。研究还探讨了其与“转向向量”的关联,展示了如何在模型中植入密码触发的特定行为,同时成功规避现有防御机制。这些发现表明,单纯依赖数据层面的防御措施不足以应对此类复杂的投毒攻击,未来的安全研究应更侧重于模型审计和白盒安全方法。
数据投毒对抗攻击模型安全人工智能安全防御机制
cs
02-06 00:00
本文评估了Kubernetes生态系统原生支持生成式AI推理工作负载的能力。通过实现一个包含自动语音识别和大型语言模型摘要的多阶段用例,研究展示了Kueue、动态加速器切片器与Kubernetes网关API推理扩展等组件的协同效果。实验表明,该平台能显著提升性能:Kueue将总完工时间缩短达15%,DAS使平均作业完成时间减少36%,而GAIE则将首令牌生成时间提升了82%。
kubernetes生成式ai模型推理性能优化容器编排ai工作流
cs
02-06 00:00
研究将Transformer视为物理电路,引入动量注意力机制,通过运动学差分算子 $p_t = q_t - q_{t-1}$ 嵌入物理先验,并实现辛剪切变换 $\hat{q}_t = q_t + \gamma p_t$。核心贡献是发现了辛-滤波对偶性:物理剪切在数学上等价于高通滤波器。这使得模型能够绕过形成归纳头所需的两层拓扑深度约束,实现单层归纳。研究通过5100多次实验验证,125M参数的动量模型在归纳密集型任务上表现出色,并揭示了动量与深度可替代的缩放定律 $\gamma^* = 4.17 \times N^{-0.74}$。
动量注意力机制可解释性transformer辛几何信号处理归纳头
cs
02-06 00:00
本文提出DCER框架,通过双阶段压缩与基于能量的重建,解决多模态融合中的噪声输入和模态缺失两大鲁棒性挑战。压缩阶段采用模态内频率变换(音频小波、视频DCT)去噪,并结合跨模态瓶颈令牌促进深度融合。对于缺失模态,基于学习的能量函数通过梯度下降重建表征,其最终能量值可量化预测不确定性(与预测误差相关性ρ > 0.72)。在CMU-MOSI等基准测试中达到最优性能,并呈现U型鲁棒性模式。
多模态融合鲁棒性学习能量模型表征压缩不确定性量化
cs
02-06 00:00
本研究提出了一种整合物理知识与数据驱动的因果发现框架,用于分析具有反馈、循环和非平稳趋势的复杂动力学系统。核心方法是将系统演化建模为随机微分方程(SDE),其中漂移项编码已知的常微分方程(ODE)物理动力学,扩散项则对应超出预设物理的未知因果耦合。研究者开发了一种可扩展的、利用因果图结构的稀疏诱导最大似然估计算法,并在温和条件下建立了因果图恢复的理论保证。实验表明,该方法在多种因果结构的动力学系统中,相比纯数据驱动的先进基线,能更准确地恢复因果图,并产生更稳定、物理一致的估计。
因果发现动力学系统随机微分方程物理引导归纳偏置稀疏估计
cs
02-06 00:00
本文提出了一种名为时序配对一致性(TPC)的轻量级方差降低原理,用于改进连续时间生成模型(如流匹配、扩散模型)的训练。TPC通过耦合同一概率路径上配对时间步的速度预测,在估计器层面实现了方差降低,无需修改模型架构、概率路径或求解器。理论分析表明,TPC引入了一种二次的、轨迹耦合的正则化,能在保持流匹配目标的同时有效降低梯度方差。在CIFAR-10和ImageNet等多个分辨率数据集上的实验表明,TPC能以相同或更低的计算成本获得更优的样本质量和效率(更低的FID),并能无缝集成到包含噪声增强训练、基于分数的去噪和整流流等现代SOTA风格流程中。
生成模型流匹配方差缩减时序一致性图像生成
cs
02-06 00:00
本文提出了一种与标准人工神经网络方法在运算和学习规则上根本不同的新型架构。该架构将任意数据编码为图,其边对应一组固定的基本二元关系代码,使得关系编码内生于系统最基础的组件中。通过一种新颖的图哈密顿算子计算编码间的能量,其基态表示图中所有顶点间关系约束的同时满足。该方法仅使用极低精度算术,计算成本低且随数据边数线性增长。该架构不仅能处理标准ANN任务,还能产生具有符号计算特征的表示,识别数据中的简单逻辑关系结构(如部分-整体、相邻),构建支持溯因推理步骤的层次化表示。研究还推导出一组等效的ANN操作,为当前高层语义表示研究提供了一种潜在的有用方法。
神经网络架构图哈密顿量符号计算关系表示低精度计算逻辑推理
cs
02-06 00:00
针对工具增强检索生成(RAG)系统难以追溯最终响应来源的问题,本研究提出原子信息流(AIF)模型。该模型将工具输出和LLM调用分解为不可分割的“原子”信息单元,通过构建从工具/LLM节点到响应“超级汇”的有向流图,实现细粒度的归因度量。基于网络流理论的最大流最小割定理,研究训练了一个轻量级Gemma3(4B参数)模型作为上下文压缩器,利用AIF离线计算的流信号来近似工具原子的最小割。实验表明,在HotpotQA数据集上,经过AIF信号微调的模型将关键信息识别准确率从54.7%提升至82.71%,同时实现87.52%的上下文令牌压缩,性能接近参数量大7倍的Gemma3-27B变体。
rag系统工具归因网络流模型可解释ai上下文压缩信息流
cs
02-06 00:00
本文提出A²-LLM,一种端到端的对话音频化身大语言模型,旨在解决现有级联系统存在的误差累积、高延迟和情感表达不足等问题。该模型在一个统一框架内,联合推理语言、音频韵律和3D面部运动。为支持训练,研究团队构建了高质量多模态数据集FLAME-QA。实验表明,A²-LLM能生成超越简单口型同步、富含情感的面部动作,同时保持实时效率(延迟500毫秒,实时因子0.7)。
多模态大模型数字人端到端学习情感计算实时交互
cs
02-06 00:00
本文提出SLAY,一种新的线性时间注意力机制。它将查询和键约束在单位球面上,使注意力仅取决于角度对齐,从而具备几何感知特性。通过伯恩斯坦定理,将球形Yat核表达为非负混合的指数多项式积核,并推导出严格正值的随机特征近似,实现了O(L)的线性复杂度。实验表明,SLAY的性能与标准Softmax注意力几乎无法区分,同时保持了线性的时间和内存开销,并持续优于Performers和Cosformers等现有线性注意力方法。
线性注意力transformer几何感知随机特征机器学习高效计算
cs
02-06 00:00
本研究通过几何分析探究了大语言模型(LLM)在处理上下文信息与内部知识冲突时的机制。研究对Qwen-4B、Llama-3.1-8B和GLM-4-9B模型进行了层间分析,将残差流更新分解为径向(范数)和角度(余弦)分量。结果否定了“流形稀释”假说的普适性,发现模型性能下降时残差范数仍保持稳定。核心发现是“正交干扰”机制:冲突上下文注入一个与真实方向近似正交的转向向量,旋转隐藏状态表示,而非抑制内部知识的强度。这意味着模型并非“忘记”事实,而是通过几何位移绕过正确的解嵌向量,在保持原始结构强度的同时模拟采纳行为。
大语言模型知识冲突几何分析正交干扰上下文学习幻觉检测
cs
02-06 00:00
本文提出了模板化组装指数,作为经典组装理论(Assembly Theory)的扩展。经典组装指数衡量从基本构件构建目标对象所需的最少二元连接操作数,其精确计算是NP完全的。新模型在纯拼接基础上引入了模板化组装步骤:中间对象可包含代表可压缩块的占位符,允许将预先组装的模块并行插入到多个占位符位置。该指数严格推广了经典指数,并保持了其操作特性。研究形式化了该模型,厘清了其与经典组装指数及最小语法问题等经典问题的关系,并探讨了其计算复杂性。该框架在序列分析、模块性检测和生物特征设计等领域具有应用潜力。
组装理论计算复杂性序列分析模板化组装np完全生物信息学
cs
02-06 00:00
特征导向作为一种通过直接操控内部表征来控制大语言模型行为的新兴方法,被认为比提示工程更具优势。然而,本研究通过系统评估发现,该方法在成功控制目标行为的同时,会显著损害模型的核心性能。在Llama-8B和Llama-70B模型上,使用Goodfire的Auto Steer方法进行特征导向后,尽管行为控制评分有所提升(Llama-8B: 3.33 vs. 2.98;Llama-70B: 3.57 vs. 3.10),但模型在MMLU任务上的准确率却大幅下降(Llama-8B从66%降至46%;Llama-70B从87%降至73%),输出连贯性也明显恶化。结果表明,简单的提示工程在整体平衡上表现最佳,突显了当前特征导向方法在需要保持任务性能的实际部署中存在根本性局限。
大语言模型特征导向性能权衡模型控制提示工程能力评估
cs
02-06 00:00
本文提出LISA方法,通过结合延迟坐标嵌入与拉普拉斯谱学习,在推理时仅利用观测序列前缀即可自适应调整拉普拉斯时序模型。该方法生成扩散坐标状态表示,并配合冻结非线性解码器进行一步预测。研究引入基于高斯过程回归或类注意力马尔可夫算子的轻量级潜空间残差适配器。实验表明,LISA在预测和自回归推演任务中优于基线模型,尤其在动态变化场景下表现突出,将上下文自适应与非参数谱方法进行了理论连接。
时间序列预测拉普拉斯谱分析上下文学习非参数方法动态系统
cs
02-06 00:00
针对直接偏好优化(DPO)等方法因使用固定参考策略而导致分布失配、放大噪声信号的问题,本文提出几何锚点偏好优化(GAPO)。该方法将固定参考替换为动态的几何感知锚点——当前策略在小半径内的对抗性局部扰动,作为悲观基线。通过引入锚点间隙(Anchor Gap)度量策略与其锚点间的奖励差异,并在平滑性条件下证明其近似于最坏情况的局部边际退化。优化由该间隙加权的逻辑目标,可以降低对几何脆弱实例的权重,同时强调鲁棒的偏好信号。在多种噪声设置下,GAPO在保持或提升标准LLM对齐与推理基准性能的同时,显著增强了鲁棒性。
偏好对齐鲁棒性几何锚点大语言模型对抗扰动奖励模型
cs
02-06 00:00
针对大语言模型生成代码的正确性问题,本研究提出VeruSyn数据合成流水线,为Rust系统软件验证工具Verus生成形式化证明。通过自合成与教程合成技术,VeruSyn构建了包含690万个附带形式化规约与证明的Rust程序数据集,其规模和功能覆盖远超以往方法。基于此数据集微调的Qwen2.5-Coder-32B-Instruct模型,在证明生成成本与效果上优于Claude Sonnet 4.5、o4-mini等先进模型,显著提升了代码验证的自动化水平。
形式化验证rust系统数据合成大语言模型代码证明
cs
02-06 00:00
本文提出 HeteroComp 方法,用于分析和检测包含时间戳及多种属性(如通信日志中的时间、IP地址、数据包长度)的事件张量流中的异常。该方法解决了现有技术的两大局限:1)无法同时处理分类属性(如IP地址)和连续属性(如数据包长度),避免了因离散化或错误分布假设导致的数据失真;2)能够连续建模时间动态性(如趋势、异常事件),有效检测群体级异常(如DoS攻击)。HeteroComp 采用高斯过程先验对连续属性的未知分布和时间动态进行建模,直接从数据中估计概率密度。提取的“组件”能提供简洁有效的摘要,从而实现准确的群体异常检测。在真实数据集上的大量实验表明,HeteroComp 在群体异常检测准确率上优于现有先进算法,且其计算时间不依赖于数据流长度。
异常检测张量流分析异构数据高斯过程群体异常时序动态