cs
02-03 00:00
本文提出统一研究文本评分模型(包括密集检索器、重排序器和奖励模型)的对抗鲁棒性,揭示其共享脆弱性。作者指出,与开放式生成不同,文本评分失败可直接测试:当无关或被拒绝的文本得分高于相关或被选文本时,攻击即成功。研究发现现有对抗训练方法视野短浅、泛化性差,为此引入多种针对文本评分模型的对抗训练方法,证明组合互补方法能在提升任务效果的同时获得强鲁棒性。该方法在RLHF中具有实用价值,能缓解奖励黑客攻击并训练出更对齐的LLMs。
对抗鲁棒性文本评分模型对抗训练奖励模型密集检索rlhf
cs
02-03 00:00
本文从博弈论视角重新审视Transformer中的多头注意力机制,指出多头之间实为竞争与协作的智能体。研究发现,标准的交叉熵训练会诱导出一个隐含的势博弈,梯度下降收敛的纳什均衡可能因外部性(如冗余、相关错误)而产生无界低效。核心贡献在于将“超额幻觉概率”与“超额头冗余”统一为单一机制,并证明其与由头间交互矩阵非对角线质量Γ(G)决定的“无政府价格”成正比。基于此,作者提出了GAME-LoRA方法,结合Barlow Twins去相关与对数行列式协调压力来降低Γ(G)。实验验证了理论:Γ(G)能预测幻觉,且GAME-LoRA在保持知识不退化的情况下,平均降低8%的幻觉,最高达18%。
多头注意力博弈论transformer幻觉抑制模型优化纳什均衡
cs
02-03 00:00
本研究提出了一种高效的多尺度图神经网络框架,专门用于蛋白质结构学习。该框架构建了包含精细二级结构基序(如α-螺旋、β-折叠)子图和连接这些基序的粗粒度图的分层图表示,并采用两个GNN分别学习局部相互作用和跨基序的高级结构关系。理论证明该框架保持了最大表达能力,实验表明其能显著提高预测精度并降低计算成本。
图神经网络蛋白质结构多尺度学习二级结构计算生物学深度学习
cs
02-03 00:00
本研究将自然语言处理中的基础模型范式引入汽车领域,提出了首个针对控制器局域网(CAN)总线数据的预训练语言模型。该模型将解码后的CAN信号视为一种“语言”,通过大规模无标签数据进行预训练,并能在碰撞检测、预测性维护、驾驶员风险建模等多种下游任务上实现有效微调与泛化。研究设计了统一的混合离散-连续信号分词方案,并解决了时序复杂性和行程特异性变异等挑战,验证了基础模型范式在汽车AI领域的适用性,为可泛化的表征学习开辟了新方向。
预训练模型can总线汽车ai表征学习时序数据风险建模
cs
02-03 00:00
本文针对条件流匹配方法在概率路径学习上的不足,提出了一种新的误差偏微分方程表征及其解法。理论分析表明,两个概率路径之间的总变差差距受CFM损失和关联散度损失共同约束。基于此,作者设计了一种同时匹配流及其散度的新目标函数。该方法在不牺牲生成效率的前提下,显著提升了流基生成模型在多个基准任务(如动力系统、DNA序列和视频生成)上的性能。
流匹配生成模型概率路径散度损失偏微分方程
cs
02-03 00:00
针对神经网络算子(Neural Operators)在复杂或不规则几何域上性能下降的问题,本研究提出了有限元特征函数网络(FEENet)。该混合谱学习框架基于微分算子的特征函数理论,核心思想是:对给定几何域,利用有限元方法一次性计算其内蕴的特征函数基。随后,偏微分方程的解在此几何适配的基下表示,学习任务简化为预测对应的谱系数。实验表明,相较于经典的DeepONet框架,FEENet在一系列参数化偏微分方程和复杂二、三维几何问题上,均能持续实现更高的精度和计算效率。该方法还具有分辨率无关的推理、可解释性以及自然推广到由微分算子定义的非局部算子等优势。
偏微分方程求解神经网络算子有限元方法谱方法混合框架复杂几何
cs
02-03 00:00
本文提出SELF-THOUGHT框架,旨在解决大语言模型(LLM)自我修正中仅修补表面错误、难以纠正深层推理缺陷的问题。该方法在解决方案细化前引入任务抽象步骤,将任务提炼为捕获关键变量、约束和问题结构的结构化模板。该抽象模板可指导后续解决方案的实例化,减少错误传播。关键创新在于,由大模型生成的抽象模板可跨模型迁移,作为小模型的结构化指导,使其无需大量微调或依赖外部验证器即可实现更可靠的修正。实验表明,该方法能提升不同规模模型在多种推理任务上的准确性、鲁棒性和泛化能力。
大语言模型自我修正任务抽象推理能力模型迁移
cs
02-03 00:00
本研究提出了一种适用于自相似变量的训练框架,用于学习热方程类偏微分方程的长时间动力学。该框架与标准神经算子训练兼容,并在二维不可压Navier-Stokes方程和一维粘性Burgers方程上进行了验证。实验表明,与在物理坐标下训练的模型相比,在自相似坐标下训练的模型在训练窗口外具有更准确、更稳定的外推能力,并能更好地捕捉长时间定性趋势。结果表明,自相似坐标为此类方程的学习提供了数学驱动的归纳偏置。
神经算子自相似变量长时间动力学偏微分方程学习归纳偏置
cs
02-03 00:00
针对FLUX等先进文生图模型中存在的视觉与解剖结构伪影问题,本研究提出了DIAMOND方法。该方法无需额外训练或修改模型权重,通过在推理过程中对生成轨迹进行主动校正来缓解伪影。其核心在于每一步都重构对干净样本的估计,从而引导生成过程远离可能导致伪影的潜在状态。该方法同样适用于标准扩散模型,为零样本实现高保真、无伪影的图像合成提供了一条稳健路径。
图像生成伪影消除推理优化流匹配模型零样本方法
cs
02-03 00:00
本文提出RoDiF方法,旨在解决基于人类偏好微调扩散策略时面临的挑战。通过引入统一马尔可夫决策过程(MDP)框架,将扩散去噪链与环境动态相结合,实现了无需奖励模型的直接偏好优化(DPO)。RoDiF的核心创新在于从几何假设切割视角重构DPO目标,并采用保守切割策略,使其在无需假设特定噪声分布的情况下,对高达30%的噪声偏好标签保持鲁棒性。实验表明,该方法在长视野操作任务中能有效引导预训练扩散策略符合人类偏好,性能优于现有基线。
扩散策略机器人控制偏好学习鲁棒优化直接偏好优化
cs
02-03 00:00
EffGen 是一个专为小语言模型优化的开源智能体框架,旨在实现高效、安全的本地方案部署。其核心贡献包括:通过提示优化将上下文压缩 70-80% 并保持语义;基于依赖关系的智能任务分解;利用五个因素进行复杂度路由的预执行决策;以及结合短期、长期和向量存储的统一记忆系统。在 13 个基准测试中,EffGen 在成功率、执行速度和内存占用上均优于 LangChain、AutoGen 等主流框架。研究发现,提示优化对小模型提升更显著(1.5B 参数模型增益 11.2%),而复杂度路由对大模型更有效(32B 参数模型增益 7.9%),两者结合可在所有规模上带来一致增益。
小语言模型智能体框架提示优化任务分解本地部署开源工具
cs
02-03 00:00
现有股票预测方法通常依赖预定义的图结构来捕捉股票间关系,但网络信号噪声大、异步性强,导致预定义图与下游任务不匹配。本文提出GAPNet,一种图自适应插件网络,能够以端到端方式联合学习任务特定的图拓扑结构和节点表示。它通过空间感知层捕捉资产的短期协同波动,以及时间感知层在分布漂移下维持长期依赖关系,动态调整和重连边拓扑。实验表明,GAPNet能显著提升模型的盈利能力和稳定性,在RT-GCN和CI-STHPAN模型上分别实现高达0.47和0.63的年化累计收益,峰值夏普比率分别达2.20和2.12。其即插即用设计使其能广泛适配多种图神经网络架构。
图神经网络股票预测动态图学习自适应拓扑金融科技端到端学习
cs
02-03 00:00
本研究提出了一种新的混合框架,将向量外推技术与预条件梯度下降方法相结合,用于求解非线性最小二乘问题。该框架不仅旨在加速迭代收敛,还致力于同时提升最终解的近似精度。通过系统性的数值实验,评估了多项式型外推方法和向量$\varepsilon$算法与梯度下降方案(无论是否使用预条件)结合后的性能。结果表明,所提出的混合方法在收敛速度和求解精度上均有显著改善,并通过与基于广义Krylov子空间的高斯-牛顿方法进行基准测试,进一步验证了其性能优势。
非线性最小二乘向量外推预条件梯度下降迭代加速数值优化
cs
02-03 00:00
本文提出了一种针对三角网格线性系统的快速稀疏矩阵重排算法。该方法通过放松严格平衡和分隔器最优性要求,优先实现快速分区和高效的消去树构建,从而显著降低重排开销。算法将重排分解为补丁级局部排序和分隔器的紧凑商图排序,在保留稀疏Cholesky分解所需核心结构的同时,避免了其最昂贵的计算部分。集成到CPU和GPU的稀疏Cholesky求解器后,在图形学应用中可将重排时间减少高达6.27倍。
稀疏矩阵网格计算cholesky分解线性系统高性能计算图形学
cs
02-03 00:00
本文针对共享信息物理系统中用户不遵从系统初始分配的问题,提出了一种事后再分配框架ReACT-TTC。该框架基于经典的Top-Trading-Cycles机制,通过引入容量感知的循环检测规则,扩展了其对多对一资源容量及未分配资源状态的处理能力。研究证明了该机制在保持帕累托效率、个体理性及防策略性等优良性质的同时,能够有效终止。结合前景理论用户偏好模型,该框架在电动汽车充电的真实案例中,显著提升了存在不遵从行为时的用户满意度和分配质量。
资源分配交易循环机制信息物理系统用户偏好算法设计博弈论
cs
02-03 00:00
本文提出Distill3R框架,旨在将大型3D基础模型的几何推理能力蒸馏到可在单工作站上训练的紧凑学生模型中。其核心创新包括:1)通过离线缓存管道,将繁重的教师模型推理与训练循环解耦;2)利用教师模型不确定性的置信感知蒸馏损失。实验表明,一个7200万参数的学生模型,相比其6.5亿参数的教师模型,参数量减少9倍,推理速度提升5倍,且可在单工作站上3天内完成训练,同时保持了结构一致性和功能性3D感知所需的几何理解。
3d重建模型蒸馏计算效率基础模型计算机视觉
cs
02-03 00:00
本文提出了一种名为Safe Stochastic Explorer(S.S.Explorer)的新框架,旨在解决机器人在未知、随机且安全至上的环境中(如行星探索、仓库或家庭)进行安全目标驱动探索的难题。现有安全控制方法通常假设系统动力学已知,而现有安全探索技术则难以处理现实世界中不可避免的随机性(如探测车在未知表面打滑)。该框架通过高斯过程在线学习未知的安全函数,并利用其预测不确定性来指导信息收集行动,从而在降低环境安全不确定性的同时,为安全违规提供概率界限。研究展示了该方法从离散状态空间到连续状态空间的可扩展性,并能自然地应用于确保与多个未知物体的安全物理交互。仿真和硬件实验验证了其有效性。
安全探索随机环境高斯过程机器人自主控制屏障函数人机交互
cs
02-03 00:00
本文提出了一种运动感知可通行性表示方法,用于解决越野导航中低速不一定安全的问题。该方法将每个地形区域建模为速度的高斯函数,而非单一标量分数,从而能根据实际机器人运动动态评估地形成本。系统通过单次前向传播预测地形相关参数,并高效更新不同速度下的地形成本,无需重复推理。实验表明,该方法能实现实时高效的敏捷越野导航,在模拟和真实环境中将路径绕行减少75%,同时确保复杂地形下的安全性。
越野导航运动感知路径规划机器人控制地形建模实时系统
cs
02-03 00:00
本研究针对扩散大语言模型与混合专家架构结合时出现的“专家爆炸”问题,提出动态专家共享技术。该技术通过序列级核心集选择,将优化重点从传统的逐令牌剪枝转向为整个并行解码块选取紧凑、高效用的专家集合。具体引入两种策略:适应序列级最优分配的DES-Seq,以及基于聚合路由器权重让令牌集体选举核心集的DES-Vote。实验表明,DES能减少超过55%的独特专家激活,降低高达38%的延迟,同时保持99%的原始模型精度,有效将内存开销与并行度解耦。
混合专家模型扩散模型并行解码内存优化大语言模型推理加速
cs
02-03 00:00
针对数字任务中普遍存在的“困难溢出”和“次优求助”问题,本研究开发了一种主动自适应支持系统。该系统通过分析用户的皮肤电活动与鼠标移动数据,预测其何时需要帮助,并利用基于规则的阈值自适应方法触发个性化分类器,从而在恰当时机提供基于大语言模型的澄清与解释。一项被试内对照实验(N=32)表明,与时机错配或随机的干预相比,时机匹配的主动辅助能将回答准确率提升21%,将假阴性率从50.9%降至22.9%,并显著提升了用户对系统效率、可靠性与善意的感知。该研究证明,将支持与认知状态对齐,能有效防止错误响应的级联效应,提升任务结果与用户体验。
人机交互主动辅助用户建模生理传感llm应用自适应系统
cs
02-03 00:00
本研究构建了ILSIC数据集,包含500多项印度法律条文的非专业人士查询,并整合了法庭判决文本,以探索法律条文识别任务中专业与大众数据的差异。实验表明,仅基于法庭判决训练的模型在处理非正式查询时效果不佳,而从专业数据向大众数据的迁移学习在特定场景下有益。研究通过零样本、少样本、检索增强生成及监督微调等方法进行了基准测试,并对查询类别和条文频率进行了细粒度分析。
法律条文识别自然语言处理印度法律数据集构建迁移学习非专业查询
cs
02-03 00:00
本研究提出了一种神经算子分裂策略,旨在解决神经网络在学习偏微分方程(PDE)解映射时,对训练分布外数据(如新初始条件、未见系数或物理现象)泛化能力不足的问题。该方法基于一个预训练好的神经算子字典(DISCO),在测试时无需调整权重,通过搜索并组合训练中见过的算子来近似未见过的动力学。在参数外推和物理现象新组合等挑战性任务上,该方法实现了先进的零样本泛化性能,并能恢复潜在的PDE参数。
神经算子偏微分方程零样本泛化算子分裂物理信息学习测试时适应
cs
02-03 00:00
本文针对大语言模型(LLMs)在微调、知识蒸馏和令牌剪枝等任务中面临的数据选择问题,提出了一种可靠性感知的确定性点过程(ProbDPP)。传统基于DPP的方法仅关注数据多样性,并假设所选数据批次总能被完美访问,这在存在存储故障、通信不完善或随机访问失败的实际场景中会失效。ProbDPP通过引入一个正则化项重构目标函数,将其分解为几何多样性项和不可靠性代价,从而在不确定性下实现鲁棒的多样化数据选择。此外,作者将该问题建模为一个组合半赌博机问题,并提出一种UCB风格的在线算法来学习未知的可靠性参数,并提供了理论上的遗憾界保证。
大语言模型数据选择确定性点过程可靠性感知在线学习组合优化
cs
02-03 00:00
本研究构建了一个全面的系统级性能模型,用于评估光子内存计算。该模型考虑了外部内存访问和光电转换等关键延迟源。通过将Sod激波管问题、MTTKRP和张量运算、Vlasov-Maxwell方程等多种高性能计算工作负载映射到硬件,评估了延迟对实际应用的影响。模型分析表明,一个采用GlobalFoundries标准硅光子工艺制造的紧凑型1x256位单波长光子SRAM阵列,在考虑系统开销后,在上述工作负载上分别能维持高达1.5 TOPS、0.9 TOPS和1.3 TOPS的算力,平均能效达到2.5 TOPS/W。
光子计算内存计算性能建模硅光子学高性能计算能效评估