cs
02-24 00:00
本文提出FineRef框架,旨在解决大语言模型在长文本生成中引用不匹配或不相关的问题。该框架采用两阶段训练策略:首先通过监督微调,利用轻量级模型构建的细粒度反思数据,教导模型形成“尝试-反思-纠正”的行为模式,并引入在线自反思引导策略迭代增强数据;随后应用过程级强化学习,通过多维奖励机制提升反思准确性、答案质量和纠正效果。在ALCE基准测试中,其7B模型在引用F1值上超越GPT-4达18%,在答案准确率上提升4%,并在领域迁移和噪声检索场景中表现出强鲁棒性。
大语言模型引用生成细粒度反思强化学习长文本生成错误纠正
cs
02-24 00:00
本文针对多参与方供应链网络中资源高效重分配的挑战,提出了“红蓝强化”问题。该问题要求服务提供商在预算约束下,通过最小化客户重分配,来减少所需维护的服务器数量。研究进行了系统的算法分析,提出了三种精确算法。这些算法在输入规模增长时具有良好的可扩展性,适用于模拟乡村路网、现代交通系统或具有有界团宽度的网络拓扑,具有重要的理论和实践价值。
资源分配精确算法预算约束参数化算法供应链优化网络拓扑
cs
02-24 00:00
本研究对FedTPG方法进行了忠实复现,该方法通过文本驱动的提示生成网络,在联邦学习框架下为视觉语言模型动态生成基于类名的提示,以提升对未见类别的泛化能力。在六个视觉数据集上的评估结果与原论文报告精度相差在0.2%以内,平均准确率在基础类上为74.58%,在新类上为76.00%,泛化性能提升1.43个百分点。结果验证了文本驱动提示生成相比静态提示方法在联邦学习中具有更优的跨类别泛化能力,且无需共享私有数据即可在多领域保持高性能。
联邦学习提示生成视觉语言模型零样本学习模型泛化可复现性
cs
02-24 00:00
本研究针对心理在线咨询中通用邮件主题阻碍高效分诊的问题,评估了11个大语言模型为德语咨询邮件生成六词主题的能力。研究采用分层评估法:先对输出分类,再在类别内排序,使评估更易管理。9位评估者(咨询专家与AI系统)通过Krippendorff's $\alpha$、Spearman's $\rho$、Pearson's $r$ 和 Kendall's $\tau$ 等指标进行分析。结果显示,专有服务与注重隐私的开源替代方案之间存在性能权衡,而德语微调能持续提升模型表现。研究还探讨了AI在心理健康领域部署的关键伦理问题,包括隐私、偏见和责任。
心理健康ai大语言模型评估在线咨询文本生成伦理考量德语微调
cs
02-24 00:00
本研究针对现有医疗对话AI在情商、公平性与礼貌性方面的不足,设计并评估了名为LunaAI的医疗聊天机器人原型。研究采用以用户为中心的设计方法,结合结构化文献综述,开发了涵盖常规及对抗性交互的对话场景。系统基于Google Gemini API构建,并部署为采用React、Vite和Firebase技术的移动优先渐进式Web应用。初步用户测试与基线大语言模型的对比分析表明,LunaAI在关键交互品质上取得显著提升,其礼貌性与公平性平均用户评分分别达到4.7分与4.9分(满分5分)。
医疗ai对话系统人机交互伦理设计用户体验
cs
02-24 00:00
随着用户依赖大语言模型(LLM)进行深度研究并生成结构化报告,报告的实用可靠性取决于其逻辑质量。现有评估框架普遍忽视此要求。为此,研究团队提出 ReportLogic 基准,通过以读者为中心的可审计性视角,量化报告层面的逻辑质量。该基准采用分层分类法,评估读者能否:(1)追溯具有统一分析脉络的主题报告结构(宏观逻辑),(2)在必要背景下理解论证进展(阐述逻辑),(3)通过明确的“主张-支持”关系验证结论(结构逻辑)。基于此分类法,团队构建了人工标注的数据集,并训练了开源的 LogicJudge 模型进行可扩展评估。对抗性攻击测试表明,现成的 LLM 评估器易受表面线索(如冗长)影响,推理模式可能掩盖断裂的支持关系。该研究为构建更稳健的逻辑评估器及提升 LLM 报告的逻辑可靠性提供了实用指导。
逻辑质量评估大语言模型研究报告可审计性基准测试对抗性攻击
cs
02-24 00:00
本文提出ConfSpec框架,旨在解决大语言模型进行链式推理时面临的高延迟问题。其核心思想是利用生成与验证任务的不对称性:生成正确推理步骤需要大模型能力,而步骤级验证是一个受限的判别任务,小模型在其能力范围内具有良好的校准性。该框架通过置信度门控的级联验证,让小模型高置信度的决策被直接接受,而将不确定案例选择性地提交给大目标模型。实验表明,ConfSpec在匹配目标模型精度的同时,实现了最高2.24倍的端到端加速,且无需外部评判模型,可与词元级推测解码技术正交结合以获得进一步加速。
推理加速链式思维推测解码大语言模型置信度校准级联验证
cs
02-24 00:00
本研究提出了一种基于扩散语言模型的提示词优化框架。该方法利用扩散模型,通过掩码去噪过程,迭代优化系统提示词。其核心在于,仅需依赖用户查询、模型响应及可选反馈等交互轨迹,即可实现灵活的、片段级别的提示词更新,而无需访问下游大语言模型的梯度或修改其参数。在多个基准测试上的实验表明,经此方法优化的提示词能持续提升冻结目标大语言模型的性能。研究还发现,适中的扩散步数能在优化质量与稳定性间取得最佳平衡。
提示工程扩散模型大语言模型模型优化迭代优化
cs
02-24 00:00
本文研究了多智能体语言系统中一种称为“渐进语义坍缩”的失效模式:在存在一个语义惯性极大的主导锚点节点的封闭语言环境中,重复交互会驱使外围代理节点的语义状态渐进对齐,以最小化全局损失。作者将语义状态建模为黎曼流形上的点,分析了诱导的投影动力学。研究发现:1)极限语义配置对优化历史不敏感,无论是平滑梯度更新还是随机噪声更新,最终都收敛到相同的拓扑终点;2)语境依赖程度控制信息内容,从原子表示转向完全纠缠表示会迫使节点熵(解释为可用自由度)在极限下消失。理论将信息论量与微分几何结构联系起来,并解释为一种约束智能体共享语义语法的不可变共识规则。
多智能体系统语义坍缩层级优化共识形成信息几何语言模型
cs
02-24 00:00
本研究提出将证据中心设计(ECD)框架集成到多智能体系统(MAS)中,利用多个具有不同专长的大型语言模型,自动生成符合下一代科学标准(NGSS)的评估项目。研究比较了AI生成项目与人类开发项目在多个设计维度上的质量。结果显示,AI生成项目在整体质量、与NGSS三维标准的契合度及认知需求方面与人类项目相当,并在包容性方面表现突出,但在清晰度、简洁性和多模态设计方面存在局限。研究表明,ECD与MAS的结合可实现规模化、标准化的评估设计,但人类专业知识仍不可或缺。
科学教育评估多智能体系统证据中心设计自动项目生成大型语言模型下一代科学标准
cs
02-24 00:00
本研究构建了首个专注于呼吸健康的音频问答数据集RA-QA,旨在弥补呼吸音频领域缺乏智能交互系统的空白。该数据集整合了11个不同来源的呼吸音频数据,包含约750万个问答对,涵盖60多种属性和三种问题类型。研究团队基于此数据集建立了新的基准,比较了音频-文本生成模型与传统音频分类器的性能,为开发更交互、智能和可及的呼吸健康诊断工具奠定了基础。
呼吸音频健康问答多模态数据集机器学习智能诊断
cs
02-24 00:00
为应对科学研究的可重复性危机,本研究开发了一个基于大语言模型(LLM)的系统,用于自动化复制社会科学论文中的统计分析并标记潜在问题。该系统通过迭代执行文本解读、代码生成、执行和差异分析,成功复现了一篇经典社会学论文的关键结果。该方法特别适用于依赖标准统计模型(如回归模型 $y = \beta_0 + \beta_1 x + \epsilon$)、公共数据集和统一报告格式(如回归表格)的定量社会科学领域。该系统可作为预提交检查、同行评审支持和元科学审计的辅助基础设施,以加强研究完整性。
可重复性危机大语言模型自动化验证定量社会科学研究完整性元科学
cs
02-24 00:00
本研究提出一个基于自然语言处理的框架,通过分析Google Play和Apple App Store的用户评论,评估AI心理健康应用的伦理问题。研究采用主题建模识别潜在伦理主题,并将其映射到现有伦理框架;同时利用基于Transformer的零样本分类模型,以自下而上的方式发现新兴伦理挑战。情感分析进一步揭示了用户对各伦理维度的感受。结果表明,现有伦理原则不足以覆盖AI技术带来的新挑战,该工作为建立持续评估系统、提升AI心理健康聊天机器人的公平性、透明度和可信度提供了方法论支持。
人工智能伦理心理健康应用主题建模情感分析用户评论分析自然语言处理
cs
02-24 00:00
本研究利用谷歌AI摘要功能的区域分批上线策略,通过双重差分法分析了其对维基百科流量的因果影响。研究发现,AI摘要功能使英文维基百科的日访问量平均下降约15%。影响存在异质性:文化类文章流量下降最为显著,而STEM(科学、技术、工程、数学)类文章受影响较小。这表明当AI生成的简短摘要能满足用户信息需求时,对原始网页的替代效应更强。研究为搜索引擎生成式答案功能会实质性分流信息发布者流量提供了早期因果证据。
搜索引擎ai摘要流量影响因果推断信息发布
cs
02-24 00:00
本文批判了当前AI智能体安全评估中普遍采用的“单通道”范式,即孤立地通过任务准确率阈值来衡量安全性。作者指出,这种范式忽视了安全关键工程中通过冗余、错误模式多样性和系统联合可靠性来降低风险的基本原则。研究以实验室安全基准为例,论证了即使不完美的AI系统,通过作为冗余审计层来对抗人类常见的失误源(如警觉性下降、无意视盲和偏差正常化),也能提供显著的安全效用。文章主张将安全评估的重心从智能体的绝对准确率,转向人机二元组的联合可靠性,尤其强调非相关错误模式是风险降低的关键决定因素。这一视角转变使AI基准测试与其他安全关键领域的成熟实践保持一致,并为更具生态效度的安全评估提供了路径。
ai安全评估人机协同系统可靠性冗余设计错误模式
cs
02-24 00:00
针对传统论文评审难以评估研究严谨性与可复现性的问题,本研究提出首个“执行验证”评估框架。该框架超越叙事性评审,通过同时审查论文、代码与数据来验证研究。以机制可解释性研究为测试平台,开发了自动化评估智能体MechEvalAgent,用于评估实验过程的一致性、结果的可复现性及结论的泛化性。实验表明,该框架与人类评审员的一致性超过80%,能识别大量方法论问题,并发现了51个人类评审员遗漏的问题,展示了AI智能体变革研究评估、推动严谨科学实践的潜力。
ai评估可复现性机制可解释性研究评估自动化评审科学严谨性
cs
02-24 00:00
本文提出生成式AI治理应从传统的“偏见缓解”转向“偏见协商”。研究认为,身份是社会文化推理的必要组成部分,而不仅仅是需要被抑制的偏见来源。通过访谈多个公开部署的聊天机器人,作者识别了模型协商身份的常见策略(如概率化群体倾向、权衡伤害与价值)及其失败模式。研究指出,社会文化推理能力对于AI在不同文化语境中运作至关重要,但无法仅通过静态基准测试来验证。为此,作者引入了一个分解框架,将偏见协商定义为包含“协商行动空间”和“案例特征集”的可操作过程,以支持系统化的测试套件设计与评估。
ai治理偏见协商社会文化推理身份政治伦理对齐模型评估
cs
02-24 00:00
本研究通过访谈20位利益相关者,揭示了医疗领域“智能体AI”在推广自主性与实际受严密监管之间的结构性矛盾。分析指出三大相互强化的张力:1)对“智能体”概念的定义碎片化;2)商业承诺远超操作现实的“自主性矛盾”;3)评估体系优先技术基准而非社会技术安全的“盲点”。研究表明,智能体AI是技术愿景、商业激励与临床约束交汇的场域,其概念塑造直接影响患者安全与责任分配。
医疗ai自主性人机协作责任分配社会技术系统定性研究
cs
02-24 00:00
本研究利用世界价值观调查的美国微观数据,评估了角色条件化大语言模型作为合成调查受访者的可靠性。通过对超过7万个受访者-项目实例的分析,发现角色提示并未带来整体调查一致性的明确改善,反而在许多情况下显著降低了模型表现。角色效应具有高度异质性:大多数问题变化微小,但一小部分问题及代表性不足的亚群却经历了不成比例的扭曲。研究揭示了当前基于角色的模拟实践的一个关键负面影响:人口统计条件化可能以损害亚群保真度的方式重新分配误差,从而误导下游分析。
大语言模型合成受访者计算社会科学角色提示调查可靠性模拟评估
cs
02-24 00:00
研究通过新基准SP-ABCBench评估LLM代理模拟人类安全隐私态度与行为的能力。该基准包含30项测试,从态度、行为、一致性三个维度以0-100分衡量对齐程度。评估12个LLM模型、4种角色构建策略和2种提示方法后发现,所有模型平均得分仅50-64分,表明现有模拟能力仍有显著提升空间。有趣的是,更大更新的模型并未表现更优,而采用有限理性提示、让代理权衡隐私成本与感知收益的配置在某些行为测试中可获得95分以上的高对齐度。
大语言模型安全隐私人类行为模拟基准测试代理对齐
cs
02-24 00:00
本文研究了AI生成用户界面中出现的暗黑模式——即利用AI技术复制和优化具有欺骗性的设计策略,以操纵用户行为。研究团队开发了DarkPatternDetector系统,该系统结合UI启发式规则、自然语言处理和时间行为信号,自动爬取并分析网站以检测暗黑模式。在精心标注的数据集上,系统表现出较高的精确率和召回率。研究进一步将检测结果与印度《2023年数字个人数据保护法》对齐,为识别和缓解欺骗性界面实践提供了技术和监管框架,旨在支持伦理AI设计、监管执法和现代数字系统的透明度。
暗黑模式ai伦理用户界面自动化检测数据保护人机交互
cs
02-24 00:00
针对美国医疗行政电话每年造成约1万亿美元成本的问题,本研究发布了首个公开基准INSURE-Dial,用于开发合规感知的语音代理。该数据集包含50通真实脱敏通话与1000通合成通话,均按IVR导航、患者身份确认、保险状态、药品核查等阶段进行结构化标注,并标注了信息合规性与流程合规性。研究定义了阶段边界检测与合规性验证两项新任务,基线模型在分阶段评估中表现良好,但端到端的精确分段可靠性仍受边界误差限制,揭示了对话流畅性与审计级证据要求之间的差距。
对话数据集合规验证阶段检测医疗行政语音代理基准评估
cs
02-24 00:00
本文对2020-2025年间国际文献进行范围综述,探讨深度伪造与合成媒体技术在多语言慕课中的应用。研究发现,合成化身与AI生成视频能降低制作成本、辅助多语言学习,但也引发了关于真实性、隐私及师生关系变化的伦理担忧。文章通过分析联合国教科文组织指南与欧盟《人工智能法案》等政策文件,提出了一个聚焦透明度、负责任治理与AI素养的政策框架,旨在将合成媒体整合为强化教学设计、保障权利的工具,而非取代人类教学。
合成媒体多语言慕课深度伪造教育伦理ai政策教学影响
cs
02-24 00:00
本文提出“自动驾驶大学”愿景,借鉴自动驾驶分级模型,利用智能体AI(Agentic AI)分阶段自动化高校的行政、学术与质量保障流程。针对传统大学面临的官僚负担重、信息系统碎片化及教师行政任务耗时等问题,研究构建了一个系统性框架,将智能体AI应用于课程设计、评估校准、认证文档与机构报告等核心工作流。案例研究表明,AI辅助流程能显著缩短任务时间并实现以往难以达成的能力。文章原创性在于提出了一个基于智能体AI架构(而非提示工程)的高校运营自主性分级框架,并探讨了关键基础设施、伦理考量及实施路线图。
智能体ai高等教育自动化质量保障学术管理ai框架制度创新