cs
02-13 00:00
本研究探讨了预训练大语言模型在数据稀缺的智能环境（如智能家居）中，预测人类日常活动及其持续时间的潜力。通过采用检索增强提示策略，整合时间、空间、行为历史和人物角色四种上下文信息，并在CASAS Aruba数据集上进行评估。结果表明，LLMs展现出强大的内在时序理解能力：在零样本设置下即可生成连贯的日常活动预测，添加一两个示例能进一步优化持续时间的校准和分类准确性。性能在少量示例后趋于饱和，表明预训练语言模型可作为有前景的时序推理器，捕捉重复性常规和情境依赖的行为变化。
大语言模型时序推理活动预测智能环境少样本学习检索增强
cs
02-13 00:00
本研究针对阿尔茨海默病（AD）早期检测中标记数据稀缺的挑战，探索了大型语言模型（LLM）在该领域的应用。通过监督微调LLM进行AD检测，并利用探测技术分析其内部表征，发现特定词语和特殊标记在微调后激活值显著变化，成为提升检测性能的关键。基于此，研究者设计了任务感知的特殊标记，并训练了一个序列到序列模型作为数据合成工具，用于生成结构一致且具有诊断信息的合成样本。合成数据在内在评估和下游训练流程中均得到验证。
阿尔茨海默病检测大语言模型微调模型探测分析医疗数据合成自然语言处理
cs
02-13 00:00
本文系统综述了提示工程在自然语言生成领域的最新进展。研究指出，提示工程作为一种输入级的控制机制，通过自然语言指令结构化地引导大语言模型，已成为提升模型在各类NLP任务中性能的关键技术。论文提出了提示范式的分类法、基于不同因素的选择决策框架，并构建了一个连接设计、优化与评估的框架，旨在支持更具可控性和泛化性的自然语言生成。
提示工程自然语言生成大语言模型模型控制输入优化
cs
02-13 00:00
本文提出HybridRAG，一种新颖的检索增强生成框架，旨在提升聊天机器人处理非结构化文档时的准确性与响应速度。其核心创新在于：首先通过OCR与布局分析将原始PDF文档（含文本、表格、图形）转换为层次化文本块，并利用大语言模型预生成一个问答知识库。在查询时，优先从预生成的QA库中检索匹配答案，仅当无匹配时才触发实时生成。在OHRBench上的实验表明，相比标准RAG基线，HybridRAG在答案质量与延迟方面均有显著提升，为资源受限下处理海量非结构化文档的实用场景提供了有效解决方案。
检索增强生成非结构化文档问答预生成聊天机器人低延迟响应文档理解
cs
02-13 00:00
本研究通过收集独立评论和结构化焦点小组两种定性数据，比较了情感分析、立场分析、词云分析和主题分析四种方法在评估师生对AI认知时的差异。研究发现，即使是同一数据源，整体情感倾向测量与基于内容的详细分析可能得出不同结论。这揭示了研究方法选择对评估结果的重要影响，对机构决策和跨研究比较具有方法论启示。
人工智能认知研究方法比较定性分析师生态度教育技术
cs
02-13 00:00
本研究在开源无代码机器学习平台DashAI中集成了三种可解释性AI技术——部分依赖图、排列特征重要性和KernelSHAP，并进行了用户研究。结果显示，所有参与者在解释性任务上的成功率均超过80%。新手用户对解释的实用性、准确性和可信度评价较高，而专家用户则对解释的充分性和完整性更为挑剔。解释显著提升了用户对模型可预测性的感知和信心，且新手用户表现出比专家更高的信任度。这凸显了在无代码ML中平衡解释的易懂性与详细性的核心挑战。
可解释ai无代码平台用户研究机器学习人机交互
cs
02-13 00:00
本研究通过眼动追踪设备记录了51名参与者在博物馆中的参观行为（平均57分钟），构建了一个结合上下文数据（人口统计、偏好、动机）、行为数据（时空轨迹、注视点）与反馈（满意度、疲劳度、喜好作品）的开放数据集。该数据集不仅复现了文献中的经典参观者身份模型（如Veron和Levasseur类型），还能为个性化博物馆导览路径的推荐系统提供支持，例如根据参观者兴趣动态调整兴趣点数量、停留时间及信息量。
博物馆参观行为眼动追踪数据开放数据集个性化推荐文化遗产用户体验建模
cs
02-13 00:00
本文提出Althea系统，通过整合问题生成、证据检索和结构化推理，支持用户对在线声明进行自主评估。在AVeriTeC基准测试中，其Macro-F1达到0.44，优于标准验证流程。一项涉及642名参与者的用户研究表明，提供引导推理的交互模式能带来最显著的即时准确性和信心提升，而自主搜索模式则能产生最持久的改进效果。这表明认知工作的结构化与内化方式是提升表现的关键。
事实核查人机协作检索增强批判性思维信息评估
cs
02-13 00:00
本研究提出了一种针对等离子体物理领域研究论文的嵌套命名实体识别方法。首先，构建了一个包含16个实体类别的专用标注语料库。方法核心是采用轻量级的编码器-Transformer与条件随机场结合架构，并创新性地应用了实体类型特定的模型专业化策略，即为不同实体类型独立训练BERT-CRF模型。通过集成系统化的超参数优化过程，有效提升了模型在复杂科学文本中的实体抽取性能，为领域研究者提供了高效的文献导航与分析基础工具。
命名实体识别等离子体物理bert模型条件随机场科学文本挖掘嵌套实体
cs
02-13 00:00
本文针对大语言模型在自动化优化建模领域后训练中面临的高质量数据稀缺与利用不足问题，提出了MIND框架。该框架基于优化建模中错误传播具有局部化特性的关键观察，即建模错误通常局限于特定语义片段而非全局扩散。MIND通过构建高密度聚焦训练语料库，并创新性地提出动态监督微调策略优化方法，实现了对复杂问题的局部化精炼处理。在六个基准测试上的实验表明，MIND在性能上持续优于现有最先进的自动化优化建模方法。
自动化优化建模大语言模型错误驱动学习局部化精炼后训练优化动态策略优化
cs
02-13 00:00
研究引入RECOM基准数据集，包含15,000个来自2025年9月的Reddit近期问题及社区答案，评估了四款开源大语言模型（Llama3.1-8B, Mistral-7B等）的表现。核心发现是语义-词汇悖论：所有模型与参考答案的余弦相似度超过99%，但BLEU-1重叠率不足8%，存在90多个百分点的差距，表明模型通过大量释义而非词汇复现来保留语义。MoverScore（51-53%）证实了这一模式。此外，模型规模并非性能预测指标，Mistral-7B（7B参数）在所有指标上均优于GPT-OSS-20B（20B参数）。NLI分析显示矛盾率低于7%。研究挑战了词汇指标在评估抽象生成任务中的可靠性，主张采用能捕捉超越表层文本匹配的语义保真度的多维评估框架。
大语言模型开放域问答评估基准语义相似度模型可靠性recom数据集
cs
02-13 00:00
本研究通过系统性的实证分析，探讨了参数高效微调（PEFT）对大语言模型（LLM）幻觉检测能力的影响。研究在三个开源LLM主干模型和三个事实性问答基准上，评估了七种无监督幻觉检测方法，涵盖语义一致性、置信度和熵三种互补范式。实验结果表明，PEFT能持续增强模型的幻觉检测能力，显著提升多种检测器的AUROC指标。进一步分析表明，PEFT主要通过重塑模型内部不确定性的编码和表达方式来提升检测效果，而非注入新的事实性知识。
大语言模型参数高效微调幻觉检测不确定性事实性问答模型评估
cs
02-13 00:00
本研究引入FalseCite数据集，系统性地评估大语言模型在误导性引用下的幻觉生成倾向。实验发现，GPT-4o-mini等模型在面对虚假引用时幻觉活动显著增加。通过分析模型隐藏状态向量，研究者观察到无论是否产生幻觉，这些向量都呈现出独特的“角状”结构。该工作为未来评估和缓解LLM幻觉提供了新的基准和分析框架。
大语言模型事实幻觉内部状态分析向量聚类基准评估falsecite
cs
02-13 00:00
本研究提出一种结合组合融合分析（CFA）与生成式AI的方法，用于提升联合国可持续发展目标（SDG）的文本分类任务。该方法首先利用生成式AI模型生成合成数据以增强模型训练，随后应用CFA框架，通过整合多个性能良好且认知多样化的分类模型的排序-得分特征，实现模型智能的协同融合。实验结果表明，该融合方法取得了96.73%的分类性能，超越了最佳单一模型。研究还对比了模型结果与人类领域专家的判断，证实了机器学习模型与人类专家知识可以相互补充与增强。
文本分类组合融合分析生成式ai可持续发展目标模型融合人工智能
cs
02-13 00:00
本研究通过创新的L2匹配扰动分析方法，在Pythia系列Transformer模型中揭示了隐藏状态向量中方向（角度）与幅度（范数）承担着截然不同的计算功能。研究发现，方向扰动对语言建模损失造成高达42.9倍的更大损害，且损害主要通过注意力通路传播（通过注意力修复可恢复28.4%的损失）；而幅度扰动则对句法处理（如主谓一致）造成不成比例的更大损害（准确率下降20.4% vs. 1.6%），其损害部分通过LayerNorm通路传播（修复可恢复29.9%损失）。这表明方向优先影响注意力路由，而幅度则调节精细句法判断的处理强度。该发现细化了线性表征假说，并对基于LayerNorm与RMSNorm的不同架构的模型编辑和可解释性研究具有启示意义。
transformer表征扰动分析可解释ai计算语言学模型架构
cs
02-13 00:00
本文提出了一种将预训练大语言模型（LLM）的领域知识整合到贝叶斯优化（BO）中的框架，以高效搜索低秩适应（LoRA）的超参数。核心方法是将LLM重新用作离散到连续的映射，通过语言提示（描述超参数关系及其作用的文本）将领域知识注入到LLM中，并在其构建的连续向量空间中进行BO。此外，模型还引入了一个可学习的令牌来捕捉难以用语言描述的残差信息，并利用LoRA训练中全数据集与子集性能强相关的观察，采用数据子集进行代理训练与评估，进一步提升效率。实验表明，仅需约30次迭代找到的超参数，其性能相比从约45,000种组合中筛选的标准超参数提升了20%以上。
大语言模型低秩适应贝叶斯优化超参数搜索语言提示高效调优
cs
02-13 00:00
研究发现，预训练多语言模型并非真正的“文字无关”。通过对比具有相同语言内容但不同正字法（如拉丁化与原生文字）的文本，发现高碎片化的书写系统会导致分词效率显著下降。在mBERT和XLM-R模型中，高碎片化文本的“生育率”（平均每词分词数）增加约3.4倍，推理速度因此减慢16.5倍。使用每字符比特数（BPC）衡量信息成本，发现mBERT和XLM-R的成本分别增加了19.7%和47.1%。这表明分词是造成多语言NLP不平等的关键因素，并呼吁开发更具文字感知能力的分词与预训练方法。
多语言模型分词效率文字不平等推理延迟信息成本nlp公平性
cs
02-13 00:00
本文综述了机制可解释性在大语言模型对齐领域的最新进展。机制可解释性旨在系统研究神经网络如何通过其习得的表征和计算结构实现算法。文章分析了从电路发现、特征可视化、激活引导到因果干预等多种方法，并探讨了这些可解释性见解如何为强化学习人类反馈、宪法AI和可扩展监督等对齐策略提供信息。研究同时指出了关键挑战，如叠加假设、神经元的多义性以及大规模模型中涌现行为的解释困难。未来研究方向将聚焦于自动化可解释性、电路的跨模型泛化，以及可扩展至前沿模型的可解释性驱动对齐技术。
大语言模型机制可解释性模型对齐神经网络人工智能安全
cs
02-13 00:00
本研究探索了知识蒸馏（KD）在多语言大语言模型（LLMs）安全对齐中的应用。通过使用约28,000条多语言越狱提示，研究者将专有教师模型（OpenAI o1-mini）的拒绝行为，通过基于黑盒响应的参数高效微调（PEFT）方法，蒸馏至三个开源学生模型（Meta-Llama-3-8B-Instruct, Gemma-2-2B-IT, Qwen3-8B）。然而，在MultiJail基准上的评估揭示了一个反直觉现象：对教师模型“安全”拒绝数据的标准微调，反而使所有学生模型的越狱成功率（JSR）最高提升了16.6个百分点。研究发现，蒸馏过程中对未见语言的泛化存在分歧，且安全性能下降的一个主要来源是微妙的“边界”拒绝。尽管通过移除该来源可以缓解甚至逆转安全性能下降，但模型的推理能力（GSM8K）仍会受损。这项探索性研究凸显了将KD用于多语言安全对齐的挑战与潜力。
知识蒸馏大语言模型安全多语言越狱参数高效微调安全对齐
cs
02-13 00:00
本研究挑战了将大语言模型（LLM）中负责从上下文中提取信息的“检索头”视为静态组件的传统观点。通过精细化的时序分析，论文提出三个核心发现：检索头在生成的不同时间步是动态变化的；这种动态检索头具有不可替代性，无法被静态平均检索头有效替换；模型的隐藏状态编码了预测未来检索头模式的信号，暗示了内部规划机制的存在。研究在“大海捞针”和多跳问答任务上验证了这些发现，并在动态检索增强生成框架中量化了动态与静态检索头的效用差异。
大语言模型检索头动态性内部机制时序分析规划机制
cs
02-13 00:00
针对大语言模型在算法推理任务上的局限性，研究者提出了PRIME框架。该框架通过执行器、验证器和协调器三个智能体的分工协作，结合群体相对策略优化，实现了对复杂算法步骤的精确执行与错误回溯。在包含86项任务、5万余实例的PRIME-Bench基准测试中，PRIME将平均准确率从26.8%提升至93.8%，相对提升达250%。尤其在需要持续状态跟踪的任务（如模拟图灵机）上提升最为显著。消融实验表明，迭代验证机制是性能提升的关键，能有效防止错误传播。
大语言模型算法推理多智能体系统策略优化基准测试
cs
02-13 00:00
本研究评估了Gemini 2.5系列TTS模型在泰米尔语、泰卢固语、孟加拉语、印地语和古吉拉特语五种印度语言中生成法庭辩论语音的能力。研究提出了一个提示框架，利用模型的多语言支持和上下文感知节奏控制来生成不同的律师角色。结果表明，模型在传递程序性信息时表现出“单调权威性”，但在需要动态语音调制和情感说服力的说服性辩论方面存在不足，尤其在孟加拉语和古吉拉特语中性能下降。该研究标志着多语言TTS技术已能胜任程序性法律任务，但复制人类律师的说服艺术仍面临挑战。
语音合成多语言处理法律科技人工智能印度语言tts评估
cs
02-13 00:00
本研究将同行评议中的作者回复（反驳信）撰写重新定义为“作者在环”的生成任务，提出了REspGen框架。该框架通过整合作者明确的领域专业知识、私有信息及修改策略等输入信号，结合多属性控制和基于评估的优化，来生成针对性回复。同时，团队构建了首个大规模对齐的“评审-回复-修订”三元组数据集Re³Align，并开发了包含20余项指标的综合评估套件REspEval。实验表明，引入作者输入与评估引导能有效提升回复质量，并揭示了可控性与质量间的权衡关系。
同行评议文本生成人机协同自然语言处理学术写作
cs
02-13 00:00
本文从电路复杂性、逼近理论和通信复杂性三个理论视角，系统综述了Transformer在算术、逻辑推理等离散推理任务中的结构性局限。研究表明，尽管Transformer在模式匹配和插值方面表现出色，但其深度约束、难以逼近不连续性以及token间通信瓶颈等根本性限制，使其难以精确实现离散算法。该分析为突破当前架构限制提供了理论框架和设计方向。
transformer离散推理理论局限电路复杂性通信瓶颈模型架构