Loading...
#SoL‑Pi:RecursivelyScalingAuto‑ResearchLoopsforEfficientAgentHarness论文总结与翻译>论文arXiv:https://arxiv.org/abs/26
论文阅读笔记:Grounded Skill Synthesis from Code at Scale for Agentic Intelligence
#论文阅读笔记:GroundedSkillSynthesisfromCodeatScaleforAgenticIntelligence>arxiv:https://arxiv.org/abs/2609.05571>
LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Enco
###摘要大语言模型(LLMs)在需要复杂语言能力的任务中表现出色,如指代消解和隐喻识别/生成。尽管大语言模型能力卓越,但其处理和表示语言知识的内部机制在很大程度上仍是不透明的。以往关于语言机制的研究受限于粒度粗、因果分析不足以及
SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Mod
###摘要深度学习的最新进展给地震监测带来了革命性变化,但开发一个能在多个复杂任务中表现出色的基础模型仍然充满挑战,尤其是在处理信号退化或数据稀缺的情况时。本文提出SeisMoLLM,这是首个利用跨模态迁移进行地震监测的基础模型,它
AlphaGeometry2: Gold-Medalist Performance on Olympiad Geometry (arXiv:2502.03544)
“Gold-medalistPerformanceinSolvingOlympiadGeometrywithAlphaGeometry2”由谷歌DeepMind的YuriChervonyi等人撰写。文章介绍了AlphaGeo
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (arXiv:2301.00774)
#SparseGPT:大规模语言模型可一次性精确剪枝埃利亚斯·弗兰塔尔1,丹·阿利斯塔21奥地利科学技术研究所(ISTA)2NeuralMagic公司通讯作者:elias.frantar@ist.ac.at##摘要我们首
Low-Perplexity LLM-Generated Sequences and Where To Find Them
随着大型语言模型(LLMs)的应用日益广泛,理解特定训练数据如何塑造其输出,对于透明度、可追责性、隐私保护和公平性至关重要。为探究LLMs如何利用和复制训练数据,我们提出了一种以分析低困惑度序列(模型生成的高概率文本片段)为核心的系统方法。我们的流程能可靠地提取不同主题的长序列,同时避免退化问题,随后追溯这些序列在训练数据中的来源。令人惊讶的是,我们发现相当一部分低困惑度片段无法与语料库匹配。
AI Literacy and LLM Engagement in Higher Education: A Cross-National Quantitative Study
研究发现:LLMs能提升信息获取效率、改善写作质量并提高学术表现,但存在过度依赖、伦理风险及批判性思维弱化等担忧。影响因素:基于人工智能素养框架、期望价值理论和Biggs的3P模型(预设、过程、结果),发现学生的动机信念和技术能力显著影响其对LLMs的使用;LLM使用频率与感知到的素养收益(相关系数(r=.59),(p
Dissecting the Impact of Mobile DVFS Governors on LLM Inference Performance and Energy Efficiency
问题发现:当前移动设备的CPU、GPU和内存调控器独立工作,缺乏协调,导致LLM推理的延迟和能效表现不佳。在相同能耗下,默认调控器的预填充和解码延迟比最优频率组合最多高40.4%;在相同延迟下,能耗最多高16.6%。原因分析:通过控制实验发现,独立调控器存在两大问题:(1)单独工作时,CPU和GPU调控器倾向于选择过低频率,导致延迟增加;(2)协同工作时,CPU和GPU调控器会触发“向下螺旋”效应——相互促使对方降低频率,进一步恶化性能。解决方案。
LLM-Enhanced Q-Learning for CVRPTW with Real-Time Urgency Constraints (arXiv:2505.06178)
###文章主要内容本文针对带时间窗的车辆路径问题(CVRPTW),提出了一种结合大语言模型(LLM)和Q学习的增强框架,旨在解决具有实时紧急约束的CVRPTW问题。通过将LLM的语义推理能力与强化学习的迭代优化能力相结合,框架分为**L
Dataset Volume Scaling Law for LLM Fine-Tuning under Fixed Compute (arXiv:2505.06150)
###文章主要内容本文探讨了在固定计算预算下微调大型语言模型(LLMs)时的缩放规律,强调了数据构成(即示例数量和平均标记长度)对标记效率的影响。传统方法仅通过总标记数衡量训练数据,而本文提出将数据集体积定义为示例数(N)与平均标记长度
PubHealthBench: Evaluating LLMs on UK Public Health Guidance (arXiv:2505.06046)
###一、文章主要内容总结本文聚焦于评估大型语言模型(LLMs)对英国政府公共卫生信息的掌握情况,核心内容如下:1.**背景与目标**-随着LLMs的普及,其在公共卫生领域的信息准确性至关重要,但目前缺乏针对英国政府
EIBench: Emotion Interpretation — Explaining Why Emotions Arise (arXiv:2504.07521)
###主要内容1.**问题提出**:现有情感分析多关注识别情感类别,忽视情感产生的原因。本文提出情感解释(EI)任务,旨在揭示引发情感反应的因果因素,包括显性和隐性因素。2.**相关工作**:回顾了上下文感知情感识别、基于大语言模
Compositio Prompto: LLM-Based Automatic Service Composition (arXiv:2504.08490)
###主要内容1.**研究背景**:现代企业计算系统集成众多子系统,自动服务组合可减少人工、加快上市并适应业务变化。传统方法依赖复杂形式建模,LLMs的出现为自动服务组合提供新途径,研究旨在探究LLMs在自动服务组合中的应用效果。2
Tuning without Peeking: Provable Privacy and Generalization Bounds for LLM Post-Training
梯度优化是深度学习的核心方法,通过反向传播实现高效且可扩展的训练。然而,其对大量标注数据的依赖引发了隐私和安全问题(如易受数据污染攻击),以及过拟合风险。相比之下,黑盒优化方法将模型视为“黑箱函数”,仅通过函数评估指导优化,在数据访问受限、对抗风险高或过拟合风险大的场景中具有潜力。但黑盒方法也面临显著挑战,包括在大型语言模型(LLMs)等高维参数空间中可扩展性差,以及因依赖大量模型评估导致的计算成本高。本文提出BBoxER,一种用于LLM后训练的进化黑盒方法,通过对训练数据的隐式压缩引入信息瓶颈。
DIY-MKG: An LLM-Based Polyglot Language Learning System
本文介绍了一款基于大语言模型(LLMs)的多语言学习系统——DIY-MKG(Do-It-YourselfMultilingualKnowledgeGraph),旨在解决现有语言学习工具的三大局限:缺乏多语言词汇间的语言学关联支持、个性化定制不足、以及可能导致的“认知卸载”(学习者过度依赖AI而缺乏独立思考)。词汇扩展:用户以已知词汇为初始节点构建多语言知识图谱,通过LLM生成相关词汇并选择性添加,强化词汇间的语言学关联(如同义词、同源词等);丰富注释。
The Thin Line Between Comprehension and Persuasion in LLMs
本文聚焦大型语言模型(LLMs)在辩论这一复杂对话形式中的表现,探究其说服能力与对对话内容理解能力之间的关系。实验设计:让LLM(部分结合形式对话模型FDM)与人类或其他LLM进行辩论,收集辩论transcripts;由人类标注员从论据合理性、论证强度、胜负判定等7个维度对辩论进行标注;再让不同LLM对相同辩论进行评估,对比其结果与人类标注的一致性。核心发现LLM在生成辩论时表现出强说服力,尤其当人类未察觉其AI身份时,能显著动摇观点;
When LLMs Disagree: Diagnosing Relevance Filtering Bias and Retrieval Divergence in SDG Search
本文聚焦大型语言模型(LLMs)在可持续发展目标(SDGs)相关文献检索中的相关性标注分歧问题,以开源模型LLaMA和Qwen为研究对象,针对SDG1(消除贫困)、3(良好健康与福祉)、7(清洁能源)的学术摘要展开分析。研究核心围绕四个问题:1)不同LLM的过滤决策分歧频率及受影响文档类型;2)分歧是否具有系统性,能否通过词汇、语义或主题特征解释;3)分歧如何影响下游检索排序;4)一个模型的过滤行为能否预测另一个模型的行为(即分歧是否可学习)。
Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization
本文针对对话摘要任务,首次系统评估了推理型大语言模型(LLMs,如OpenAI-o1、DeepSeek-R1、QwQ-32B)与非推理型LLMs在三种主流范式(通用型、角色导向型、查询导向型对话摘要)中的表现。研究覆盖多语言、多领域和不同摘要长度,基于SAMSum、DialogSum、CSDS、QMSum等基准数据集,结合LLM自动评估指标和类人评估标准进行分析。核心发现显示:与其他推理密集型任务不同,显式的逐步推理(如思维链)并未持续提升对话摘要质量;
LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs
本文提出了一种无需GPU即可为大型语言模型(LLMs)生成低秩适配器(LoRAs)的CPU高效元生成框架,旨在解决传统LoRA微调依赖GPU资源的问题。核心思路是:利用预训练的LoRA适配器库,通过轻量级组合现有LoRA权重(而非进行新的梯度更新),为新任务生成适配的LoRA,整个过程可在普通笔记本CPU上完成。具体而言,该框架将数据集表示为概率分布,通过计算新数据集与预训练数据集的分布相似度(如Wasserstein距离、KL散度等),生成融合权重,进而组合预训练LoRA得到新适配器。
