Loading...
本文提出了一种无需GPU即可为大型语言模型（LLMs）生成低秩适配器（LoRAs）的CPU高效元生成框架，旨在解决传统LoRA微调依赖GPU资源的问题。核心思路是：利用预训练的LoRA适配器库，通过轻量级组合现有LoRA权重（而非进行新的梯度更新），为新任务生成适配的LoRA，整个过程可在普通笔记本CPU上完成。具体而言，该框架将数据集表示为概率分布，通过计算新数据集与预训练数据集的分布相似度（如Wasserstein距离、KL散度等），生成融合权重，进而组合预训练LoRA得到新适配器。
LLMs for Legal Subsumption in German Employment Contracts
本文聚焦于利用大型语言模型（LLMs）评估德国雇佣合同条款的合法性，旨在解决法律工作中文本密集、资源消耗大的问题。研究通过与法律专家合作扩展现有数据集，测试了不同LLMs在三种法律上下文（无法律上下文、完整法律文本及判例、提炼的审查指南）下将条款分类为“有效（valid）”“不公平（unfair）”或“无效（void）”的能力。实验结果显示：完整法律文本对模型性能有一定提升，而提炼的审查指南显著提高了对“无效”条款的召回率，加权F1分数达80%；但即使如此，LLMs在完整法律文本上的表现仍远低于人类律师。
MGC: A Compiler Framework Exploiting Compositional Blindness in Aligned LLMs for Malware Generation
核心背景：大型语言模型（LLMs）降低了软件开发门槛，但也带来了恶意软件生成的安全风险。现有LLM对齐机制（如意图防护、政策过滤）主要针对单个提示进行检查，却忽视了“组合盲点”——恶意操作可分解为看似良性的子任务，单独绕过过滤。MGC框架设计：提出恶意软件生成编译器（MGC），通过模块化分解和规避对齐的生成策略利用上述漏洞。前端：使用弱对齐LLM将高层恶意意图分解为恶意软件描述中间表示（MDIR），MDIR作为结构化抽象层，保留组件间逻辑关系同时确保单个组件看似无害。
Reasoning on a Budget: A Survey of Adaptive and Controllable Test-Time Compute in LLMs
该论文围绕大型语言模型（LLMs）的推理效率展开，聚焦测试时计算（Test-TimeCompute,TTC）策略，旨在解决LLMs推理时计算资源分配不合理（对简单问题过度思考、对复杂问题思考不足）的问题。核心背景：LLMs虽在多任务中表现优异，但推理时通常采用固定计算量，导致效率低下。TTC方法通过在推理时动态分配计算资源提升效率，但现有方法存在资源浪费问题。分类框架：提出两层分类法L1（可控方法）
Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions
本文聚焦大型语言模型（LLMs）在招聘决策中的应用评估，通过对比多个主流通用LLMs（如OpenAI的GPT系列、Anthropic的Claude、Google的Gemini、Meta的Llama等）与专有领域模型MatchScore，探究其在候选人-职位匹配中的准确性与公平性。准确性：通过ROC曲线下面积（ROCAUC）、精确率-召回率曲线下面积（PRAUC）、F1分数衡量模型对候选人与职位匹配度的预测能力；公平性。
Synergizing Logical Reasoning, Knowledge Management and Collaboration in Multi-Agent LLM System
本文探索了整合先进的多智能体系统（MAS）技术，以开发具备增强逻辑推理、长期知识保留和心智理论（ToM）能力的智能体团队。通过将这些核心组件与优化的通信协议相结合，我们创建了一个名为SynergyMAS的新型框架，该框架能促进协作团队合作和卓越的问题解决能力。通过一个产品开发团队的案例研究，我们证明了该系统的有效性——我们的方法显著提升了团队的性能和适应性。这些发现凸显了SynergyMAS在应对复杂现实挑战方面的潜力。
Data Diversification Methods In Alignment Enhance Math Performance In LLMs
本文研究了偏好优化中的数据多样化策略对提升大语言模型（LLMs）数学推理能力的作用。作者评估了三种常见的数据生成方法（温度采样、思维链提示、蒙特卡洛树搜索（MCTS）），并提出了一种新的结构化方法——Diversified-ThinkSolve（DTS），该方法通过系统地将问题分解为多样化的推理路径生成数据。实验结果显示，通过策略性多样化的偏好数据，模型的数学推理性能显著提升：最佳方法在GSM8K基准上比基础模型提升7.1%，在MATH基准上提升4.2%。
CORE: Benchmarking LLMs Code Reasoning Capabilities through Static Analysis Tasks
本文介绍了一个名为CORE的高质量、人工验证的基准测试集，旨在评估大型语言模型（LLMs）在基础静态分析任务中的代码语义推理能力。该基准涵盖数据依赖、控制依赖和信息流三大核心静态分析任务，包含12,553个任务实例，涉及C/C++、Java、Python三种编程语言，均来自180个经过语义感知多样化采样的程序。推理型模型在多数任务上显著优于非推理型模型，性能差距为5.2%-31.5%，其中Gemini2.5Pro整体表现最佳；
OMS: On-the-fly, Multi-Objective, Self-Reflective Ad Keyword Generation via LLM Agent
本文针对赞助搜索广告（SponsoredSearchAdvertising,SSA）中的关键词生成问题，提出了一个名为OMS的框架。该框架具有即时性（On-the-fly）多目标性（Multi-Objective）和自反思性（Self-Reflective）三大核心特性，旨在解决现有基于大型语言模型（LLM）的关键词生成方法存在的三大局限：依赖大规模查询-关键词对数据、缺乏在线多目标性能监控与优化能力、关键词选择质量控制薄弱。智能聚类-排序模块。
From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction
研究背景：随着LLMs规模增长，量化和稀疏化等压缩技术至关重要。现有N:M结构化稀疏（如2:4）因灵活性有限、硬件支持单一、易受异常值权重影响，难以达到“性能阈值”（压缩模型与未压缩模型在同等内存下精度相当）。8:16半结构化稀疏模式。
CROP: Circuit Retrieval and Optimization with Parameter Guidance using LLMs
本文提出了一种名为CROP（CircuitRetrievalandOptimizationwithParameterGuidanceusingLLMs）的框架，旨在解决超大规模集成电路（VLSI）设计中电子设计自动化（EDA）工具的参数调优问题。两阶段框架设计阶段1（数据库构建）：将已有电路的RTL源代码通过LLM分析生成模块级和整体设计摘要，再转换为密集向量表示（嵌入），同时存储这些设计的最优参数配置（参数指导）。阶段2（检索增强参数搜索）
EvalAssist: A Human-Centered Tool for LLM-as-a-Judge
本文介绍了EvalAssist——一个以人为中心的工具，旨在简化“以LLM作为评判者（LLM-as-a-judge）”的工作流程。该工具主要解决大规模语言模型（LLM）输出评估中耗时、成本高、流程复杂的问题，帮助从业者高效判断不同模型和提示词在特定任务中的表现。提供在线评估标准开发环境，支持用户交互式构建、测试和分享自定义评估标准（结构化且可移植格式）；支持基于LLM的评估流程，利用现成LLM和基于UNITXT开源库的“提示链（prompt-chaining）”方法；
Do Role-Playing Agents Practice What They Preach? Belief-Behavior Consistency in LLM-Based Simula...
本文聚焦于基于大型语言模型（LLMs）的角色扮演代理在模拟人类信任行为时的“信念-行为一致性”，即模型陈述的信念（“说什么”）与实际模拟行为（“做什么”）之间的匹配程度。研究以“信任游戏”（TrustGame）为测试平台，通过构建评估框架，从群体层面和个体层面系统探究了影响一致性的关键因素，并分析了研究者施加理论先验对一致性的影响。核心问题：LLM角色扮演代理在生成人类行为合成数据时，其陈述的信念与实际模拟行为是否一致？研究方法。
Scaling LLM Planning: NL2FLOW for Parametric Problem Generation and Rigorous Evaluation
本文聚焦于提升大型语言模型（LLMs）的规划与推理能力，针对现有研究中可扩展数据生成和严格评估的瓶颈，提出了全自动系统NL2FLOW。该系统能够参数化生成规划问题（涵盖自然语言描述、结构化中间表示和形式化PDDL格式），并对LLM生成的计划质量进行严谨评估。最优模型在可行问题上的有效计划生成率达86%，最优计划生成率达69%；问题特征对计划生成的影响取决于模型和提示设计；将推理任务分解为中间翻译步骤（如自然语言转JSON）可能降低性能，直接从自然语言推理到行动的模型表现更优。
MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent
尽管在长度外推、高效注意力和记忆模块方面已有改进，但以线性复杂度处理无限长文档且在外推过程中不出现性能退化，仍是长文本处理中的终极挑战。我们以端到端方式直接优化长文本任务，提出了一种新颖的代理工作流MemAgent，它以分段方式读取文本，并使用覆盖策略更新记忆。我们扩展了DAPO算法，通过独立上下文多对话生成促进训练。MemAgent已展示出卓越的长上下文能力，能够从8K上下文（在32K文本上训练）外推到350万token的QA任务，性能损失
Efficient Code LLM Training via Distribution-Consistent and Diversity-Aware Data Selection
本文聚焦于代码大语言模型（CodeLLM）的高效训练，针对现有方法过度依赖数据量、忽视数据质量导致训练效率低下的问题，提出了一种基于参数模型的代码数据选择方法。该方法通过优化参数模型，确保所选数据子集与原始数据集的分布一致性，同时最大化子集内部的多样性，从而筛选出高质量数据。
JoyTTS: LLM-based Spoken Chatbot With Voice Cloning
JoyTTS是一款端到端的语音聊天机器人，结合了大型语言模型（LLM）与文本转语音（TTS）技术，具备语音克隆能力。模型基础：基于开源的MiniCPM-o（LLM）和CosyVoice2（TTS）构建，替换了MiniCPM-o原有的GPT-Sovits-basedTTS模块以增强语音克隆性能，训练数据涵盖2000小时对话数据（400K多轮文本对话样本，来自RedGPT和GeneratedChat0.4M数据集）。模块组成。
LLMREI: Automating Requirements Elicitation Interviews with LLMs
需求获取访谈对于收集系统需求至关重要，但严重依赖熟练的分析师，导致其资源密集、易受人为偏差影响且容易产生沟通误解。大型语言模型的最新进展为自动化该过程的部分环节提供了新机会。本研究提出了LLMREI，这是一种聊天机器人，旨在以最少的人工干预进行需求获取访谈，以减少常见的访谈者错误并提高需求获取的可扩展性。我们探索了两种主要方法（零样本提示和least-to-most提示）来优化LLMREI的需求获取能力，并在33次模拟利益相关者访谈中评估了其性能。
FlowSpec: Continuous Pipelined Speculative Decoding for Efficient Distributed LLM Inference
分布式推理是在网络边缘实现大型语言模型（LLMs）推理的一种很有前景的方法。它将推理过程分配到多个设备上，以确保LLMs能够适配设备内存。近年来，基于流水线的方法有望实现通信与计算的并行化，从而减少推理延迟。然而，当网络边缘的推理请求稀疏时，这种优势会减弱，因为此时流水线的利用率通常较低。为了在边缘实现高效的分布式LLM推理，我们提出了FlowSpec，一种基于流水线并行的树结构投机解码框架。
Ontology-Enhanced Knowledge Graph Completion using Large Language Models
大型语言模型（LLMs）已被广泛应用于知识图谱补全（KGC）领域，并取得了显著的研究进展。然而，作为由深度神经架构驱动的黑箱模型，当前基于LLM的KGC方法依赖于隐式知识表示，且错误知识会并行传播，从而阻碍了其产生确定性和决定性推理结果的能力。本文旨在将神经感知的结构信息与本体知识相结合，利用LLMs的强大能力实现对知识内在逻辑的更深层次理解。我们提出了一种基于LLMs的本体增强KGC方法——OL-KGC。
