Loading...
本文提出了一种名为CROP（CircuitRetrievalandOptimizationwithParameterGuidanceusingLLMs）的框架，旨在解决超大规模集成电路（VLSI）设计中电子设计自动化（EDA）工具的参数调优问题。两阶段框架设计阶段1（数据库构建）：将已有电路的RTL源代码通过LLM分析生成模块级和整体设计摘要，再转换为密集向量表示（嵌入），同时存储这些设计的最优参数配置（参数指导）。阶段2（检索增强参数搜索）
EvalAssist: A Human-Centered Tool for LLM-as-a-Judge
本文介绍了EvalAssist——一个以人为中心的工具，旨在简化“以LLM作为评判者（LLM-as-a-judge）”的工作流程。该工具主要解决大规模语言模型（LLM）输出评估中耗时、成本高、流程复杂的问题，帮助从业者高效判断不同模型和提示词在特定任务中的表现。提供在线评估标准开发环境，支持用户交互式构建、测试和分享自定义评估标准（结构化且可移植格式）；支持基于LLM的评估流程，利用现成LLM和基于UNITXT开源库的“提示链（prompt-chaining）”方法；
Do Role-Playing Agents Practice What They Preach? Belief-Behavior Consistency in LLM-Based Simula...
本文聚焦于基于大型语言模型（LLMs）的角色扮演代理在模拟人类信任行为时的“信念-行为一致性”，即模型陈述的信念（“说什么”）与实际模拟行为（“做什么”）之间的匹配程度。研究以“信任游戏”（TrustGame）为测试平台，通过构建评估框架，从群体层面和个体层面系统探究了影响一致性的关键因素，并分析了研究者施加理论先验对一致性的影响。核心问题：LLM角色扮演代理在生成人类行为合成数据时，其陈述的信念与实际模拟行为是否一致？研究方法。
Scaling LLM Planning: NL2FLOW for Parametric Problem Generation and Rigorous Evaluation
本文聚焦于提升大型语言模型（LLMs）的规划与推理能力，针对现有研究中可扩展数据生成和严格评估的瓶颈，提出了全自动系统NL2FLOW。该系统能够参数化生成规划问题（涵盖自然语言描述、结构化中间表示和形式化PDDL格式），并对LLM生成的计划质量进行严谨评估。最优模型在可行问题上的有效计划生成率达86%，最优计划生成率达69%；问题特征对计划生成的影响取决于模型和提示设计；将推理任务分解为中间翻译步骤（如自然语言转JSON）可能降低性能，直接从自然语言推理到行动的模型表现更优。
MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent
尽管在长度外推、高效注意力和记忆模块方面已有改进，但以线性复杂度处理无限长文档且在外推过程中不出现性能退化，仍是长文本处理中的终极挑战。我们以端到端方式直接优化长文本任务，提出了一种新颖的代理工作流MemAgent，它以分段方式读取文本，并使用覆盖策略更新记忆。我们扩展了DAPO算法，通过独立上下文多对话生成促进训练。MemAgent已展示出卓越的长上下文能力，能够从8K上下文（在32K文本上训练）外推到350万token的QA任务，性能损失
Efficient Code LLM Training via Distribution-Consistent and Diversity-Aware Data Selection
本文聚焦于代码大语言模型（CodeLLM）的高效训练，针对现有方法过度依赖数据量、忽视数据质量导致训练效率低下的问题，提出了一种基于参数模型的代码数据选择方法。该方法通过优化参数模型，确保所选数据子集与原始数据集的分布一致性，同时最大化子集内部的多样性，从而筛选出高质量数据。
JoyTTS: LLM-based Spoken Chatbot With Voice Cloning
JoyTTS是一款端到端的语音聊天机器人，结合了大型语言模型（LLM）与文本转语音（TTS）技术，具备语音克隆能力。模型基础：基于开源的MiniCPM-o（LLM）和CosyVoice2（TTS）构建，替换了MiniCPM-o原有的GPT-Sovits-basedTTS模块以增强语音克隆性能，训练数据涵盖2000小时对话数据（400K多轮文本对话样本，来自RedGPT和GeneratedChat0.4M数据集）。模块组成。
LLMREI: Automating Requirements Elicitation Interviews with LLMs
需求获取访谈对于收集系统需求至关重要，但严重依赖熟练的分析师，导致其资源密集、易受人为偏差影响且容易产生沟通误解。大型语言模型的最新进展为自动化该过程的部分环节提供了新机会。本研究提出了LLMREI，这是一种聊天机器人，旨在以最少的人工干预进行需求获取访谈，以减少常见的访谈者错误并提高需求获取的可扩展性。我们探索了两种主要方法（零样本提示和least-to-most提示）来优化LLMREI的需求获取能力，并在33次模拟利益相关者访谈中评估了其性能。
FlowSpec: Continuous Pipelined Speculative Decoding for Efficient Distributed LLM Inference
分布式推理是在网络边缘实现大型语言模型（LLMs）推理的一种很有前景的方法。它将推理过程分配到多个设备上，以确保LLMs能够适配设备内存。近年来，基于流水线的方法有望实现通信与计算的并行化，从而减少推理延迟。然而，当网络边缘的推理请求稀疏时，这种优势会减弱，因为此时流水线的利用率通常较低。为了在边缘实现高效的分布式LLM推理，我们提出了FlowSpec，一种基于流水线并行的树结构投机解码框架。
Ontology-Enhanced Knowledge Graph Completion using Large Language Models
大型语言模型（LLMs）已被广泛应用于知识图谱补全（KGC）领域，并取得了显著的研究进展。然而，作为由深度神经架构驱动的黑箱模型，当前基于LLM的KGC方法依赖于隐式知识表示，且错误知识会并行传播，从而阻碍了其产生确定性和决定性推理结果的能力。本文旨在将神经感知的结构信息与本体知识相结合，利用LLMs的强大能力实现对知识内在逻辑的更深层次理解。我们提出了一种基于LLMs的本体增强KGC方法——OL-KGC。
DecoRTL: A Run-time Decoding Framework for RTL Code Generation with LLMs
本文聚焦于大语言模型（LLMs）在寄存器传输级（RTL）代码生成中的解码策略问题，提出了一种名为DecoRTL的运行时解码框架。传统LLM解码策略源于自然语言生成，难以满足RTL代码对结构和语义的严格要求，常导致生成代码出现幻觉、重复或无效等问题。通过对RTL生成过程中token级熵的实证分析，作者发现LLM在结构模糊或语义复杂区域的信心较低，且标准解码策略无法区分需要确定性的语法关键区域和需要创造性探索的设计关键区域。自一致性采样。
Precisely Detecting Python Type Errors via LLM-based Unit Test Generation
本文针对Python中类型错误导致的运行时故障问题，提出了一种名为RTED（ReflectiveTypeErrorDetectionwithLLMs）的新型类型感知单元测试生成技术。现有静态分析工具存在高假阳性率，而现有单元测试生成技术（如基于搜索或LLM的方法）因缺乏针对性指导，难以生成能揭示类型错误的测试用例。约束分析阶段：通过调用链分析捕获上下文感知的类型约束，借助“错误寻找代理”反向传播约束，识别可能触发类型错误的输入类型，并评估调用链的风险等级；测试生成阶段。
PII Jailbreaking in LLMs via Activation Steering Reveals Personal Information Leakage
本文研究通过引导技术对大型语言模型（LLMs）进行隐私越狱，重点探究操纵激活是否能绕过LLM的对齐机制，并改变其对隐私相关查询（如某公众人物的性取向）的响应行为。我们首先利用经隐私评估标签训练的轻量级线性探针，识别出能预测模型对隐私属性（如性取向）拒绝行为的注意力头。随后，在这些训练好的探针引导下，我们对一小部分注意力头的激活进行引导，以促使模型生成非拒绝响应。实验表明，这些被引导的响应往往会披露目标属性的细节，以及数据主体的其他个人信息——如生活事件、人际关系和个人经历，而这些信息通常是模型会拒绝提供的。
Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction
大型语言模型（LLMs）的记忆存储正成为一个日益活跃的研究领域，特别是在实现长期对话中的个性化方面。我们提出了Pref-LSTM，这是一个动态且轻量级的框架，它结合了基于BERT的分类器和LSTM记忆模块，该模块生成记忆嵌入，然后将其作为软提示注入冻结的LLM中。我们合成了一个包含偏好和非偏好对话轮次的数据集，用于训练基于BERT的分类器。尽管基于LSTM的记忆编码器未产生理想结果，但我们发现基于BERT的分类器在识别显式和隐式用户偏好方面表现可靠。
Continual Gradient Low-Rank Projection Fine-Tuning for LLMs
本文针对大语言模型（LLMs）的持续微调中效率与表达能力的权衡问题，提出了一种名为GORP（GradientLOwRankProjection，梯度低秩投影）的新训练策略。现有低秩适应方法（如LoRA）虽能提高效率，但受限于低秩结构，限制了模型学习新任务和迁移知识的能力，且依赖显式参数约束易导致任务间参数空间冲突。协同结合全秩和低秩参数，在统一的低秩梯度子空间中联合更新，既扩展了优化空间，又保留了低秩适应的效率；
Improving LLM Reasoning for Vulnerability Detection via Group Relative Policy Optimization
本文聚焦于利用强化学习（RL）技术改进大型语言模型（LLMs）在软件漏洞检测中的推理能力，具体研究了组相对策略优化（GroupRelativePolicyOptimization,GRPO）在该任务中的应用。研究背景与问题：现有LLMs在漏洞检测中存在局限性，如过度预测某些漏洞类型、泛化能力弱、推理过程难以解释，且小型LLMs因计算成本低受关注但性能受限。研究方法。
Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation on AI ...
同行评审是科学研究的基础，但日益增长的出版物数量加剧了这一依赖专业知识的过程的挑战。尽管大型语言模型（LLMs）在多种科学任务中展现出潜力，但其在辅助同行评审（尤其是识别论文局限性）方面的潜力仍未得到充分研究。本文首先提出了一个科学研究（重点是AI领域）局限性类型的综合分类法。在该分类法的指导下，为研究局限性识别问题，我们提出了LIMITGEN——首个用于评估LLMs支持早期反馈和辅助人类同行评审能力的综合基准。
Control at Stake: Evaluating the Security Landscape of LLM-Driven Email Agents
本文是首篇针对LLM驱动的邮件代理（LLMemailagents）的系统性安全研究。研究提出了邮件代理劫持（EmailAgentHijacking,EAH）攻击，即攻击者通过外部邮件资源覆盖邮件代理的原始提示词，远程控制代理并执行恶意操作，且用户无法察觉。为大规模评估EAH攻击的影响，研究团队设计了自动化评估工具EAHawk。
GeoJSEval: An Automated Evaluation Framework for Large Language Models on JavaScript-Based Geospa...
随着大型语言模型（LLMs）在代码生成任务中的广泛应用，地理空间代码生成已成为人工智能与地理科学分析融合的关键前沿领域。这一趋势凸显了对系统性评估方法的迫切需求，以评估LLMs在地理空间场景中的生成能力。特别是在JavaScript环境中，地理空间计算与可视化任务严重依赖于多种前端库和生态系统的协同，这对模型的语义理解和代码合成能力提出了更高要求。为应对这一挑战，我们提出了GeoJSEval——首个针对基于JavaScript的地理空间代码生成任务中LLMs的多模态、函数级自动评估框架。
Characterizing Communication Patterns in Distributed Large Language Model Inference
本文系统研究分布式大语言模型推理中的通信模式，通过实证分析与解析建模，揭示张量并行、管道并行及混合并行在不同场景下的通信特征。研究表明，解码阶段通信开销显著，张量并行虽通信量大但短序列响应快，管道并行延迟高但传输少，混合并行需精细调优。研究构建了可预测通信量的解析模型，为生产部署提供优化建议，推动推理框架与硬件协同设计。
