Loading...
缩放定律是基础的数学关系，用于预测神经网络性能随模型大小、数据集规模、计算资源等变量变化的规律。传统上，发现这些定律需要大量人类专业知识和手动实验。我们提出了EvoSLD，一种自动化的缩放定律发现（SLD）框架，它利用由大语言模型（LLMs）引导的进化算法，共同进化符号表达式及其优化程序。EvoSLD旨在处理不同实验场景中的缩放变量、控制变量和响应指标，搜索简洁、通用的函数形式，以最小化分组数据子集的拟合误差。
The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models
强化学习（RL）在塑造大型语言模型和推理模型（LLMs/LRMs）的行为中起着关键作用。然而，它往往会产生脆弱且不稳定的策略，导致诸如虚假推理、欺骗性对齐和指令不服从等严重故障，这些故障破坏了LLMs/LRMs的可信度和安全性。目前，这些问题缺乏统一的理论解释，通常通过特定的启发式方法解决。本文提出了一个严谨的数学框架，用于分析从奖励函数到最优策略的映射稳定性。我们表明，策略脆弱性通常源于非唯一的最优行动，这种情况在推理任务中存在多个有效轨迹时很常见。
Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketb...
英文原文中文翻译现有体育视频字幕生成方法往往聚焦于动作本身，却忽略了球员身份，这限制了其适用性。尽管一些方法通过整合额外信息来生成包含身份的描述，但由于这些额外信息与视频内容无关，球员身份有时会出现错误。本文提出了一种面向身份感知体育视频字幕生成的球员中心多模态提示生成网络（LLM-IAVC），其核心是从视觉角度识别球员身份。具体而言，本文设计了身份相关信息提取模块（IRIEM）以提取球员相关的多模态嵌入。IRIEM包含一个球员识别网络（PIN），用于提取视觉特征和球员姓名；
FuzzFeed: An Automatic Approach to Weakest Precondition Generation using LLMs and Fuzzing
最弱前置条件（WP）描述了程序的最大初始状态集合，从该集合出发，程序的所有终止执行都能满足给定的后置条件。WP的生成是一项重要任务，在验证、运行时错误检查等多个领域有实际应用。本文提出将大语言模型（LLMs）与模糊测试相结合来生成WP。为实现这一目标，我们引入了模糊测试引导（FG）机制；FG通过程序执行反馈引导LLM生成正确的WP。FG利用模糊测试近似检查候选WP的有效性和弱性，并将这些信息反馈给LLM以优化上下文。我们在一组全面的确定性Java数组程序基准集上验证了该方法的有效性。
Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks
该论文介绍了，这是首个开源、开放权重的大型语言模型（LLM），其内置模型级防御机制，旨在抵御提示注入（PromptInjection,PI）攻击，同时保持商业级模型的性能。研究背景：提示注入攻击是LLM集成应用的主要安全威胁，现有模型级防御虽有效但多为闭源，限制了AI安全社区的研究与协作。核心目标：开发开源模型，通过开放研究推动提示注入攻击的攻防协同发展，填补开源领域空白。技术方案。
The Impact of Fine-tuning Large Language Models on Automated Program Repair
该研究实证探究了不同微调技术对用于自动程序修复（APR）的大语言模型（LLMs）性能的影响。研究选取了6个基于代码预训练的先进LLMs（CodeGen、CodeT5、StarCoder、DeepSeekCoder、Bloom、CodeLlama2），在QuixBugs、Defects4J和HumanEval-Java三个主流APR基准上进行评估，对比了“不微调”“全量微调”和“参数高效微调（PEFT，包括LoRA和IA3）”三种训练方案的效果。
Advancing Event Forecasting through Massive Training of Large Language Models: Challenges, Soluti...
研究背景：早期LLMs事件预测研究因方法学问题（如统计显著性不足、信息泄露）被质疑，但近期研究（如更严格的动态基准评估、强化学习应用、推理模型进步）显示LLMs性能持续提升，逐渐接近超级预测者水平。核心挑战与解决方案训练方法：指出LLMs事件预测训练的三大难点——结果的噪声与稀疏性、知识截止（knowledgecut-off）限制、奖励结构简单化，并提出对应解决方案：基于假设事件贝叶斯网络的标签分配策略、利用低记忆事件和反事实事件缓解知识截止问题、引入辅助奖励信号优化奖励结构。数据获取。
PrompTrend: Continuous Community-Driven Vulnerability Discovery and Assessment for Large Language...
本文介绍了PrompTrend——一个用于持续监测和评估大型语言模型（LLMs）漏洞的系统。该系统通过智能代理收集Reddit、Discord、Twitter等在线社区的漏洞数据，利用多维评分框架（PrompTrendVulnerabilityAssessmentFramework,PVAF）进行评估，旨在解决静态基准测试无法捕捉社区实验中涌现的LLM漏洞的问题。模型的高级功能与部分架构的漏洞增加相关；心理攻击（如角色扮演、情感操纵）的效果显著优于技术漏洞（如编码混淆）；
An Empirical Investigation of Gender Stereotype Representation in Large Language Models: The Ital...
该研究聚焦大型语言模型（LLMs）在意大利语语境中对职业角色的性别刻板印象表现，通过结构化实验方法，探究模型对无性别提示的响应是否存在偏见。研究选取了三组具有层级关系的职业对（经理-助理、校长-教授、主厨-副厨），设计了60种不同的提示（基于5个基础场景，通过职业顺序和性别代词置换生成），向OpenAI的ChatGPT（gpt-4o-mini）和Google的Gemini（gemini-1.5-flash）各提交30次，共收集3600条回复。
Solar Photovoltaic Assessment with Large Language Model
本文聚焦于利用大语言模型（LLMs）解决卫星图像中太阳能光伏（PV）板检测的挑战，提出了PVAssessmentwithLLMs（PVAL）框架。现有方法存在依赖大量高质量标注数据、泛化能力差（难以适应新地理区域或环境条件）、算法透明度低等问题。LLMs虽在多模态任务中展现潜力，但在光伏板检测中面临多步逻辑推理困难、输出格式不一致、相似物体误分类（如阴影、停车场）、空间定位与量化精度低等挑战。任务分解：将检测任务拆分为图像整体分析、面板定位、数量估计三步骤，提升处理效率；输出标准化。
Early Signs of Steganographic Capabilities in Frontier LLMs
本文聚焦前沿大型语言模型（LLMs）的隐写能力，旨在评估其通过隐写术绕过监控的风险。编码消息传递：模型在看似无害的输出中隐藏信息，且能被接收方解码，同时不被监控系统发现。编码推理：模型在推理过程中使用编码方式隐藏逻辑步骤，以规避思维链（CoT）监控。当前模型在标准条件下难以隐藏短消息，但在具备额外条件（如未被监控的“草稿区”、预先协调编码方案）时可成功传递信息。模型展现出基础的编码推理能力（如使用十六进制等编码处理简单状态跟踪任务），但难以在“掩护任务”（如良性问答）中隐蔽推理以骗过监控。
Who‘s Sorry Now: User Preferences Among Rote, Empathic, and Explanatory Apologies from LLM Chatbots
Who‘sSorryNow:UserPreferencesAmongRote,Empa
ELMES: An Automated Framework for Evaluating Large Language Models in Educational Scenarios
本文针对大型语言模型（LLMs）在教育场景中应用的评估需求，提出了一个名为ELMES的开源自动化评估框架。现有评估基准多聚焦通用智能，难以衡量LLMs的教学能力，而新兴教育场景也缺乏适配的评估指标。ELMES通过模块化架构，支持研究者通过简单配置文件构建动态多代理对话，无需复杂编程即可灵活设计场景；其混合评估引擎采用“LLM-as-a-Judge”方法，将主观教学指标量化。
Motion-example-controlled Co-speech Gesture Generation Leveraging Large Language Models
本文提出了一种名为MECo的框架，旨在利用大型语言模型（LLMs）实现基于运动示例控制的伴随语音手势生成。现有方法通常通过预定义类别标签或从运动示例中提取的隐含伪标签来控制手势生成，但其往往会丢失原始运动示例中的丰富细节。MECo框架通过三阶段微调机制，充分利用LLMs的理解能力，实现对语音音频和运动示例的同步解析。与传统伪标签方法不同，该框架将运动示例作为提示结构中的显式查询上下文，引导手势生成，从而在保证生成手势与语音内容一致的同时，保留运动示例的特定特征。
Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with La...
近年来，大型语言模型（LLMs）的进步为心理健康支持开辟了新的可能性，但现有方法在模拟专业心理治疗时缺乏真实性，且无法捕捉随时间推移的治疗进展。叙事疗法帮助个体将有问题的生活故事转变为具有赋能作用的替代故事，但由于获取途径有限和社会污名化，其应用仍不充分。我们通过一个包含两个核心组件的综合框架来解决这些局限性。首先，INT（交互式叙事治疗师）通过规划治疗阶段、引导反思水平和生成符合情境的专家级回应，模拟专业叙事治疗师。
Large Language Model Agent for Structural Drawing Generation Using ReAct Prompt Engineering and R...
结构图纸在机械工程、土木工程等多个领域中被广泛使用。在土木工程中，结构图纸是建筑师、工程师和施工人员之间的主要沟通工具，用于避免冲突、作为法律文件，并为未来的维护或评估需求提供参考。它们通常由标题/副标题块、比例尺、平面图、立面图、剖面图和详细剖面图等关键元素组成，并标注有标准化的符号和线型，供工程师和承包商解读。尽管软件功能不断进步，但生成结构图纸的任务对结构工程师而言仍然是劳动密集型且耗时的工作。本文介绍了一种新的基于生成式人工智能的方法，该方法利用大型语言模型（LLM）代理生成结构图纸。
Differentiating hype from practical applications of large language models in medicine -- a primer...
本文聚焦大型语言模型（LLMs）在医学领域的应用，旨在区分其hype与实际价值，为医疗从业者提供参考。LLMs的本质与局限：LLMs是基于Transformer架构的深度学习模型，通过大规模文本训练实现自然语言处理，但本质是“统计语言模仿者”，缺乏对客观真理的理解，仅能生成符合统计规律的输出。医学应用中的风险：存在隐私泄露（如违反HIPAA法规）、“幻觉”（生成虚假信息，如伪造参考文献）、数据污染（如通过“论文工厂”注入偏见）、训练数据中的偏见传播等问题。实际应用场景。
Automated Code Review Using Large Language Models at Ericsson: An Experience Report
研究背景：代码审查是保障软件质量的关键手段，但依赖资深开发者的时间和精力，易成为开发流程的瓶颈。大语言模型为自动化代码审查提供了可能。解决方案：开发了一套轻量级工具，结合开源LLMs（如Llama、CodeLlama）和静态程序分析技术，通过提取代码修改处的“包围方法”（enclosingmethod）为LLM提供上下文，生成针对性审查意见；设计了多种提示词策略（如简洁审查、详细审查、安全审查），解决LLM生成内容冗长、不相关的问题；
Evaluating Large Language Models (LLMs) in Financial NLP: A Comparative Study on Financial Report...
研究对象：选取GPT、Claude、Perplexity、Gemini和DeepSeek五个主流LLM，以“七大科技公司”（苹果、微软、亚马逊、字母表、英伟达、Meta、特斯拉）2022-2024年的10-K文件（年度报告）中“业务部分（Item1）”为分析对象。评估方法：采用三种评估方式：人类标注：从相关性、完整性、清晰度、简洁性、事实准确性五个维度评分；自动词汇-语义指标：包括ROUGE（1、2、L）、余弦相似度、Jaccard相似度；
Simulating multiple human perspectives in socio-ecological systems using large language models
本文提出了一种名为HoPeS（Human-OrientedPerspectiveShifting，面向人类的视角转换）的建模框架，旨在通过模拟社会生态系统中不同利益相关者的视角，增强对该系统的理解。核心目标：解决社会生态系统研究中“难以获取多样化利益相关者视角”的问题，通过模拟支持用户体验不同角色的视角差异，进而反思、转换和整合多视角洞察。框架构成基于大型语言模型（LLMs）的智能体系统：用LLMs驱动的智能体代表各类利益相关者，用户可代入角色参与模拟；
