Loading...
现有驾驶风格识别系统在很大程度上依赖低级传感器衍生特征进行训练，却忽略了人类专家固有的丰富语义推理能力。这种差异导致算法分类与专家判断之间存在根本性偏差。为填补这一空白，本文提出一种新框架，该框架融合了从大语言模型（LLMs）中提取的语义特权信息（SPI），使识别结果与人类可解释的推理过程对齐。具体而言，首先引入DriBehavGPT——一个基于LLM的交互式模块，用于生成驾驶行为的自然语言描述；随后通过文本嵌入和降维处理，将这些描述转化为可兼容机器学习的表示形式；
A Review of Developmental Interpretability in Large Language Models
本综述整合了大型语言模型（LLMs）领域中新兴且关键的“发展可解释性”研究方向。我们梳理了该领域从“训练后模型的静态、事后分析”到“训练过程本身的动态研究”的演进历程。首先，我们综述了支撑研究者拆解学习过程的基础方法论——包括表征探测、因果追踪与电路分析。综述的核心部分剖析了LLM能力的发展轨迹，详细阐述了计算电路的形成与构成、知识获取的双阶段本质、上下文学习等策略的暂时动态，以及作为训练相变的涌现能力现象。
Cryfish: On deep audio analysis with Large Language Models
近年来，基于文本的大型语言模型（LLMs）取得了革命性进展，这使得人们对将此类模型的能力扩展到多模态感知与理解任务的兴趣日益浓厚。听觉作为一项核心能力，是LLMs整合的重要目标。然而，将听觉能力有效融入LLMs面临重大挑战，即如何在语音与声音任务中实现复杂听觉任务的泛化。为解决这些问题，我们提出了具备听觉能力的LLM变体——Cryfish。该模型通过基于Transformer的连接器，将WavLM音频编码器特征与Qwen2模型整合，并借助专用训练策略适配各类听觉任务。
DEXTER-LLM: Dynamic and Explainable Coordination of Multi-Robot Systems in Unknown Environments v...
未知环境下多机器人系统的在线协同面临重大挑战，尤其是在运行过程中检测到的语义特征动态触发新任务时。近年来，基于大语言模型（LLMs）的场景推理与规划方法，主要聚焦于已知环境中的“一次性端到端”解决方案，既缺乏在线运行所需的动态适应能力，也在规划过程中缺乏可解释性。为解决这些问题，本文提出一种适用于未知环境动态任务规划的新型框架（DEXTER-LLM），该框架整合四个模块：（1）任务理解模块，用于解析自然语言或线性时序逻辑（LTL）公式指定的任务间部分顺序关系；
RETAIL: Towards Real-world Travel Planning for Large Language Models
人工智能（AI）在招聘领域的应用日益广泛，大型语言模型（LLMs）甚至有可能影响乃至决定招聘决策。然而，这引发了关于偏见、公平性与信任的迫切担忧，在多元文化背景下此类担忧尤为突出。尽管LLMs在招聘中的作用不断增强，但鲜有研究系统探讨跨文化场景下AI驱动的招聘评估所存在的潜在偏见。本研究通过系统分析，探究LLMs如何从文化与身份维度评估求职面试表现。研究采用两组面试转录文本数据集（英国求职者100份、印度求职者100份），首先考察LLM在“可雇佣性”及相关特质评分上的跨文化差异。
EMNLP: Educator-role Moral and Normative Large Language Models Profiling
职业模拟（SP）技术能够让大型语言模型（LLMs）模拟专业角色，但在这类场景下，对模型的综合心理与伦理评估仍存在缺口。本文提出EMNLP框架，即“教师角色道德与规范性大语言模型分析框架”，用于对教师角色LLMs进行人格分析、道德发展阶段测量，以及软提示注入下的伦理风险评估。EMNLP框架扩展了现有量表，并构建了88个教师专属道德困境，实现了与人类教师的“职业导向型对比”；同时设计了针对性软提示注入集，用于评估教师角色模拟中模型的合规性与脆弱性。
Guidelines for Empirical Studies in Software Engineering involving Large Language Models
大型语言模型（LLMs）正日益融入软件工程（SE）研究与实践，但它们的非确定性、训练数据不透明性以及持续演进的架构，使得相关实证研究的可复现性和可重复性面临挑战。本文呈现一项社区协作成果，旨在明确该领域的研究范围，提出LLM相关研究类型的taxonomy，并给出8项用于设计和报告涉及LLM的实证研究的指南。这些指南既包含“必须遵守”的核心标准，也涵盖“建议遵守”的理想标准，目标是确保整个研究过程的透明度。结合研究类型，我们的建议包括：（1）声明LLM的使用情况与角色；（2）报告模型版本、配置与微调细节；
CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compres...
大语言模型（LLMs）因其庞大的规模和高昂的计算需求，在部署方面面临重大挑战。模型压缩技术对于使这些模型在资源受限环境中实用化至关重要。一种主流的压缩策略是通过奇异值分解（SVD）实现低秩分解，通过近似权重矩阵来减少模型参数。然而，标准SVD侧重于最小化矩阵重构误差，这往往会导致模型功能性能的显著损失。这种性能下降的原因在于，现有方法未能充分修正压缩过程中丢失的功能信息。为解决这一问题，我们提出了修正自适应低秩分解（CALR）——一种双组件压缩方法。
Large Language Models are Highly Aligned with Human Ratings of Emotional Stimuli
情绪在日常和高压力任务中，对人类行为和认知都有着巨大的影响。在讨论是否将大型语言模型（LLMs）融入日常生活（例如，作为人类主体的代理或与人类主体互动）以及如何融入时，需要了解这些工具如何评估带有情绪色彩的刺激或情境，这一认知至关重要。在这些情况下，模型与人类行为的一致性，能够为LLMs在特定角色或互动中的有效性提供参考。为了增进这种理解，我们让多个主流的大型语言模型对一些数据集（包含单词和图像）进行评分，而这些数据集此前已由人类对其情绪内容进行过评分。
Automated Optimization Modeling through Expert-Guided Large Language Model Reasoning
优化建模（OM）是解决复杂决策问题的关键手段。然而，该过程耗时且易出错，严重依赖领域专家。尽管大型语言模型（LLMs）凭借其天然语言理解和推理能力，在应对这些挑战方面展现出潜力，但当前方法仍面临三大关键局限：基准标注错误率高达42%；评估范围狭窄，仅考虑最优值；因过度依赖多智能体系统或模型微调，导致计算效率低下。在本研究中，我们首先通过系统纠错和更全面的标注来优化现有数据集。此外，我们引入LogiOR——一个来自物流领域的新型优化建模基准，包含更多具有标准化标注的复杂问题。
Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qu...
定性分析通常受限于小型数据集，因为其耗时费力。此外，为确保研究结果的可靠性，还需要第二名人类评分者参与。如果能证明人工智能工具与人类评分结果相比具有较高的可靠性，那么它们就有可能取代人类评分者。本研究探究了最先进的大型语言模型（LLMs）——ChatGPT-4o和ChatGPT-4.5-preview，在对人工编码的音频转录文本进行评分时的评分者间信度。我们通过探索提示词和超参数来优化模型性能。研究参与者是来自美国中西部某大学的14个本科学生小组，这些小组就某个项目的问题解决策略展开了讨论。
Scalable Scientific Interest Profiling Using Large Language Models
目的：研究画像能够凸显科研人员的研究重点，为人才发现和合作搭建提供支持，但这些画像往往存在信息过时的问题。目前迫切需要自动化、可扩展的方法来保持这些画像的时效性。方法：本研究设计并评估了两种基于大型语言模型（LLMs）的学术兴趣画像生成方法——一种通过总结研究者在PubMed上的出版物摘要生成画像，另一种利用出版物的医学主题词（MeSH术语）生成摘要，并将这些机器生成的画像与研究者自我总结的兴趣画像进行对比。
GTool: Graph Enhanced Tool Planning with Large Language Model
基于大语言模型（LLMs）的工具规划，指选择、组织并准备完成用户请求所需的工具，是连接自然语言理解与任务执行的关键环节。然而，现有方法将不同工具视为孤立组件，未能利用工具固有的依赖关系，导致规划结果无效。由于工具依赖往往不完备，LLMs难以准确识别用户请求所需的合适工具，在大规模工具集场景下这一问题尤为突出。为解决该挑战，我们提出GTool——首个旨在增强LLMs在不完备依赖下工具规划能力的方法。GTool构建任务特异性工具图以高效筛选工具，并生成能为LLMs理解的，提供充足的依赖信息。
Mitigating Hallucinations in Large Language Models via Causal Reasoning
大型语言模型（LLMs）会产生逻辑不一致的幻觉，这类幻觉看似连贯却违背推理原则。近期研究表明，因果推理能力与此类幻觉存在负相关。然而，LLMs中现有的推理方法（如思维链（CoT）及其基于图的变体）均在语言token层面运行，并未对变量间的潜在因果关系进行建模，缺乏表示条件独立性或满足因果识别假设的能力。为填补这一空白，我们提出因果DAG构建与推理监督微调框架（CDCR-SFT）：该框架通过监督微调训练LLMs，使其显式构建变量级别的有向无环图（DAG），再基于此图进行推理。
ALIGN: Word Association Learning for Cross-Cultural Generalization in Large Language Models
随着大型语言模型（LLMs）在跨文化交流中的应用日益广泛，其行为仍受预训练语料中过度代表的语言和观点的分布偏差影响。然而，由于文化知识有限且缺乏对有效学习方法的探索，建模和对齐文化仍是一项挑战。本研究提出一种成本高效、基于认知的解决方案：对母语者的自由词汇联想规范进行参数高效微调，这些规范编码了隐性的文化图式。研究利用Small-World-of-Words项目的英语（美国）和普通话词汇联想数据，通过监督微调（SFT）和基于PPO的偏好优化，对Llama-3.1-8B和Qwen-2.5-7B模型进行适配。
Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models
我们针对大型语言模型（LLMs）研究《通用数据保护条例》（GDPR）第17条规定的“被遗忘权”，并将“遗忘”（Unlearning）构建为可复现的系统级问题。我们的方法将训练视为确定性程序，同时记录最小化的微批次日志（含有序ID哈希、随机数种子（RNGseed）、学习率值、优化器步数计数器及累积边界）。在固定的计算栈与确定性核函数前提下，若满足前置条件，过滤“待遗忘数据闭包”并回放训练后期过程，可得到与仅用“保留数据”训练完全一致的模型参数（训练数据类型下的位级一致）。
Credence Calibration Game? Calibrating Large Language Models through Structured Play
随着大型语言模型（LLMs）在决策关键领域的应用日益广泛，确保其置信度估计与实际正确性准确匹配变得至关重要。现有校准方法主要集中于后处理调整或辅助模型训练；然而，这些方法中的许多都需要额外的监督数据或参数更新。在本研究中，我们受“可信度校准游戏”（CredenceCalibrationGame）的启发，提出了一种新颖的基于提示词的校准框架。该方法构建了一个结构化的交互循环，在该循环中，LLMs会根据其预测置信度与正确性的匹配程度接收反馈。
The Prompting Brain: Neurocognitive Markers of Expertise in Guiding Large Language Models
提示工程已迅速成为与大型语言模型（LLMs）高效交互的关键技能。然而，该专业能力背后的认知与神经基础仍未得到充分探索。本文呈现了一项横断面前瞻性功能性磁共振成像（fMRI）研究的结果，旨在探究提示工程专家与中级从业者在大脑功能连接及网络活动上的差异。研究结果揭示了与更高提示工程素养相关的独特神经标记，包括左中颞回、左额极等脑区功能连接增强，以及关键认知网络中功率-频率动态的改变。这些发现为提示工程专业能力的神经生物学基础提供了初步见解。
Large Language Models as Visualization Agents for Immersive Binary Reverse Engineering
沉浸式虚拟现实（VR）具备降低二进制逆向工程（RE）认知复杂度的潜力，可通过增强记忆、假设验证和视觉组织，借助具身认知与外部认知辅助逆向工程过程。在前期研究中，我们采用认知系统工程方法确定了初始的功能集合，并开发了一个VR环境，通过空间持久性和交互性支持逆向工程。本研究对该平台进行扩展，集成了一个大型语言模型（LLM）代理，该代理能够查询二进制分析工具、回答技术问题，并根据分析师的任务动态生成沉浸式3D可视化结果。我们阐述了系统架构、评估流程与结果。
Uncovering Emergent Physics Representations Learned In-Context by Large Language Models
大型语言模型（LLMs）展现出令人印象深刻的上下文学习（ICL）能力，仅通过文本提示就能解决各类任务。随着这些能力的不断发展，其适用领域也在显著拓展。然而，LLMs内部究竟通过何种精确机制或结构，实现对不同类别任务的有效上下文学习，目前仍不明确。基于物理的任务为探究这一难题提供了理想的测试平台。与基础算术或符号方程等合成序列不同，物理系统基于基本原理的结构化动力学，能提供可实验控制的真实世界数据。这一特性使其成为在真实且可控的场景下，研究LLMs涌现推理行为的绝佳选择。
