Loading...
大型语言模型（LLMs）精准遵循复杂且细粒度词汇指令的能力，是其实用性与可控性的核心基础。然而，评估这一能力仍面临重大挑战。现有方法要么依赖主观且成本高昂的人工评估，要么采用自动化的“LLM作为裁判”系统，而后者存在固有偏见与不可靠性。现有程序化基准测试虽具客观性，但往往缺乏在细粒度层面测试复杂组合型约束的表达能力。为解决这些局限，我们提出LexInstructEval——一个用于细粒度词汇指令遵循评估的新型基准测试与评估框架。该框架基于形式化的规则语法构建，将复杂指令解构为标准的⟨过程、关系、值⟩三元组。
LLM-YOLOMS: Large Language Model-based Semantic Interpretation and Fault Diagnosis for Wind Turbi...
风力发电机（WT）部件的健康状态对确保其稳定可靠运行至关重要。然而，现有故障检测方法大多局限于视觉识别，输出的结构化结果缺乏语义可解释性，且无法为运维决策提供支持。为解决这些局限性，本研究提出一种融合YOLOMS与大语言模型（LLM）的集成框架，用于智能故障分析与诊断。具体而言，YOLOMS采用多尺度检测和滑动窗口裁剪技术增强故障特征提取能力，同时通过轻量级键值（KV）映射模块搭建视觉输出与文本输入之间的桥梁。
MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
大型语言模型（LLM）智能体越来越多地被应用于科学发现和机器学习工程（MLE）等长时程任务，在这些任务中，持续的自我演化成为一种关键能力。然而，现有的MLE智能体存在分支间信息隔离、无记忆搜索以及缺乏层次化控制的问题，这些问题共同阻碍了长时程优化。我们提出了MLEvolve，一个基于LLM的自演化多智能体框架，用于端到端的机器学习算法发现。
EffiReason-Bench: A Unified Benchmark for Evaluating and Advancing Efficient Reasoning in Large L...
大语言模型（LLMs）通过思维链（CoT）提示实现了强大的推理能力，但频繁生成不必要的冗长解释，增加了成本并降低了准确率。尽管面向效率的方法层出不穷，但碎片化的评估实践阻碍了系统比较，也掩盖了不同条件下哪些策略更为有效。本文提出EffiReason-Bench，这是首个统一基准，支持对高效推理方法进行严格的跨范式评估，这些方法被分为三类：推理蓝图（ReasoningBlueprints）、动态执行（DynamicExecution）和事后优化（Post-hocRefinement）。
CreativityPrism: A Holistic Benchmark for Large Language Model Creativity
创造力通常被视为人类智能的标志。尽管大型语言模型（LLMs）越来越多地被认为能够生成富有创意的文本，但目前仍缺乏一个全面的框架来评估它们在不同场景下的创造力。现有评估方法较为零散，在不同领域和任务间存在巨大差异，这主要源于对创造力的定义和衡量方式各不相同。受“创造力并非单一固定概念”这一假设的启发，我们提出了CREATIVITYPRISM——一个将创造力分解为三个维度的评估分析框架：质量、新颖性和多样性。
PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models
本文聚焦波斯语大型语言模型（LLMs）的社会偏见评估缺口，提出了首个针对波斯语语境的偏见基准数据集PBBQ（PersianBiasBenchmarkforQuestion-answering）。数据集构建：通过人机协作模式，结合社会科学专家指导与250名不同人口统计学背景受访者的问卷反馈，筛选出223个波斯文化中广泛认可的刻板印象，覆盖年龄、职业、社会经济地位等16个偏见类别，最终生成37,742条高质量问答样本，包含模糊语境、明确语境及对应正负向问题。模型评估。
RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large La...
本文针对大型语言模型（LLMs）在规则学习中存在的“忽视规则组合效应”“概率规则学习与LLMs耦合不足”等问题，提出了RLIE框架——一种融合规则生成（Rulegeneration）、逻辑回归（Logisticregression）、迭代优化（Iterativerefinement）和评估（Evaluation）的统一概率规则学习范式，核心目标是从数据中学习鲁棒、可解释且可复用的自然语言规则集。如今，大型语言模型（LLMs）能够以自然语言形式提出规则，克服了传统规则学习中固有的预定义谓词空间限制。
CityVerse: A Unified Data Platform for Multi-Task Urban Computing with Large Language Models
该研究针对大型语言模型（LLMs）在城市计算多任务评估中面临的数据访问不统一任务定义碎片化动态评估缺失三大核心挑战，提出了首个统一平台CityVerse。该平台以“时空坐标”为核心纽带，构建三层架构（统一城市数据层、四级任务分类层、可视化交互层），整合多源城市数据、标准化任务体系与动态仿真能力，为LLMs在城市计算领域的系统化、可复现评估提供基础支撑。数据层。
Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
推测解码通过草稿多个token并由目标模型并行验证来加速LLM推理。然而，其实际加速效果受到草稿质量与草稿成本之间权衡的制约：自回归草稿器能够建模草稿token间的因果依赖，但会产生顺序开销；而并行草稿器虽然降低了草稿成本，却弱化了块内依赖建模。本文提出Domino——一个将因果依赖建模与昂贵的自回归草稿执行解耦的推测解码框架。Domino首先使用并行草稿骨架为整个token块生成初步草稿分布，然后通过轻量级的Domino头利用前缀依赖的因果信息对其进行精炼。
Automated HIV Screening on Dutch Electronic Health Records with Large Language Models
该研究聚焦于利用大型语言模型（LLM）实现荷兰电子健康记录（EHR）的自动化HIV筛查，核心目标是通过高效分析非结构化临床文本，提升HIV早期诊断效率、降低漏诊率。研究背景：HIV筛查对早期干预和减少传播至关重要，但传统筛查依赖患者主动检测或医护人员基于症状判断，存在漏诊风险；现有自动化方法多依赖结构化数据，忽略了非结构化临床笔记中的关键风险信息，且人工依据临床指南（如EuroTEST）审查病历耗时耗力。研究方案。
Restoring Pruned Large Language Models via Lost Component Compensation
该研究针对大语言模型（LLMs）剪枝后性能下降的问题，提出了一种名为RestoreLCC的目标恢复策略。核心思路是通过捕捉剪枝过程中丢失的关键信息并补偿回模型，在不牺牲剪枝模型稀疏性和推理效率的前提下，恢复其性能。研究验证了剪枝导致的信息损失会体现在注意力头激活中，通过对比探测筛选关键注意力头，并提取丢失的成分向量进行补偿，可有效缩小剪枝模型与稠密模型的性能差距。
KnowMol: Advancing Molecular Large Language Models with Multi-Level Chemical Knowledge
该研究聚焦分子大语言模型（Mol-LLMs）的核心局限，提出数据集与表示策略双重创新，开发出性能领先的多模态分子大语言模型KnowMol。指出当前Mol-LLMs存在数据集质量低（PubChem覆盖失衡、粒度粗糙）和分子表示策略欠佳（1D/2D模态编码不足）两大问题。构建KnowMol-100K数据集，含10万条分子的四级精细标注（原子、官能团、结构构建、理化性质），弥补分子信息与文本描述的鸿沟。
Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models
实时视觉任务要求在多样的硬件平台上实现模型的高精度、高效率以及部署的简便性。YOLO系列模型正是为此而广泛部署于各类应用中。然而，目前大多数YOLO检测器在推理时仍依赖非极大值抑制，由于使用DistributionFocalLoss而导致检测头结构臃肿，需要较长的训练周期，且对于最小尺寸的目标物往往无法分配有效的正标签。本文提出了UltralyticsYOLO26——一个统一的实时视觉模型家族，通过架构设计与训练方法的协同创新，有效解决了上述局限性。
On the Military Applications of Large Language Models
该研究聚焦大型语言模型（LLMs）在军事领域的应用潜力，通过与微软Copilot（基于GPT-4Turbo）的多轮对话收集其对军事应用场景的认知，结合商用云服务（以微软Azure为例）的可行性分析，系统探讨了LLMs在军事中的潜在价值与挑战。核心研究路径首先，通过与Copilot对话，梳理其提出的军事应用场景，涵盖训练材料生成与总结、模拟响应生成、态势报告生成、海量军事数据管理、情报分析与信息融合、军事医疗、记录追踪、信息战应对、对抗敌方AI系统、监视等十大类。
ToMMeR -- Efficient Entity Mention Detection from Large Language Models
识别哪些文本片段指向实体（即提及检测）既是信息提取的基础，也是已知的性能瓶颈。本文提出ToMMeR——一种轻量级模型（参数
Detecting Latin in Historical Books with Large Language Models: A Multimodal Benchmark
本文提出了一项新任务——从版式多样的多语言历史文献中提取拉丁语片段。我们基于包含724页标注数据的多模态数据集，对大型基础模型的性能进行了基准测试与评估。结果表明，利用当代模型实现可靠的拉丁语检测是可行的。本研究首次全面分析了这些模型在该任务中的能力与局限性。
OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models
随着大型语言模型（LLM）日益融入现实世界应用，确保其安全性、鲁棒性和隐私合规性已变得至关重要。本文提出OpenGuardrails，这是首个完全开源的平台，它统一了基于大模型的安全检测、操纵防御和可部署护栏基础设施。OpenGuardrails可防御三类主要风险：（1）内容安全违规（如生成有害或色情文本）；（2）模型操纵攻击（包括提示注入、越狱和代码解释器滥用）；（3）涉及敏感或隐私信息的数据泄露。
ELUTQ: Efficient LUT-Aware Quantization for Deploying Large Language Models on Edge Devices
权重量化有效降低了内存消耗，使大语言模型能够部署在基于CPU的边缘设备上，但现有硬件友好型方法通常依赖均匀量化，在低比特设置下存在权重分布拟合效果差和反量化开销高的问题。本文提出ELUTQ，一种高效量化框架，其核心是名为层级线性量化（HLQ）的新型量化格式。HLQ旨在更好地捕捉权重的统计特征，同时不增加基于位串行查找表（LUT）的矩阵乘法（GEMM）运算的计算成本，从而消除反量化开销。HLQ与现有量化算法具有正交性。
A Multi-faceted Analysis of Cognitive Abilities: Evaluating Prompt Methods with Large Language Mo...
尽管大型语言模型（LLMs）在医疗领域迅速普及，但如何根据CONSORT标准对其评估临床研究报告的能力进行稳健且可解释的评估，仍是一项尚未解决的挑战。特别是在医疗自动化中，LLM推理的不确定性校准和元认知可靠性尚未得到充分理解和探索。本研究采用行为和元认知分析方法，利用专家验证的数据集，系统比较了两款具有代表性的LLM（一款通用型模型和一款领域专用型模型）在三种提示策略下的表现。
Prior-informed optimization of treatment recommendation via bandit algorithms trained on large la...
当前医疗实践依赖标准化治疗框架和经验方法，忽视患者个体差异，导致健康结局欠佳。本研究开发了一套综合系统，整合大语言模型（LLMs）、条件表格生成对抗网络（CTGAN）、T-learner反事实模型和情境老虎机方法，以提供定制化、数据驱动的临床推荐。
