Loading...

Exploring Large Language Models for Analyzing and Improving Method Names in Scientific Code
本文聚焦于大型语言模型(LLMs)在分析和改进科学代码中方法名的应用,通过对4个主流LLMs(GoogleGemini、AlibabaQwen2.5Coder32B、MetaLLaMa3.370B、DeepSeek-R170B)的评估,探索其在科学代码方法名优化中的有效性。LLMs能否有效识别和分类方法名的语法模式(如词性标注);LLMs提出的方法名改进建议是否符合软件工程最佳实践。

HIPPO-Video: Simulating Watch Histories with Large Language Models for Personalized Video Highlig...
随着视频内容的指数级增长,个性化视频高亮已成为一项关键任务,因为用户偏好具有高度的变异性和复杂性。然而,现有的视频数据集往往缺乏个性化,它们依赖于孤立的视频或简单的文本查询,无法捕捉用户行为的复杂性。在本研究中,我们提出了HIPPO-VIDEO——一个用于个性化视频高亮的新型数据集。该数据集通过基于大语言模型(LLM)的用户模拟器生成真实的观看历史,以反映多样化的用户偏好。该数据集包含2040组(观看历史,显著性分数)对,覆盖170个语义类别下的20400个视频。

eX-NIDS: A Framework for Explainable Network Intrusion Detection Leveraging Large Language Models
研究背景:现有基于深度学习的网络入侵检测系统(NIDS)虽性能优异,但缺乏可解释性,传统可解释AI技术(如SHAP)存在依赖机器学习知识、仅关注统计异常、缺乏上下文信息等局限;大型语言模型(LLMs)在网络安全领域的可解释性应用尚未充分探索,且直接使用易出现幻觉(生成不实信息)和误解释。核心框架。

Distilled Large Language Model in Confidential Computing Environment for System-on-Chip Design
研究背景:LLMs在SoC设计等计算机辅助设计(CAD)任务中应用广泛,但涉及的敏感数据(如RTL设计、电路规格)存在泄露风险。可信执行环境(TEEs)为保护数据和模型提供了可能,但现有TEE(如IntelSGX)难以高效支持资源密集型的LLMs。实验设计。

Advancing Visual Large Language Model for Multi-granular Versatile Perception
本文针对计算机视觉中的感知任务,提出了一个名为的统一框架。感知任务可按两个维度分为四类:预测类型(边界框/掩码)和指令类型(基于词/基于句子)。现有研究多仅覆盖部分任务组合,限制了通用性。MVP-LM通过整合多粒度解码器、Chain-of-Thought(CoT)启发的数据集统一策略和查询增强策略,实现了在单一架构中处理全景分割、目标检测、视觉定位、指代表达式分割等多类任务。实验表明,MVP-LM在词级和句子级感知任务的多个基准测试中表现优异,验证了其有效性。

Do Large Language Models Have a Planning Theory of Mind? Evidence from MindGames: a Multi-Step Pe...
本文聚焦大语言模型(LLMs)是否具备“规划心智理论”(PlanningTheoryofMind,PToM),即通过推断他人信念和需求来动态规划行动、干预其心智状态以达成目标的能力。研究团队设计了名为MINDGAMES的多轮说服任务,要求参与者(人类或LLM)通过选择性披露信息,说服目标agent选择自己偏好的方案。REVEALED条件:参与者已知目标的偏好和信息状态,仅需预测信息披露的效果;HIDDEN条件:参与者需通过互动对话推断目标的偏好和信息状态,进行多步骤反事实规划。

Efficient Compositional Multi-tasking for On-device Large Language Models
本文聚焦于设备端大型语言模型(LLMs)的高效组合多任务处理问题。现有基于适配器(如LoRA)的模型合并方法仅能处理单个测试样本对应单一任务的场景,而实际应用中常需同时执行多个任务(如生成翻译后的摘要需同时完成翻译和摘要任务)。为此,本文提出:1)一个包含4个实用组合任务的基准测试集(如“摘要+翻译”“回复+语气调整”等),每个任务结合一个主任务(如摘要生成)和一个辅助任务(如翻译);

Gaze-supported Large Language Model Framework for Bi-directional Human-Robot Interaction
大型语言模型(LLMs)的快速发展为辅助机器人的灵活、通用知识驱动人机交互(HRI)系统创造了令人兴奋的潜力。现有HRI系统在解读和遵循用户指令、生成动作及解决机器人任务方面已取得显著进展。然而,在协作任务中对用户的双向、多模态、上下文感知支持仍是一个未解决的挑战。本文提出了一种基于注视和语音的辅助机器人交互界面,该界面能够通过多视觉输入感知工作环境,并为动态中的用户提供任务支持。我们的系统采用模块化设计,可迁移至不同任务和机器人;由于基于语言的交互状态表示和快速机载感知模块,其具备实时处理能力。

Chinchunmei at SemEval-2025 Task 11: Boosting the Large Language Model‘s Capability of Emotion Pe...
本文是针对SemEval-2025Task11(“基于文本的情感检测鸿沟填补”)的研究成果,该任务涉及28种语言的情感识别,包含两个赛道:多标签分类(TrackA)和情感强度预测(TrackB),涵盖愤怒、恐惧、喜悦、悲伤、惊讶、厌恶六种情感。基于样本的对比学习(ContrastiveReasoningCalibration,CRC):通过比较两个样本生成更可靠的预测;基于生成的对比学习(DPO、SimPO):训练模型区分正确与错误的生成结果,优化预测。

MUR: Momentum Uncertainty guided Reasoning for Large Language Models
大型语言模型(LLMs)在推理密集型任务上已取得令人瞩目的性能,但优化其推理效率仍是一个亟待解决的挑战。尽管测试时缩放(TTS)方法提高了推理质量,但往往会导致“过度思考”——在冗余计算上浪费token。本文研究如何在无需额外训练的情况下,高效且自适应地引导LLM的测试时缩放。受物理学中“动量”概念的启发,我们提出了动量不确定性引导推理(MUR),通过跟踪和聚合随时间变化的逐步不确定性,为关键推理步骤动态分配思考预算。为支持灵活的推理时控制,我们引入了γ-control机制,通过单一超参数调整推理预算。

The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for...
本文系统评估了大型语言模型(LLMs)中社会人口统计学角色提示(sociodemographicpersonaprompting)的效果,重点探究不同提示策略对模型模拟15个交叉人口群体(如种族、性别交叉)的影响。角色采用格式:直接式(如“Youarea…”)、第三人称式(如“Thinkofa…”)、采访式(如问答对话);人口统计学启动策略。

Compositional Coordination for Multi-Robot Teams with Large Language Models
本文提出了一种名为的新型框架,旨在利用大语言模型(LLMs)简化和泛化多机器人协调流程。传统的多机器人协调依赖专家手动将自然语言任务描述转化为数学模型、算法和可执行代码,存在耗时、非专家难以使用、对任务需求变化适应性差等问题。任务分析(MissionAnalysis):将自然语言任务描述解析为行为树(behaviortrees),明确任务分解、依赖关系、机器人分配、约束条件等;代码生成(CodeGeneration)

MD-LLM-1: A Large Language Model for Molecular Dynamics
分子动力学(MD)是建模分子系统的强大方法,但在许多具有生物学意义的大分子系统的空间和时间尺度上,其计算成本仍然很高。为了探索深度学习在解决这一问题上的潜力,我们引入了分子动力学大型语言模型(MD-LLM)框架,以说明如何利用大型语言模型(LLMs)学习蛋白质动态并发现训练中未见过的状态。通过将这一方法的首个实现(MD-LLM-1,通过微调Mistral7B获得)应用于T4溶菌酶和Mad2蛋白系统,我们发现,在单一构象状态上训练能够实现对其他构象状态的预测。

Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using In...
本文聚焦大型语言模型(LLMs)的内在信息处理机制,提出了一种基于信息论的任务无关方法,通过量化“认知轮廓”(CognitiveProfile)分析模型的智能特征。核心思路是利用“熵衰减曲线”(EntropyDecayCurve)追踪模型的归一化预测不确定性随上下文长度的变化,并引入“信息增益跨度”(IGS)指数总结曲线特征。模型规模显著影响认知轮廓:大模型(如Llama3.3)的熵衰减曲线下降更剧烈,能从“发散思考”快速过渡到“精确推理”;小模型的曲线更平缓,长上下文下不确定性仍较高。

Understanding Large Language Models‘ Ability on Interdisciplinary Research
近年来,大型语言模型(LLMs)的进展揭示了它们在复杂领域中执行多步骤、逻辑驱动推理的惊人能力,使它们成为科学发现中的强大工具和合作者,同时挑战了“灵感驱动的构思是人类独有的”这一长期观点。然而,缺乏一个专门的基准来评估LLMs在跨学科研究(IDR)场景中提出思想的能力,这严重阻碍了对其优势和局限性的充分理解。为填补这一空白,我们引入了IDRBench——一个开创性的基准,包含专家标注的数据集和一套专门设计的任务,用于评估LLMs从不同科学领域中为跨学科研究提出有价值研究思想的能力。

Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are A...
大型语言模型(LLMs)已通过多种问题类型进行评估,例如选择题、判断题和长短简答题。本研究探讨了一个尚未被研究的问题:不同问题类型对LLM在推理任务上的准确性有何影响?我们通过定量推理和演绎推理任务,研究了5个LLM在三种不同问题类型上的表现。评估指标包括推理步骤的准确性和最终答案的选择准确性。主要发现:(1)不同问题类型下,LLM的表现存在显著差异;(2)推理准确性与最终答案选择准确性不一定相关;(3)选项数量和用词选择会影响LLM的表现。

Extracting Visual Facts from Intermediate Layers for Mitigating Hallucinations in Multimodal Larg...
本文聚焦多模态大型语言模型(MLLMs)中的“物体幻觉”问题(即模型生成图像中不存在的物体等事实错误输出),深入探究了模型先验知识在中间层对视觉信息的抑制机制。研究发现,中间层的视觉事实知识与原始输入和纯文本输入的概率分布差异(通过JS散度量化)具有相似的演化趋势。动态目标层选择:通过计算中间层原始输入与纯文本输入的JS散度,选择散度最大的中间层作为目标层(该层含最丰富的视觉事实知识);视觉事实知识解码。

Applying the Chinese Wall Reverse Engineering Technique to Large Language Model Code Editing
本文聚焦代码大语言模型(CodeLLM)的版权争议与性能提升问题。核心背景是:主流商业代码大语言模型(如GPT-4、Gemini2.5Pro等)的训练数据不公开,可能包含受版权保护的开源代码,存在侵权风险;而部分注重数据合规性的模型(如Comma、Starcoder2)因训练数据有限,性能较弱,缺乏竞争力。

Metaphor and Large Language Models: When Surface Features Matter More than Deep Understanding
本文全面评估了大型语言模型(LLMs)在多个数据集、任务和提示配置下的隐喻理解能力。尽管隐喻处理在自然语言处理(NLP)领域已受到广泛关注,但以往研究局限于单一数据集评估和特定任务设置,且常通过词汇替换构建人工数据。为解决这些局限,我们利用多样化的公开数据集(含推理和隐喻标注)开展了大量实验,重点关注自然语言推理(NLI)和问答(QA)任务。结果表明,LLMs的表现更多受词汇重叠、句子长度等特征影响,而非隐喻内容。

StackTrans: From Large Language Model to Large Pushdown Automata Model
本文针对Transformer架构在捕获乔姆斯基层级(如正则表达式、确定性上下文无关文法)方面的固有局限,提出了一种名为STACKTRANS的新型模型。该模型受下推自动机(使用栈高效处理确定性上下文无关文法)启发,在Transformer层间引入隐藏状态栈,通过可微分的栈操作(推入、弹出、无操作)实现端到端训练,同时保持与现有框架(如flash-attention)的兼容性。

欢迎留下您的脚印