Loading...
在深度学习领域，目标检测算法用于识别和定位图像中的特定对象，是计算机视觉中至关重要的任务。然而，传统的目标检测算法只能在有限类目的数据集上进行推理，这是因为训练集中的类别是有限的，推理时也只能识别这些有限的类目，限制了其应用范围。因此，我们需要使用开放集（Open-Set）检测技术，开放集检测可以在推理过程中识别训练时未被见过的类目。为了丰富交互方式，我们还将采用视觉定位（VisualGroun...
AI助手：淘宝交易研发效率提升50%
在当今快节奏的互联网环境中，交易系统的复杂性和高要求给研发团队带来了前所未有的挑战。从问题排查的低效到测试数据构造的繁琐，再到团队经验的流失，每一个环节都可能成为研发效率的瓶颈。本文将探讨如何利用AI技术，特别是AIAgent，来破解这些难题，提升研发效率。通过具体的案例和实践，我们将看到AIAgent如何在问题排查、测试数据生成和知识传承等方面发挥重要作用，成为工程师们高效工作的“神队友”。...
MNN在大模型端侧部署上的探索
随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。概述为了在更广泛的设备上部署大模型，MNN团队开发了MNN-LLM/MNN-Diffusion，合称MNN-Transformer，支持大语言模型和文生图等AIGC模型，具有如下特...
淘宝乐园新人权益活动设计与实现
随着淘宝APP逐渐转型为生活方式APP，淘宝乐园作为互动游戏矩阵的重要入口，承担着提升用户留存与分发能力的重任。本文详细介绍了淘宝乐园新人权益活动的业务背景、需求分析与方案设计，重点探讨了消息传递与更新、引导与订阅、任务体系以及动画组件开发等通用能力的建设，旨在通过这些技术手段提升用户体验，实现用户与第三方厂商的双赢。业务背景近些年，淘宝APP整体由单纯的购物APP逐步向生活方式APP转变，APP...
淘宝亿级图片素材调度与处理的工程实践
因为业务需要，笔者有幸参与设计和开发了涉及数十亿量级的图片素材调度、处理和索引使用的平台-产业AI素材库，在平台的建设落地过程中，踩了许多坑，也有了一些工程落地上的实践总结，希望分享给大家。导入实践总结素材库建设之初，涉及的图片素材单次导入不过百万，不过随着算法侧针对图片素材训练的模型的“胃口”急速增长，单次图片素材导入的需求直接突破到了数十亿级。在实践中发现，最开始完全借助于dataworks平...
全面解析：从AI原理到模型演进及代码实践
本文从原理、模型演进到代码工程实践，全面探讨了人工智能领域的核心内容。通过深入浅出的讲解，笔者不仅介绍了神经网络的基本原理，还详细阐述了Transformer模型的实现机制及其在自然语言处理（NLP）中的应用。文章结合了实际案例和代码示例，旨在帮助读者理解AI技术的全貌，并能够在实际项目中应用这些知识。初探神经网络（原理）▐神经网络讨论ChatGPT前，需要从神经网络开始，看最简单的“鹦鹉学舍...
2024年天猫双11四大技术亮点发布
第16年天猫双11刚刚落幕，在互联互通、品牌爆发、营商环境持续向好的大背景下，围绕“用户为先、AI驱动”的战略目标，技术持续保持突破与创新，给消费者带来更好的体验，帮助商家实现更好的经营。体验、稳定、效率，是技术先进性的锚点，是我们在双11中技术交付的首要责任，也是技术成功的核心标准。“丝般顺滑”，既要优化用户基础体验，也要带来体验大升级今年，手淘整体端基础体验优化进展明显，核心导购、交易链路...
提升业财系统测试充分度的实践
在软件测试领域，"测试充分度"一直是一个备受关注的难题。本文探讨了如何提升业财系统测试的充分度，以减少线上问题的发生。文中介绍了测试充分度的概念及其重要性，并提出了测试充分度的建模方法，包括测试场景的建模和用例设计模型等。认识测试充分度网上曾经统计过测试领域的“TopHardProblems”，其中“测试充分度（TestSufficiency）”高居榜首。软件测试行业发展到今天，测试充分度一...
深入Java泛型及其设计原则
在日常开发中，必不可少的会使用到泛型，这个过程中经常会出现类似“为什么这样会编译报错？”，“为什么这个列表无法添加元素？”的问题，也会出现感叹Java的泛型限制太多了很难用的情况。为了更好的使用泛型，就需要更深的了解它，因此本文主要介绍泛型诞生的前世今生，特性，以及著名PECS原则的由来。泛型的诞生▐背景在没有泛型之前，必须使用Object编写适用于多种类型的代码，想想就令人头疼，并且非常的不...
将淘宝直播间融入H5页面的技术探索
在数字化转型的浪潮中，如何将直播间无缝融入H5页面，成为提升用户体验和业务转化率的关键挑战之一。本文探讨了这一创新实践，通过技术解析和实际案例，展示了如何在H5页面上实现直播间的高效嵌入，不仅增强了用户的沉浸式体验，还显著提升了业务指标，为开发者提供了宝贵的参考和借鉴。背景先看图说话——猜猜这是一个直播间还是一个H5页面？认真审题的朋友，闭眼猜肯定猜到是H5页面。不认真审题的朋友，再...
大模型技术在淘宝生鲜审核场景的应用
随着多模态大模型技术的不断进步，大模型的应用范围得到了极大的扩展，其中较为重要的一个分支便是审核场景。现业务域内有较多场景需要人工进行凭证审核，这些审核工作不仅需要耗费较多的人力成本，效率上也有较大的提升空间。困境凭证审核工作主要有以下几项任务：1.确定商品品种2.确定商品是否存在某些质量问题（缺陷识别）3.确认出现问题商品比例这些任务与商品类目强耦合，由于类目众多，且涉及到的商品质量问题更...
OpenAI o1模型的前世今生
记得很久之前看过科幻作家阿西莫夫的一篇短篇小说《最后的问题》[1]，大概是讲根据热力学第二定律，宇宙作为一个独立的系统，会因为熵增而最后归于热寂。于是人类去询问最强大的人工智能AC宇宙的终极问题：如何逆转熵增。但直至人类灭亡，AC仍在思考答案。然后就是最精彩的部分，当然要粘原文：“经过了一亿兆年的运行虚耗，所有的恒星和星河，逐一地泯灭消亡。太空变得漆黑一片，黯然没有一丝亮光。人最后一丝的心灵与模融...
QuickJS的垃圾回收算法
内存管理，对于C/C++选手来说，是个再熟悉不过的名词。malloc/free，new/delete，一旦使用不当，就会遇到memleak，uaf，doublefree等等内存问题。但是对于其他高级语言例如JAVA，JS等，似乎从来不需要关心他们创建对象的死活，是这些语言可以违背计算机的规律么？当然不是，只是这些语言底层的编译器/虚拟机自动对内存进行了管理，我们一般称之为GC(garbage...
FlinkSQL之temporary join开发
在实时开发中，双流join获取目标对应时刻的属性时，经常使用temporaryjoin。笔者在流量升级的实时迭代中，需要让流量日志精准的匹配上浏览时间里对应的商品属性，使用temporaryjoin开发过程中踩坑不少，将一些经验沉淀在此文中，供各位同学参考与交流。背景介绍关于实时flinkSQL的双流join的背景知识可以先阅读以下文章：https://www.51cto.com/articl...
深入RAG：知识密集型NLP任务的解决方案
在当今知识密集型任务日益增多的时代，如何有效地利用外部知识来增强语言模型的生成能力成为了一个重要的研究方向。RAG技术应运而生，通过从外部记忆源中检索相关信息，RAG不仅提高了模型生成的精准性和相关性，还解决了大型语言模型在数据隐私、实时数据处理和幻觉问题等方面的局限。本文将详细介绍RAG的工作原理、应用场景、限制及挑战，帮助读者更好地理解和应用这一前沿技术。什么是RAG?RAG（Retrieva...
从DDD视角探讨代码复用的成本及效益
刚工作时，代码写得不太好，师兄每次CR代码，总是会指着屏幕里的一坨代码说“把它抽成一个类或函数”；“为什么呢？写在一起不是挺好的吗？”我反问道；师兄老道地回答“为了方便复用”；我仿佛若有所得，回到工位上把那些很长的代码全部抽象成了类和函数，感觉今天又有所成长。但是随着工作经验的增加，我对此又产生了困惑。随着业务发展得越来越复杂，我当初写的那个类被大量复用，为了适应不同的场景，里面充满了...
淘宝AI试衣素材高效写入IC实践
随着电商行业的快速发展，用户对于在线购物体验的要求也在不断提高。特别是在服装领域，用户希望能够更加直观地了解商品的实际穿着效果。为此，淘宝试衣项目应运而生，通过AI技术为用户提供个性化的试衣体验。本文将详细介绍淘宝试衣项目的背景、现状、合作场景以及技术实现，特别是如何通过定时任务驱动的试衣素材高效写入IC（商品中心）拓展结构，提升用户体验和转化率。背景▐现状服饰属于非标商品，用户无法直观的通过...
动态量化：大模型在端侧CPU快速推理方案
作为一款高性能的推理引擎框架，MNN高度关注Transformer模型在移动端的部署并持续探索优化大模型在端侧的推理方案。本文介绍权重量化的模型在MNNCPU后端的推理方案：动态量化。动态量化指在运行时对浮点型featuremap数据进行8bit量化，然后与8bit/4bit的权重数据做矩阵乘法并将结果反量化为浮点类型输出。虽然动态量化方案设计的初衷是在移动端高效地推理LLM模型，但方案本身适...
用你的手机/电脑运行文生图方案
随着ChatGPT和StableDiffusion的发布，最近一两年，生成式AI已经火爆全球，已然成为移动互联网后一个重要的“风口”。就图片/视频生成领域来说，StableDiffusion模型发挥着极其重要的作用。由于StableDiffusion模型参数量是10亿参数的大模型，通常业界都是运行部署在显卡上。但是随着量化、剪枝等模型压缩技术的进步，以及手机等终端设备的算力、带宽、内存持续...
复用的双刃剑：软件工程里的悖论与挑战
在软件工程领域，复用与扩展性一直是开发者追求的目标，然而，这两者之间存在着天然的矛盾。本文探讨了复用的双面性——它既可能是提升效率的利器，也可能是引入复杂性和维护难题的根源。第二十二条军规我一直有一个疑惑，「Duplicatedcodefragment10lineslong」这是IntelliJIDEA中对重复代码的标记。我们从学习面向对象开始就被告诫，duplicatedcode...
