上海交大人工智能学院严骏驰教授荣登IEEE Xplore封面作者

来源:上海交通大学 #神经网络# #自动设计# #上海交大#
5008

近日,上海交通大学人工智能学院严骏驰教授荣登IEEE Xplore封面作者,其团队文章DIY Your EasyNAS for Vision: Convolution Operation Merging Map Channel Reducing, and Search Space to Supernet Conversion Tooling发表于人工智能顶刊 IEEE TPAMI,为神经网络的自动化、轻量化设计提供了全新的范式,真正实现了让开发者能够“DIY”自己的高效模型。

严骏驰教授荣登IEEE Xplore封面作者随着深度学习向复杂视觉任务演进,自动设计最优网络架构(NAS)已成为提升模型性能的关键。然而,传统的搜索方法往往面临巨大的显存瓶颈与计算开销,被视为算力密集型任务。严骏驰教授团队从底层优化思维出发,提出了EasyNAS框架,旨在打破这一瓶颈,实现单卡环境下的“DIY式”高效搜索,真正让深度学习架构演进变得轻量且通用。

本文首先提出基于线性同质性的卷积算子合并技术,利用卷积的线性同质性,将多个候选算子合并为共享超卷积核,并借助动态掩码实现数学等价。该方法将搜索过程中的显存开销从多路径并行大幅压缩至单路径模式,显著节省硬件资源。其次提出通道比例的可导化重参数化策略,通过引入 Gumbel-Softmax 采样,将离散的通道比例选择转化为可导的概率分布优化,使模型宽度能够通过梯度下降平滑演化。

同时,通过将卷积算子层与通道缩减层进行原子级解耦,把指数级搜索空间拆分为独立组件,从而在多种视觉任务中实现高效的搜索与迁移。自动化模型架构设计总览图在此基础上,团队提出“原子搜索组件”概念,并开源一套通用NAS框架,支持用户自定义搜索空间并自动转换为可训练超网,轻松适配分类、检测、分割等任务。实验表明,该框架在多种视觉任务中达到领先精度,并在目标检测任务上仅用单卡1.4天完成搜索,性能优于多种传统人工设计网络。该工作不仅推动了组合优化与深度学习的结合,更为工业质检、移动端视觉等算力敏感场景提供了高效自动化解决方案。本文第一作者和通讯作者分别为上海交通大学王晓星博士和严骏驰教授。IEEE Xplore封面作者由IEEE在全球各领域IEEE作者中严格遴选,综合评估多项核心指标,每月仅评选出三位研究人员,并在网站首页的专门位置进行展示。该举措旨在表彰高价值作者及其研究成果,显著提升研究人员及其科研成果的国际曝光度,从而促进全球学术共同体的交流与合作。

通讯作者简介:严骏驰,现为上海交通大学人工智能学院教授,科技部重大专项、基金委重大研究计划、优秀青年基金、教育部U40计划、学科突破先导单方向项目负责人。曾任IBM研究院首席研究员和亚马逊高级顾问共10年,任ICML理事、CVPR/ECCV/ICML/NeurIPS/ICLR等会议(高级)领域主席、TPAMI/TNNLS/TEVC/TOPML/ACCESS/TMLR/PRJ等期刊(创刊)编委。研究兴趣为机器学习及前沿应用,获省自然科学一等奖、AAAI21/IJCAI23最具影响力论文榜首、CVPR24/IROS25最佳论文候选、ACL25杰出论文,学术引用超3万次,入选IEEE Xplore主页封面作者,任国际科学智能联盟副秘书长、国际模式识别学会IAPR、英国工程技术学会IET会士,IEEE-CS AI'10 to Watch、IEEE CIS Outstanding Early Career Award获得者,指导学生获CCF优博/CV新锐奖、交大学术之星、挑战杯特等奖等荣誉和本科/博士生自然科学基金。

责编: 集小微
来源:上海交通大学 #神经网络# #自动设计# #上海交大#
THE END
关闭
加载

PDF 加载中...