研究领域

研究聚焦生成式多模态大模型，包括理解-生成一体化的模型架构、复杂推理能力与3D空间感知能力、可解释性。

个人简介

曾星宇，1989年生，江西抚州人。2011年本科毕业于中国科学技术大学，2016年博士毕业于香港中文大学，后进入商汤科技集团工作，担任高级算法总监兼多个业务线的算法负责人，2025年入职深圳理工大学任特聘正教授。研究聚焦于计算机视觉和多模态大模型方向，在各类顶级会议及期刊发表论文30+篇，成果发表于CVPR、ICCV、ECCV 和TPAMI等顶级期刊会议，学术引用量4k+，h-index 24。曾多次担任 CVPR、ICCV等国际顶级会议及期刊审稿人。曾获得Google PhD Fellowship，作为核心成员获得ImageNet视觉挑战赛多项冠亚军。

主要研究方向

曾星宇博士早期研究主要聚焦于深度学习驱动的计算机视觉方向：
1，图像/视频分类与物体检测：探索基于卷积神经网络的高效特征表示、多尺度特征融合，以及目标检测精度与效率的提升方法。
2，人体姿态估计与动作识别：研究如何通过深度网络对视频中人体姿态、行为类别进行建模，关注时序信息、上下文特征与运动特征的结合。
3，跨模态任务：探讨视觉与语言模态之间的对齐与融合，例如图像标注与图像-文本检索等。
曾星宇博士近期研究主要聚焦于生成式多模态大模型，涵盖理解-生成一体化架构、大模型复杂推理与3D感知能力、可解释性：
1，理解-生成一体化的多模态大模型：构建统一架构，融合感知、理解与生成能力，实现多模态任务间的泛化迁移与协同优化。
2，大模型的复杂推理与3D空间感知能力：结合强化学习方法提升多模态思维链、精细生成控制与三维空间推理能力。
3，大模型的可解释性与安全性：研究多模态大模型在生成过程中的可控性、因果推理能力与风险防范机制。
曾星宇教授课题组的研究方向主要集中于生成式多模态大模型，涵盖统一架构的理解-生成大模型、多模态强化学习驱动的推理与控制机制、3D空间建模与场景生成，以及大模型的可解释性。其他研究兴趣还包括复杂智能体建模、多模态交互系统等。

学习经历

2012.8-2016.7，香港中文大学，电子工程，博士
2007.9-2011.7，中国科学技术大学，电子信息工程，学士
2007.9-2011.7，中国科学技术大学，金融，学士（双学位）

工作经历

2025.7-至今，深圳理工大学，特聘正教授
2016.8-2025.7，商汤科技，高级算法总监兼行业算法负责人
2011.11-2012.7，香港中文大学，研究助理

所获荣誉

Google PhD Fellowship
ImageNet视觉挑战大赛多届冠亚军

科研成果

科研项目

2021.6-2024.6，深圳市河套深港科技创新合作区深圳园区发展署，“面向行业赋能的计算机视觉关键技术研究项目”，资助金额4400万，核心成员
2022.1-2024.12，深圳市科技创新局，“重2021N083 面向智能视觉的规模计算开放平台关键技术研发”，资助金额600万，参与
2019.03-2021.3，深圳市科技创新局，“重20180236 面向智慧城市的超大规模视觉分析的关键技术研发”，资助金额450万，参与
2020.08-2022.03，深圳市科技创新局，“基于新一代信息技术的新冠肺炎防控及辅助诊疗关键技术研发”，资助金额1000万，参与

发表论文

在各类顶级会议及期刊发表论文30+篇，成果发表于CVPR、ICCV、ECCV 和TPAMI等顶级期刊会议，学术引用量4k+，h-index 24，代表性论文如下，
1.Yize Zhang, Tianshu Wang, Sirui Chen, Kun Wang, Xingyu Zeng, Hongyu Lin, Xianpei Han, Le Sun, Chaochao Lu,ARise: Towards Knowledge-Augmented Reasoning via Risk-Adaptive Search, ACL 2025
2.Rongyao Fang, Chengqi Duan, Kun Wang, Hao Li, Hao Tian, Xingyu Zeng, Rui Zhao, Jifeng Dai, Hongsheng Li, Xihui Liu ,Puma: Empowering unified mllm with multi-granular visual generation, ICCV 2025
3.Chenyang Zhao, Kun Wang, Xingyu Zeng, Rui Zhao, Antoni B Chan,gradient-based visual explanation for transformer-based clip, ICML 2024
4.Sirui Chen, Mengying Xu, Kun Wang, Xingyu Zeng, Rui Zhao, Shengjie Zhao, Chaochao Lu, CLEAR: Can Language Models Really Understand Causal Graphs?, EMNLP 2024
5.Xingyu Zeng, Wanli Ouyang, Junjie Yan, Hongsheng Li, Tong Xiao, Kun Wang, Yu Liu, Yucong Zhou, Bin Yang, Zhe Wang, Hui Zhou, Xiaogang Wang, Crafting gbd-net for object detection, IEEE PAMI 2017

专利情况

已获得/审查中的各类专利上百个，部分专利如下，
1，Vehicle lamp detection methods and apparatuses, methods and apparatuses for implementing intelligent driving, media and devices，US Patent，授权号US10984266B2
2，Object three-dimensional detection method and apparatus, intelligent driving control method and apparatus, medium and device，US Patent，授权号US11100310B2
3，Three-dimensional object detection method and device, method and device for controlling smart driving, medium and apparatus，US Patent，授权号US11138756B2
4，Forward collision control method and apparatus, electronic device, program, and medium，US Patent，授权号US11643076B2
5，Method for predicting direction of movement of target object, vehicle control method, and device，US Patent，授权号US11710243B2