以基础研究引领图像提取产业市场
医疗影像、无人驾驶、人脸识别……如今随着智能化时代加速到来,图像提取日益成为风口浪尖上的技术,而这其中,图像兴趣点特征信息提取及检测又是重中之重,广泛应用于医疗检测、智能制造、农业病虫害检测等领域。
2023年9月,浙江某银行业务单据压缩工作中,运用了陕西科技大学章为川团队联合青岛认知人工智能研究院提出的“注意力再注意力”的图像技术成果,即非线性变换端到端网络架构来代替线性变换作为图像和视频压缩的主体架构。
据统计,该银行在浙江省有支行82个、网点约4000个,平均每个支行每天产生的业务流水单据图片数据量约20GB。总行拟对浙江省82家支行业务流水单据进行统一管理,通过对这些业务单据数据进行压缩,降低支行到总行的传输带宽投入,以及总行的存储设备投入。预计,这一技术应用以后,每年将为相关银行直接节省成本1217万元。
“由基础理论构建到产学研转化应用,图像提取技术的正在创造不计其数的价值。”章为川说。
基础研究赋能产业创新
在陕西科技大学,由章为川领衔的图像计算实验室团队由5名教师和15名研究生组成。这支20人的团队,手中的课题涉及图像压缩、医学图像分析与处理、兴趣点检测及图像配准、3D重建,以及相关技术在无人驾驶中的运用等。
尽管团队组建时间不长,但他们却在产学研转化领域迅速出击。目前,团队联合西安捷达测控有限公司提出了一个多尺度特征融合的网络架构用于陕西省安康市永久性农田的SAR图像变化检测方案,相关算法的准确率达80%以上;同时,团队还联合西安交通大学第一附属医院神经外科,对脑胶质瘤患者术前的肿瘤进行定位及肿瘤级别进行分类,对术后患者生存期预测进行建模。
章为川团队与西安捷达测控有限公司合作SAR图像变化检测项目
这些正在落地的转化合作都基于图像局部特征提取设计、局部特征数学解析表达式的构建等科学研究。2023年,已是格里菲斯大学首席研究员的章为川回国加入陕科大,此前他在图像兴趣点检测领域,以及植物病虫害检测及分类、医学图像处理、可解释性深度学习网络设计领域均做出了一系列原创性成果,并在《IEEE模式分析与机器智能汇刊》、《模式识别》(PR)等国际知名学术期刊发表80余篇论文成果。
回国后,章为川为团队定下了发展基调:“科学研究不可以总是做跟随性研究,一定要沉住气、静下心,在前沿领域持续开展原始创新。”尽管团队如今在产学研转化领域多点开花,但章为川始终认为基础理论才是产生经济价值的根基,基础理论的原始创新研究虽然在短期内无法产生任何经济效益,甚至有些基础理论研究看不到在工业生产领域的价值,但必须承认,恰恰是基础理论研究制约了许多国家的科研和工业现代化的发展。
就拿团队目前的主要研究方向图像兴趣点检测来说,这也是章为川很早就关注的方向。而正是因为深耕于基础理论研究,章为川甚至撼动了长期以来被广泛写在计算机视觉和图像处理教科书中的“共识”。
撼动学界“共识”
所谓兴趣点,学者们通常把角点和斑点归为兴趣点,分别用水平和竖直方向的图像一阶导数和二阶导数信息来检测角点和斑点。角点检测器和斑点检测器分别以Harris检测器和SIFT检测器为代表。目前为止,这两个算法几乎成了兴趣点检测器的标准算法,被写入各种各样的计算机视觉和图像处理的教课书中,广泛运用于图像配准、3D重建、无人驾驶、人机对话、目标跟踪、人脸识别等不同的计算机任务中,并且现有基于深度学习网络的兴趣点检测算法大多也是基于Harris算法和SIFT算法的理论架构而设计的。
早在2013年时,章为川已敏锐地从实验中发现图像水平和竖直方向的一阶导数和二阶导数信息用来检测角点和斑点的理论架构存在问题。但是Harris算法和SIFT算法构建的两个基础理论就如两座大山,几十年来一直是兴趣点检测的主流理论架构,难以撼动。
针对内心的疑问,章为川曾试着跟人讨论,但对方听了他说的话之后,直接劝他放弃这个幼稚且不切实际的想法,毕竟只有完整的数学推导并从中总结得到的兴趣点特性才能向世人证实这两个基本理论架构存在重大缺陷。
为建立离散曲率解析表达式,章为川和他的合作者孙长明曾经整整花了5个多月,用了2000多张A4纸去证明长期以来本科高等数学教材中的离散曲率计算公式存在的重大理论缺陷,并提出了新的离散曲率计算公式。“我们要得到的不是近似解,而是闭式解,但很多式子按照常规解题思路无法继续推导得到,需要用到大量的数学运算技巧,导致运算复杂度非常高。有时候,我们要花一周甚至两周才能让离散曲率解析式往前推动一步。”
过程中,章为川面临的最大问题就是变量繁多,在连续5个多月的数学推导过程中,不可以犯任何的书写和运算错误,面对毅力和耐力的重大考验,他坚持了下来。之后,文章在《IEEE图像处理汇刊》顺利发表。
2023年8月章为川回国前夕,更成熟的研究成果发表在《IEEE模式分析与机器智能汇刊》。文章中写道:“尽管文献中已经有很多关于兴趣点检测的文章,但我们总是有一个疑问:我们是否充分考虑过如何利用灰度变化信息来检测图像中的兴趣点?我们的主要问题如下:我们是否充分考虑过如何准确地获取图像的一阶或二阶导数信息来检测兴趣点?我们是否充分考虑过角点和斑点之间的特征差异?我们是否充分考虑过如何准确地检测图像中的角点和斑点?我们的研究表明,现有的兴趣点检测方法存在两个主要问题:一是从来没有人解释如何准确地从图像中提取灰度变化信息来检测兴趣点,无论是角点还是斑点;二是从来没有人从数学解析表达式的角度准确解释角点和斑点之间的特征差异,以及兴趣点的幅度响应、比例因子和滤波方向之间的关系。”
经过多年的持续叩问,章为川和孙长明建立了不同的角点和斑点模型,并利用一阶和二阶广义高斯(各向异性/各向同性)方向导数滤波器去推导不同角点和斑点的数学解析表达式,并总结角点和斑点的物理属性,进而对角点和斑点进行了重新诠释,如:什么是角点,什么是斑点,角点和斑点的联系和区别,如何从图像中提取特征信息用于准确描述角点和斑点,如何从图像中提取特征信息用于准确检测角点和斑点,图像水平和竖直方向的一阶导数无法用来准确地描述边缘和角点的特征差异,图像多尺度水平和竖直方向的二阶导数无法用来准确描述斑点和角点的特征差异及准确检测斑点等。
基于角点和斑点的数学解析表达式,他们不仅做出了国际领先的原创成果,而且他们的算法在不同图像仿射变换条件下具有更稳定的检测性能,且在图像配准、3D重建、图像斑块检测、血管内的血斑检测、植物病虫害检测等不同的计算机视觉任务中,相关算法性能指标均比现有算法好,提出的理论架构也能更好地指导深度网络架构的设计用于图像兴趣点检测。此外,相关方法和成果还获得牛津大学、悉尼大学、悉尼科技大学、约翰·霍普金斯大学和捷克理工大学等世界一流高校的学者在多篇论文中的多次引用和高度评价。
质疑、独立、不盲从,章为川相信,要想在如今的时代屹立科技强国之林,唯有秉持这样的科学精神才能产生原创性的成果,才能发展出独立自主的科技产品,为祖国建设添砖加瓦,为民族复兴铺路架桥。
章为川团队