近期,北京林业大学信息学院(人工智能学院)卢昊副教授研究团队联合中国林业科学研究院、瑞士联邦森林、雪与景观研究所(WSL)等机构研究人员,在遥感领域顶刊《Remote Sensing of Environment》(中国科学院一区Top)上发表题为"Towards a point cloud understanding framework for forest scene semantic segmentation across forest types and sensor platforms"的研究成果。该研究针对复杂森林场景,提出了大规模三维点云理解的神经网络模型Sen-net,实现了点云多种组分的高精度语义分割。
森林场景往往具有复杂三维结构,包括林木(含树干、树枝、树叶)和其他(草、灌、地面等)多种成分,这些成分对森林生态系统的作用和影响是不同的。通过遥感技术测量这些成分,对定量、精确、完整地理解森林生态过程具有重要意义。无人机激光雷达(LiDAR)三维点云是进行森林三维结构刻画的有力工具,但复杂的成分和结构使点云数据难以采用传统的特征工程、启发式方法或机器学习进行高精度语义分割。
团队基于长期在三维点云处理方面的研究,充分发挥“遥感—林草—AI”学科交叉融合的优势,发展了数据驱动的深度神经网络模型,从森林场景三维点云有效分离出树叶、木质成分、低矮植被及地面。针对这一目标:
(1)独立构建了大规模森林场景点云标注数据集Lin3D。针对国际上该领域标注数据稀缺的问题,构建了总面积超过20000 m2、包含不同气候带、森林类型、树种、林分密度、地形条件的数据集Lin3D。
图1. 大规模数据集Lin3D示例
(2)设计和训练了专门针对森林场景三维点云理解的神经网络模型Sen-net。结合长距离上下文信息与数据集先验知识,基于语义驱动融合多尺度特征,通过自适应学习方式,有效将森林场景“端到端”地分割为树叶、木质成分、低矮植被及地面组分。
图2. Sen-net网络架构
在Lin3D数据集上,Sen-net总体正确率、平均交并比分别达到97.6%和85.1%;在国际公开数据集上,总体正确率、平均交并比分别达到94.5%和78.2%,说明Sen-net在准确性和泛化能力方面表现出色,优于同类方法。该网络无需调节参数,使用方便,泛化能力强,适用于森林场景点云分析,并可作为森林场景点云处理算法的基础性框架,该研究成果表明团队在这一领域的研究处于国际前沿水平。
图3. Sen-net对Lin3D数据的分割结果
图4. Sen-net对几个国际公开数据的分割结果
卢昊副教授为第一作者,信息学院2024届硕士毕业生李博文和中国林业科学研究院资源信息研究所庞勇研究员为通讯作者。
该研究受到国家重点研发计划项目“森林资源激光雷达遥感动态监测与蓄积量估测技术联合研发”(2020YFE0200800)、国家自然科学基金项目“多源机载LiDAR数据融合的落叶松表型分析方法研究”(42001376)和雄安新区科技创新专项“雄安新区绿色生态城市智慧森林经营关键技术应用与示范”(2023XAGG0065)的资助。
论文链接:
https://www.sciencedirect.com/science/article/abs/pii/S0034425724006175
来源:北京林业大学