农学院 | 姜东教授团队提出小麦长势与产量预测分级新框架

近日，南京农业大学农学院姜东教授团队在Artificial Intelligence in Agriculture期刊上发表了题为“Integrating 3D detection networks and dynamic temporal phenotyping for wheat yield classification and prediction”的研究论文。该研究基于三维目标检测网络和动态时空表型，提出了小麦全生育期产量分级与预测的新框架。

目前，无人机系统对小麦不同生育时期的表型数据采集主要依赖二维图像。虽然二维影像能够提取冠层高度、冠层面积等重要表型参数，但由于其本质上缺乏深度信息，在高密度种植条件下往往难以准确识别行间边界，从而限制了对试验小区的精细划分。相比之下，三维图像因包含丰富的空间结构信息，在密植田间环境中更具处理优势，更有利于实现小区级的自动化分析。因此，基于无人机系统的三维图像数据构建小麦生育时期的自动化表型分析流程，已成为值得重点关注的研究方向。

为解决上述问题，本研究团队基于三维目标检测网络与动态时空表型构建了小麦全生育期产量分级与预测的新型框架，系统性地提升了小麦全生育期三维表型自动化分析与产量预测的精度与效率。该框架包含五个主要创新点：(1)提出三维基准面辅助的小区分割算法，实现高效点云提取与检测框快速标注，提升前期预处理效率。(2)构建了融合三维跨层特征金字塔网络（CFPT 3D）与空间注意力模块（AATT）的3D Wheat Plot Detection Net，显著增强模型在深度特征识别和候选框关键特征提取方面的能力，兼具更优的精度与训练效率。(3)创新利用点云密度空间分布实现行级点云分割，为独立计算行级表型参数提供基础。(4)开发3D Wheat Plot Phenotype Extraction软件，集成三维可视化与静态、动态表型自动提取，实现从点云处理到表型输出的全流程自动化。(5)构建动态表型预测体系，根据小麦不同生育时期的静态表型及产量数据对长势进行分级，并提出性状快速变化期、缓慢变化期、降低期、最大高度/面积差及高度面积变化率五类动态时序表型，结合机器学习实现长势分级与产量预测。

提出三维基准面辅助的小区分割算法以提高标注效率

本研究选取长江中下游及黄淮海平原地区的160个自然小麦品种，在南京农业大学白马教学科研基地(31°36′57.8″N，119°10′46.1″E)开展田间试验。针对每个品种，设置三个氮肥梯度处理：零氮肥N0、中等氮素肥量N180以及较高氮素肥量，每个处理设置两个生物学重复，总计960个试验小区。对于每个1.5m × 1.5m的种植小区，团队采用行间距25cm，每行均匀种植约100株，行数为6行的种植方式种植每个小麦品种。同时，为了测试本研究构建的三维检测模型的泛化性，在山东省德州市齐河县(36°68′N, 116°65′E)对江中下游及黄淮海平原地区的208个自然小麦品种也进行了田间试验。同样设置三个氮肥梯度，每个氮肥梯度设置五个对照组，总计15个地块，每个地块的种植模式采用1.5m × 0.4m单行种植。

采用大疆无人机3M行业版采集小麦生育期的数据，设置倾斜摄影参数并通过执行五种飞行模式采集多视角图像，采用Pix4D Enterprise高精度重建模式进行多视角三维重构，获取小麦小区三维点云数据。为全面掌握小麦生育期动态表型变化，研究团队在拔节至成熟期期间，对所有小麦小区（含两个重复对照）实施每6天一次的定期航测。在施用拔节肥后和抽穗期这两个关键生育阶段，特别将采集频率加密至每3天一次。此外，在小麦播种后立即采集了种植地块基准面的多视角数据，所获得的基准点云为后续点云预处理和表型参数提取提供了重要参考。

图1种植区块规划和三维数据获取流程

原始小麦点云中包含地块背景及噪声点云，给标注工作带来较大干扰。因此本研究开发了一套小麦小区预处理方法来获取去除地块以及噪声点的纯净小区点云数据。首先，对原始三维点云进行处理，计算x和y方向的最大最小值，并通过插值将其分割为六个氮素梯度点云，每个梯度点云包含160个小区的三维数据。根据品种分布，采用不同的插值分割策略，将每个梯度点云精确划分为160个独立的小区点云，最终获得960个小区样本。然后，通过平面拟合去除地面点云，避免对边界框中心坐标的干扰。考虑到冠层遮挡问题，创新性地通过基准面点云与地面差值运算，获取缺失的下部地面信息，并与处理后的小区点云融合，经半径滤波去噪，得到完整的小麦小区点云。

图2三维基准面辅助的小区预处理算法流程

融合三维跨层特征金字塔网络与空间注意力模块构建了三维小区精准检测

网络3D Wheat Plot Detection Net

模型采用3D候选框生成和基于候选的3D框优化两阶段检测架构。3D候选框生成包含Set Abstraction、CFPT 3D、Feature Propagation、Point-wise以及Box-Bounding五个模块，对于输入N × 3的矩阵，首先，传入四个Set Abstraction (SA)层逐步提取点云局部特征，并在最后一个SA层进行最大池化操作提取最终特征。随后，将获得的四组特征图(包含三组过程特征和最终特征)，这四个特征的前两个维度、长宽度信息以及深度信息，组成四个新的特征矩阵，作为输入传入CFPT 3D模块。CFPT 3D模块包含跨层注意力CLA(包含跨通道注意力CCA和空间通道注意SCA和共享检测头两个子模块，得到空间-通道混合注意力特征。

得到特征后采用共享检测头对四个层级进行横向连接，获得B × N × (4 + K)的矩阵输出(这里N为候选框数量，4是位置信息)。然后，通过四个Feature Propagation (FP)层恢复点的细节信息，最终输出(N × D′)的矩阵(N代表点云点数，D′为特征维度)。随后，在Point-wise模块采用使用一个二分类的分割头，基于提取的特征预测每个点属于前景的概率。并通过阈值筛选，得到前景点集合。最后，在box-Bounding模块，对每个前景点，预测其相对于目标中心的偏移量和目标的大小，通过聚类生成3D候选框，最终输出K × 7的矩阵(K为候选框数量，7表示候选框中心坐标x, y, z、尺寸大小长、宽、高和方向角度)。

基于候选的3D框优化主要包含区域注意力模块、候选框特征提取模块以及3D框优化模块。区域注意力在保持较大的感受野同时降低计算成本，通过将特征图划分为4段，使得感受野变为原来的1/4，但这种划分可以大大缩小后续候选框特征提取模块的计算开销，提升模型训练性能和速度。候选框特征提取模块的功能与3D候选框生成中Set Abstraction和Feature Propagation模块类似，对于area attention模块划分的每个感受野，传入四个SA层提取候选框内点云的特征信息并将四组特征信息通过FP层进行细节恢复，最终将16组特征信息进行合并成最终特征信息。最后，将合并的特征信息传入3D框优化模块，该模块使用一个回归头(Regression Head)，计算候选框到最终优化框的修正量矩阵，修正量矩阵包括中心坐标的偏移、尺寸大小的缩放以及方向角度的调整，将这个修正量矩阵应用于候选框矩阵，得到最终的3D优化检测框。

提出三维小区行分割算法，利用点云密度空间分布实现行级点云分割

该算法首先提取边界框内所有点云，沿种植行方向（宽轴）进行空间分布分析。通过计算宽轴方向的最大最小值差，以5cm为间隔进行线性插值，统计每个插值区间内的点云数量，构建距离-点数分布曲线。分析发现，分布曲线呈现明显的六峰五谷交替特征，这与实验设计的六行五间隔种植模式完全吻合。基于这一特征规律，算法将曲线谷值最低点确定为行间间隔中心位置，并沿宽轴正负方向各延伸5cm，形成10cm宽的间隔行区域（每个小区共五个间隔行）。通过系统遍历所有边界框并应用该分割方法，最终实现了对每个三维小区种植行的精确定位与分割。在获得的小区及种植行点云数据后，本研究系统计算了四项关键表型参数：小区高度、冠层面积、叶体积和叶面积指数以便后续分析。

图3 3D Wheat Plot Detection Net架构和三维小区行分割算法示意

开发3D Wheat Plot Phenotype Extraction软件

实现从点云处理到表型输出的全流程自动化

本研究开发的3D Wheat Plot Phenotype Extraction应用程序采用模块化设计，包含三大核心功能区域：主工具栏、点云可视化界面和分析图表展示区。主工具栏集成了从数据输入到结果输出的完整分析流程，提供点云读取、小区检测、行分割、性状分析、图表生成和数据导出六大功能模块。

图4 3D Wheat Plot Phenotype Extraction软件功能展示

构建包含五类动态时序表型的预测体系

结合机器学习实现长势分级与产量预测

本研究进一步分析了表型的动态变化特征，提出了性状快速变化期、缓慢变化期、降低期、最大高度/面积差及高度面积变化率五类动态时序表型。采用机器学习技术分别使用静态和动态参数预测叶面积指数和产量。在静态参数预测中，使用每个采集节点的小区高度、冠层面积和体积进行预测；在动态参数预测中，计算每个小区在采集时间间隔内的高度、面积和体积变化率，并用这些变化率预测叶面积指数和产量。共获得20160组数据（21次采集，每次960个小区），并按照70%训练集、15%测试集和15%验证集进行划分。使用XGBoost、SVM和随机森林模型进行静态表型的训练。对于动态参数预测，采用LSTM和Bi-LSTM基于时间序列的模型，时间步长作为特征向量纳入训练。结果表明，动态表型预测精度高于静态表型，尤其在施用拔节肥后和抽穗期等关键生育阶段，基于时间变化率的预测精度尤为突出，展示了动态表型在捕捉作物表型变化与产量关系中的优势。

此外，研究还采用静态和动态表型对不同生育阶段的产量进行分级。对于动态表型，通过标准化处理小区高度、面积、体积和叶面积指数的动态变化频率，并应用随机森林构建三分类模型，最终生成可视化分级图。通过统计每个小区的分级频率，确定其最终分类。

图5动态表型的变化曲线、桑基图以及分别采用动静态表型进行机器学习的预测结果

三维目标检测网络以及行分割算法在不同种植模式地块的高泛化性

本研究也比较了单行和多行种植模式下三维目标检测网络以及行分割算法的泛化能力。在单行种植模式下，3D Wheat Plot Detection Net模型展现出优异的检测性能，不仅能够准确识别各个种植小区，还能有效捕捉断行造成的孔隙等细微特征。通过行分割算法处理，系统成功将每个单行种植区以不同颜色进行区分标记，实现了精细化的空间解析。

进一步测试表明，该模型在多行种植场景下（单个小区包含16个单行）同样表现卓越。模型准确识别了复杂种植模式下的各个小区单元，验证了算法对不同种植密度的适应性和鲁棒性。行分割算法在多行种植条件下仍保持稳定的分割精度，为后续表型分析提供了可靠的数据基础。

图6不同种植模式下模型和算法的泛化能力可视化结果

三维目标检测网络以及行分割算法在多源传感器获得三维点云数据上的适用性

为了评估本研究的3D wheat plot detection net以及行分割算法的泛化性，本研究也使用地基激光雷达和手持雷达采集了小麦小区的三维点云。总体而言，3D Wheat Plot Detection Net与行分割算法在处理地面式和手持式激光雷达点云数据时均表现出优异的性能。然而，与无人机平台相比，地面式和手持式激光雷达在数据获取效率方面相对较低，尤其是在大尺度或多品种小麦试验田中更为明显。因此，在实际应用中，应根据种植布局和研究目标合理选择数据采集传感器，以在精度与效率之间实现最佳平衡。

图6模型和算法在不同传感器采集三维点云上的泛化能力可视化结果

综上，本研究构建了一套完整的小麦三维点云生育期自动处理流程。该流程首先提出了专为小麦小区设计的三维目标检测网络3D Wheat Plot Detection Net，在简单、中等和困难三种模式的数据集上分别取得了95.39%、90.03%和83.05%的AP3D指标，以及95.39%、90.03%和85.37%的APBEV指标，其性能显著优于现有主流三维检测网络。其次，基于点云密度特征实现了种植行级别的三维点云分割，成功解决了二维图像难以处理的密植行分割难题。最后，创新性地提出了五种动态时间表型参数，并结合静态和动态表型参数进行产量分级和预测，结果表明，采用动态表型预测的产量精度高于静态表型的预测精度，基于时间序列动态的机器学习模型达到了82.4%最高的预测精度，证明了动态表型在提升产量预测模型准确性上的作用。

未来研究将重点推进多源数据融合，包括RGB图像和多光谱数据，并加强对小麦分蘖期表型处理的研究。最终目标是构建一个集成RGB、多光谱和三维点云数据的全生育期小麦自动处理分析流程，为精准农业决策提供更高效的技术支持。

南京农业大学前沿交叉研究院与农学院联合培养博士生周鸿昊、秦秉希、农学院钟山青年研究员李庆，为本文的第一作者。小麦生理生态与生产管理团队首席姜东教授、前沿交叉研究院钟山青年研究员陈佳玮，为本文的通讯作者。该研究得到了国家重点研发计划项目、江苏省国际科技合作创新支持计划项目、江苏省农业科技创新基金等项目的支持。