3D 视觉如何理解植物器官的出生与生长

假设我们每隔两天给同一株玉米拍摄一圈照片。第十二天的三维模型里有六片叶，第十四天则多出一片。直觉会把它认作刚刚展开的新叶，可只看两份点云，这个判断远没有看上去那么确定。那片叶或许早已存在，只是在第十二天被其他叶片遮住；也可能是风吹动叶片后留下的重复表面，甚至只是重建算法生成的一小团漂浮噪声。

如果只测株高、叶面积或冠层体积，这种歧义未必会立刻暴露出来。现有三维植物表型大多把每次观测分开重建，再从模型中提取性状，单个时间点已经可以做得相当准确。Plant3R 只需手机拍摄的 30 张图像，就能重建不同生长期的盆栽小麦，叶长、叶宽和株高等性状的平均相对误差控制在 6% 以内。整套流程仍有一些现实代价：每盆植物从位姿估计、Gaussian 优化到网格提取约需 50 分钟，背景要经过交互式裁剪，真实尺度也要借助棋盘格恢复。不过，即使所有步骤都实现自动化，第十二天和第十四天的模型仍然只是两次独立重建。它们没有说明哪片叶跨越了两次观测，也不会主动记录一枚新芽何时成为第七片叶。

两次独立重建之间少了器官经历的那段时间。模型忠实保存了植物某一刻的外形，一系列模型摆在一起却只是一叠分离的快照——我们看得见植株变了，说不清变化落在哪个器官上，也很难把真实生长和遮挡、风动、重建误差区分开来。

近两年的通用 4D 视觉似乎能够补上这段空白。4D Gaussian Splatting 可以实时渲染动态场景，MoSca 用运动骨架组织随时间变形的 Gaussian，Shape of Motion 则能从单目视频中恢复长期三维运动轨迹。但这些方法面对的通常是一个组成相对稳定的世界：手臂会抬起，车辆会驶过路口，布料会摆动，构成场景的对象大体仍然存在。植物在生长过程中却会不断改变自己的组成。叶片、分枝、花和果实陆续出现，原有器官也会衰老、脱落。模型一旦要解释这些变化，光记录形状就不够了，它还得记录发育历史。

普通动态重建为何不够#

普通动态重建之所以擅长处理人体或车辆，与它采用的基本假设有关。场景由一组持续存在的点或 Gaussian 构成，模型学习这些元素从时间 $t_1$ 到 $t_2$ 怎样移动：

$$\mathbf{x}_i(t)=D(\mathbf{x}_i,t),$$

其中 $D$ 是随时间变化的变形或运动函数。表面可以弯曲、旋转或离开视野，只要组成表面的元素仍能在前后时刻找到对应，这套表示就能工作。

现在把那枚新芽放进来。第十二天，它可能只有几毫米，完全藏在叶鞘内部；第十四天，它已经展开成一片面积很大的叶。如果所有时刻都被绑定到同一个规范空间，模型只能用原有元素解释后来出现的表面。它可以拉伸 Gaussian，逐渐提高透明度，也可以在优化过程中增加新的基元，最后生成一段看起来十分自然的生长动画。问题是，像素误差只要求画面相似，并不追问新增表面究竟来自新叶、重新显露的旧叶，还是一组恰好能拟合图像的 Gaussian。画面上“长出一片叶”和生物学上“发生一次器官出生”，在模型内部可能根本不是一回事。

即使叶片从头到尾都存在，维持身份也并不容易。许多作物的叶面缺少稳定纹理，相邻叶片颜色接近，风和向光性又不断改变它们的姿态。第十二天位于左侧的叶片，到第十四天可能已经移到另一边；另一片叶恰好占据原来的位置，按距离或颜色匹配便会交换二者的身份。单次重建仍然可以很好看，叶长增长率、叶倾角变化和衰老时间却已经记在了错误的叶片名下。

把植物看成一张随时间变化的器官图，可以更直接地描述这种区别：

$$G_t=(V_t,E_t), \qquad V_t \neq V_{t+1}.$$

$V_t$ 中的节点对应叶、茎、穗和果实，$E_t$ 保存它们的连接与从属关系。叶片伸长时，变化发生在节点属性上；新叶展开时，图中增加一个节点；器官脱落后，相应节点结束自己的生命周期。有了这张图，动画里“多出一片绿色表面”才能变成可检验的事实——比如，第七片叶在第十三天左右从第五个茎节出现，随后继续伸长。

动态神经场和 4DGS 已经能让新表面出现在画面中，但画面里出现了新东西，不等于模型理解它为什么出现。同样的图像变化可能来自器官出生、旧叶重新露出来、光照改变，甚至只是优化过程新增的一组基元。器官类别、连接位置、出生时间和观测置信度如果没有参与重建，等到最后再拿规则补，早先的身份混淆往往已经很难修正。

给玉米拍摄一圈照片通常需要几分钟。在相机绕行的这段时间里，叶片会随风摆动；等到几天后的下一轮拍摄，它又已经发生不可逆的伸长、展开或衰老。快速的机械运动和缓慢的发育变化同时进入相机，模型看到的每一张图都混合了两种时间尺度。

一次图像观测可以粗略写成：

$$I_t=R(G_{\tau},M_t,C_t,L_t),$$

$G_{\tau}$ 表示随生育时间 $\tau$ 缓慢变化的器官结构，$M_t$ 是风和叶片弹性造成的快速运动，$C_t$ 与 $L_t$ 分别表示相机和光照。普通动态重建常把它们一并交给变形场，风吹弯的叶片可能被当作生长，真实的叶片伸长也可能被相机误差吸收。只要多视图采集期间叶片一直在动，几十张输入图像甚至不再对应同一个静态三维形状。

拍得更勤并不能简单解决问题。如果两次观测靠得太近，真实生长小于传感器噪声和配准误差，序列里最显眼的反而是风与重建抖动；间隔太长，一枚小芽已经展开成大叶，局部对应消失，出生时间只能落在两次扫描之间的宽泛区间。营养生长期的叶片也许适合按天追踪，抽穗和开花需要更密集的观测，木本枝条则可以按周记录。采样频率到了这里已经不只是采集设置的问题——间隔多久拍一次，直接决定了哪些发育事件能被辨认。

田间环境还会打断模型期待的连续性。降雨、修剪、倒伏和病害都可能造成突然变化，恶劣天气也会让采集缺失数个时间点。连续视频中常用的运动平滑先验到了这里并不可靠。模型必须允许观测不规则到达，并且记住：某片叶今天没有被看到，不代表它今天不存在；一次突然消失也可能来自遮挡、脱落或漏扫。快速、可逆的机械运动和缓慢、有方向性的发育变化必须分开，否则四维记录会把风吹过的几秒钟误写进几天的生长历史。

从器官追踪到生长历史#

植物器官追踪最初处理的是一个相对简单的问题：如果两次扫描中都能看见一片叶，怎样确认它们属于同一个器官？TrackPlant3D 先在各个时间点获得器官实例，再把跨时间匹配写成组合优化问题。它不急着为每片叶寻找空间上最近的邻居，而是同时考虑整株植物的器官排列，从候选对应中寻找整体代价较低的组合。这样做可以减少相邻叶片互换身份的情况，也让单片叶的长度和面积变化能够沿时间连接起来。

实际点云很快暴露出这条路线的脆弱处。整株植物在相机坐标系中可能发生平移或旋转，每片叶又有自己的生长和摆动，同一套刚体变换无法把茎与所有叶片同时对齐。前一步的实例分割如果把一片叶切成两段，匹配器会看到两个候选器官；如果把两片重叠叶合在一起，后续优化也很难把身份重新拆开。看似局部的一次分割错误，会沿时间传播成一条错误的生长曲线。

即便每片旧叶都被正确分割，最初的问题仍然没有解决：第十四天多出的那一片叶，在第十二天根本不在候选集合里。新叶刚露出时面积很小，常常贴着旧叶边缘或叶鞘，和点云噪声也很相似。逐帧分割只会问“这个点属于叶还是茎”，不会利用“两天前这里还没有叶片”这一事实。3D-NOD 把前后两个生长阶段同时送入网络，让模型根据跨时间的局部几何变化寻找新增区域。它使用的数据包含烟草、番茄和高粱的 37 条生长序列，共 468 份点云，每条序列都有十个以上的生长阶段。

从总体成绩看，3D-NOD 对新旧器官两类的平均 F1 达到 88.13%，平均 IoU 为 80.68%。把旧器官拿掉，只看数量较少的新器官，F1 会降到 76.65%，IoU 只有 62.14%。这组落差比总体分数更能说明现状：大面积的旧器官容易把平均指标抬高，发育研究真正关心的芽和初生叶仍是最难识别的部分。数据又主要来自结构相对简单的幼苗期，标签只区分新旧器官，开花、结果和衰老尚未进入同一套事件体系。

检测出一片新叶之后，还要把它接入此前的器官历史。2026 年发表的 3D-OGT 将这两步连成在线流程：序列起点只需标注一次器官实例，双向点云配准和半监督图卷积网络随后把已有标签传播到下一时刻，预训练的 3D-NOD 则负责从中找出新芽，为它们分配新的身份。模型处理完 $t+1$ 便继续前往 $t+2$，可以在生长季尚未结束时持续更新结果。

在玉米、高粱、烟草和番茄序列上，3D-OGT 的平均器官追踪准确率达到 88.10%。作者还用一条辣椒序列测试突然落叶，模型能够结束相应叶片的标签，同时保留其他器官的身份。把 3D-NOD 换成人工标注的新器官后，平均追踪准确率只提高 2.35%，说明已有器官的标签传播已经相对稳定，出生检测仍是错误最容易进入整条链路的位置。

如果温室控制当天就要使用追踪结果，在线更新非常合适；一片叶若在早期被分错身份，错误也会被一路带到后续时刻。育种分析可以等到整个生长季结束，再利用未来观测回头检查遮挡、分枝和器官消失。一套实用系统很可能要同时保留两份历史：一份随观测向前推进，服务即时监测；另一份在数据完整后重新校正，让整季的器官身份保持一致。

植物专用数据还不够大，借用通用 4D 模型是自然的想法。这些模型在海量视频上学会了估计相机运动和恢复深度，也更擅长在较长时间跨度内寻找视觉对应——恰好是植物序列的短板。CUT3R 在新图像到来时持续更新内部状态，在统一坐标系中输出点图，早期观测不会处理完下一帧就被丢掉，很适合不断追加扫描的长期监测。Dynamic Point Maps 走的是另一条路：把 DUSt3R 的静态 point map 扩展到时间维度，同一套表示可以切换空间和时间参考系，既给出场景流，也能做三维追踪，为器官身份提供跨时间的几何线索。

Gaussian 路线的好处是随时可以回到原始画面检查重建。4D Gaussian Splatting 用四维神经体素预测 Gaussian 随时间的形变，RTX 3090 上能以 82 FPS 渲染 $800\times800$ 图像。MoSca 把 Gaussian 附着在紧凑的运动骨架上，从随手拍摄的单目视频中恢复动态场景。Shape of Motion 则显式保存世界坐标系里的长期轨迹，表面暂时离开视野后运动历史不会断掉。

这几类方法各有侧重——持续记忆、跨时间对应、可渲染的时变场景——长期植物表型很可能需要把它们组合起来：既记住几天前的观测，也知道一片叶的表面去了哪里，还能让研究者回到图像中核对几何和颜色。

不过，通用模型见过的世界与植物平台采集的数据相差很远。日常视频中的衣物、车辆和房间通常纹理丰富，运动连续；叶片很薄，形状重复，常常近似镜面对称，同一种作物还会随着生育期改变整体外观。人物衣物上的轨迹先验，未必能跨越一片叶持续数天的完全遮挡。输入方式也不一样：通用模型通常接收一段连续视频，植物平台却可能每天只扫描一次，每次又使用不同的相机轨迹、点云密度甚至传感器。它要先把单次扫描里的几十个视角融合成几何，再到相隔数天的扫描中寻找同一器官。现有动态场景基准很少同时包含这两层对应。

即便相机和表面都找准了，Gaussian 的编号仍无法直接充当叶片身份，一条运动轨迹也没有说明它从哪个茎节长出。用 4DGS 重放延时生长视频，可以允许多种内部表示生成相似画面；比较两个基因型的出叶速率，却要求不同植株采用一致的器官定义，还要给出事件发生的时间区间。所以光有连续几何还不够，模型还需要一份离散的器官记录，把叶、茎和果实的身份与出现、展开、分枝、衰老和脱落等事件联系起来。第六片叶暂时被遮住时，这份记录应先保留它的存在，等待后续观测确认，避免把“没有看见”直接写成“已经消失”。

追踪身份只是把第七片叶从时间序列中找了出来。要计算它究竟长了多少，模型还得知道厘米和毫米。单目重建通常只有相对尺度，同一株植物在两个日期生成的模型可能整体放大或缩小；如果没有物理参照，尺度漂移会和真实生长混在一起。MobilePheno3D 的做法很朴素：在 A4 纸上打印一个已知尺寸的圆环，用它恢复尺度并建立统一坐标系。渲染画面几乎不会因为这个小装置变得更漂亮，但“叶片长了两厘米”从此有了明确的物理含义。

即便长度可靠，RGB 几何仍然只记录了外形。叶片尚未卷曲或变色时，水分和叶绿素含量可能已经发生变化。Hyperspectral imaging meets 3D Gaussian Splatting 将高光谱图像映射到 PlantGaussian 重建的三维点云，在大豆植株表面恢复 SPAD 和等效水厚度的空间分布，两个指标的预测 $R^2$ 分别达到 0.78 和 0.80。一次强降雨之后，模型还捕捉到了含水状态沿冠层和时间的变化。光谱状态如果也能绑定到器官身份上，研究者便可以在面积增长之外，继续观察一片叶展开后如何积累叶绿素、何时开始失水，以及这些变化是否与温度、光照和灌溉同步。

记录越丰富，单帧重建指标越难概括系统是否可靠。PSNR 和 SSIM 可以判断新视角图像像不像，却看不出第六片叶和第七片叶有没有交换身份；某一天的叶长误差很低，也不能保证整条生长曲线属于同一器官。假如第七天发生了一次身份错配，后面每一天的独立测量都可能很准确，最终算出的生长速率却没有意义。几何误差、器官关联、出生与消失事件、尺度漂移、生理指标校准——它们对最后的生物学结论影响各不相同，混在一个分数里看不出问题出在哪。

假设每三天扫描一次，模型把新叶出生记在第九天，人工记录则是第七天。对于统计最终叶片数，两天的偏差也许无关紧要；对于开花同步性、灌浆期或胁迫响应，两天足以改变实验结论。记录中最好同时说明事件是否被发现、可能发生在哪个时间区间，以及器官身份在事件前后是否连续。

叶尖被遮住时也有类似问题。系统如果对位置没有把握，就不该只留下一个精确到毫米的叶长；两片叶都有可能对应当前观测时，可以暂时保留两种生长曲线，等下一次扫描消除歧义。现有表型数据库习惯保存一个最终数值，四维记录还需要附带可见比例、置信区间、身份稳定度和数据来源。统计分析会变得复杂一些，却能避免把视觉算法的一次偶然错误伪装成基因型差异。

目前的数据还不足以支撑如此完整的模型。Pheno4D 提供玉米和番茄的多时刻高精度点云与一致器官标签，总计约 2.6 亿个标注点。数字很大，但这些点来自有限数量的植株、物种和环境。3D-NOD 把范围扩展到三种作物和 37 条序列，3D-OGT 又加入玉米等数据，样本仍然主要集中在结构相对简单的幼苗阶段。

一株植物在整个生长季中会经历更多变化：禾本科叶片从叶鞘抽出，双子叶植物长出分枝，花序形成，果实膨大；病害会造成局部坏死，缺水会引起卷叶，机械损伤则可能让器官突然丢失。模型还要面对 LiDAR、RGB-D、多视图 RGB 和 CT 等不同传感器。如果训练数据只覆盖一种扫描设备和几类幼苗，它很容易把设备留下的特征当成植物规律，也很难知道一种从未见过的变化究竟是发育事件还是重建失败。

从三维历史到可预测的植物模型#

只有当这些记录能够进入生物学分析，器官级四维表型的价值才真正显现。叶序就是一个例子。相邻叶片围绕茎秆的夹角会改变冠层内的光分布，却很难从单张二维图片稳定测量。作物模型因此常把相邻叶片近似为交替相差 $180^\circ$，不同品种之间真实存在的结构差异也随之被简化。

3D reconstruction enables high-throughput phenotyping and quantitative genetic analysis of phyllotaxy 对覆盖 236 个基因型的 366 株高粱进行了三维重建。自动叶序测量与人工测量的差距，只比两名人工测量者之间的差距略大。相隔两天的重复测量 $R^2$ 只有 0.41，数值并不漂亮，这些三维性状却仍然支撑了全基因组关联分析，并找到了若干可能与下层冠层叶序有关的遗传位点。

重复测量不稳定，却仍然足以发现遗传关联——这说明评价表型技术不能只看重建分数。单株测量有噪声并不致命，只要误差结构清楚、样本之间可比，原先无法规模化的性状就能进入遗传分析。反过来，生长动画再逼真，器官身份和真实尺度保不住，对 GWAS 也帮不了多少。

遗传关联回答的是哪些变异与性状有关，育种和栽培还想知道环境改变以后会发生什么。同一基因型换到高密度、干旱或低氮条件下，第七片叶会不会更晚出现，叶倾角和冠层受光又会怎样变化？仅靠视觉模型从过去轨迹向外延伸，容易把训练数据中的相关性当成生长机制，也很难回答改变株距或灌溉策略之后的反事实问题。

功能结构植物模型（Functional-Structural Plant Model，FSPM）做的事情恰好反过来。它用器官拓扑组织植物结构，把光合作用、碳分配、水分运输和环境响应写成生长规则，能模拟一片叶怎样影响冠层受光，也能考察节间长度、叶倾角和种植密度一起变化时的群体表现。这些过程有明确的生物学含义，代价是大量参数需要人工测量和经验设定，模型很难在整个生长季持续贴合真实植株。

2026 年的 Nature Communications 观点文章 Integrating 3D phenotyping and functional-structural plant models for crop ideotype breeding 将两条路线放到了一起：三维表型不断提供真实的器官几何、拓扑和时间变化，FSPM 用这些观测校准生长过程，再模拟不同环境与结构组合。作者指出，许多三维管线仍停留在静态描述阶段，叶长、叶角和分枝数被当成互不相干的性状，因而很难解释它们怎样共同影响光截获、资源利用和最终产量。Beyond high-throughput 也提出，高通量采集本身不会自动带来对植物功能的理解，时间序列表型还要进入过程模型，才能检验从当前环境中学到的生长变量换到新环境后是否成立。

这样的结合让“数字植物”有了两个层次。一份完整的三维时间序列可以成为数字档案，忠实记录植株已经长成什么样；当模型能够根据新的光照、温度、水分和种植密度预测器官生长，再用下一轮观测修正参数，它才逐渐接近数字孪生。不过，视觉记录和过程模型之间也不应该始终吻合。FSPM 的结构先验当然可以帮助追踪器官，但也可能把异常植株硬塞进预设的生长规则，漏掉突变、病害或从未见过的表型。模拟和观测在某片叶、某个时间段持续对不上，这种偏差值得保留——旧模型解释不了的地方，往往藏着新的生物学线索。

回到第十二天和第十四天的那株玉米。真正有用的系统不会只报告“模型里多了一片绿色表面”，而是把第七片叶和第五个茎节联系起来，把出生时间限定在两次扫描之间，接着记录它的长度、姿态、叶绿素和含水状态。叶片被遮住时这条历史不会立刻中断，身份仍有歧义时后续统计也知道这项测量有多可靠。等温度、光照或水分条件改变，过程模型还可以预测这片叶接下来怎样生长，再由新的观测检查预测错在哪里。

到那一步，三维视觉保存的就是一株植物的生长经历——一片叶怎样出现，怎样延续，又怎样和其他器官一起响应环境。我们仍然在测量形状，只不过每一次测量都有了时间上的前因后果。

---

参考资料#

1. Ma, J. et al. Plant3R: Fusing 3D Feature Learning with Gaussian Splatting to Enhance Wheat Plant 3D Reconstruction Precision. Plant Phenomics, 2026.
2. Wu, G. et al. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering. CVPR 2024.
3. Lei, J. et al. MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds. CVPR 2025.
4. Wang, Q. et al. Shape of Motion: 4D Reconstruction from a Single Video. ICCV 2025.
5. Li, D., Liu, L., Xu, S. & Jin, S. TrackPlant3D: 3D Organ Growth Tracking Framework for Organ-Level Dynamic Phenotyping. Computers and Electronics in Agriculture, 2024.
6. Li, D., Ahmed, F. & Wang, Z. 3D-NOD: 3D New Organ Detection in Plant Growth by a Spatiotemporal Point Cloud Deep Segmentation Framework. Plant Phenomics, 2025.
7. Li, D., Wang, Z., Liu, L. & Li, M. 3D-OGT: 3D Organ Growth Tracking with Minimum Segmentation. Plant Phenomics, 2026.
8. Wang, Q. et al. Continuous 3D Perception Model with Persistent State. CVPR 2025.
9. Sucar, E., Lai, Z., Insafutdinov, E. & Vedaldi, A. Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction. ICCV 2025.
10. Zheng, Y. et al. Hi MagicRing, Tell Me Where I Am: Toward Affordable, Physically Reliable 3D Plant Phenotyping with MobilePheno3D. aBIOTECH, 2026.
11. Deng, W. et al. Hyperspectral Imaging Meets 3D Gaussian Splatting: A Novel Approach Beyond 3D Plant Morphology. Plant Phenomics, 2026.
12. Schunck, D. et al. Pheno4D: A Spatio-Temporal Dataset of Maize and Tomato Plant Point Clouds for Phenotyping and Advanced Plant Analysis. PLOS ONE, 2021.
13. Davis, J. M. et al. 3D Reconstruction Enables High-Throughput Phenotyping and Quantitative Genetic Analysis of Phyllotaxy. Plant Phenomics, 2025.
14. Wei, Q. et al. Integrating 3D Phenotyping and Functional-Structural Plant Models for Crop Ideotype Breeding. Nature Communications, 2026.
15. Ting, T. C. et al. Beyond High-Throughput: Leveraging Plant Phenotyping to Improve Understanding and Prediction of Plant Growth Through Process-Based Models. New Phytologist, 2026.