双东说念主算作生成新 SOTA！

针对 Human-human motion generation 问题，浙江大学提议了一种对双东说念主知道序列进行时序和因果建模的架构 TIMotion，论文已发表于 CVPR 2025。

具体来说，通过分裂运用知道序列时间上的因果关系和两东说念主交互经过中的主动被迫关系，TIMotion 遐想了两种有用的序列建模款式。

此外还遐想了局部知道模式增强，使得生成的知道愈加平滑当然。

归并领导词下，使用 TIMotion 和现时 SOTA 智力 Intergen 对比如下：

（翻译版）这两个东说念主歪斜着身子，面临面，玩起了石头剪刀布。与此同期，有一个东说念主采选出布。

仔细对比手部算作，不错看出 TIMotion 的生收效果更好。

除此除外，施行收尾长远，TIMotion 在 InterHuman 和 InterX 数据集上均达到了 SOTA 效果。

底下具体来看。

全新对准双东说念主算作生成

在生成式蓄意机视觉畛域，东说念主类算作生成对蓄意活泼画、游戏开发和机器东说念主限建都具有进军意旨。

连年来，在用户指定的千般要求的滥觞下，东说念主类算作生成本事取得了权贵高出。其中，很多运用大谈话模子和扩散模子的智力收获于其宽阔的建模才智，在生成传神而千般的算作方面取得了令东说念主在意的后果。

尽管取得了这一进展，但现存的大多量智力主若是针对单东说念主体育场景而遐想的，因此忽略了东说念主体知道的一个过失身分：东说念主与东说念主之间复杂而动态的互动。

为了更好地探索双东说念主算作生成，商讨团队当先抽象出了一个通用框架 MetaMotion，如图 1 左侧所示，它由两个阶段构成：时序建模和交互夹杂。

以往的智力优先探讨的是交互夹杂而非时序建模，主要分为以下两类：

基于单东说念主生成智力的扩张

基于单东说念主建模的智力

如图（a）所示，基于单东说念主生成智力的扩张会将两个东说念主合并成一个东说念主，然后将其输入现存的单东说念主知道生成模块之中。基于单东说念主建模的智力如图（b）所示，是对两个个体单独建模，然后分裂使用自我防御和交叉防御机制，从两个个体自己和对方身上索要知道信息。

按照 MetaMotion 的一般逻辑，团队提议了 "时空交互框架"（Temporal and Interactive Framework），如图 ( c ) 所示，该框架模拟了东说念主与东说念主之间的因果互动，这种有用的时序建模智力不错简化交互夹杂模块的遐想，减少可学习参数的数目。

提议双东说念主算作生成架构 TIMotion

团队初次提议了用于双东说念主算作生成的中枢成见 " MetaMotion "。

如上图所示，他们将双东说念主知道生成经过抽象为两个阶段：时序建模和交互夹杂。

具体来说，两个单东说念主序列通过期序建模模块得到输入序列。然后，输入序列被送入交互夹杂模块，这也曾过可示意为

其中，InteractionMixing 频频是 Transformer 结构，包括自防御和交叉防御机制。

值得防御的是，InteractionMixing 也不错是一些新兴结构，比如 Mamba、RWKV 等等。

TIMotion

TIMotion 的全体架构如下图所示，主要包含三个部分： ( 1 ) Causal Interactive Injection; ( 2 ) Role-Evolving Scanning; ( 3 ) Localized Pattern Amplification。

Causal Interactive Injection

知道的自我感知以及与他东说念主知道的交互感知是双东说念主知道生成的过失要素。

探讨到知道的因果属性，团队提议了  "因果互动注入"（Causal Interactive Injection）这一时序建模智力，以同期达成对自我知道的感知和两东说念主之间的互动。

具体来说，团队用示意两个单东说念主知道序列，其中庸是各自的知道序列，L 是序列的长度。

由于两个东说念主在现时时间步的知道是由他们在之前时间步的知道共同决定的，因此团队将两个东说念主的知道序列建模为一个因果交互序列

，标记 // 示意除法后四舍五入，k 不错通过下式取得：

然后，团队不错将它们注入交互夹杂模块，并证据 k 的界说将两个个体的算作特征从输出收尾均分离出来。

Role-Evolving Scanning

东说念主类在交互经过中频频存在一定的内在规定，举例，"持手"频频由一个东说念主先伸滥觞，这意味着交互算作不错被分为主动知道和被迫知道。

一些智力将文本形色分为主动和被迫语态。

然则，跟着互动的进行，"主动方"和"被迫方"不断在两东说念主之间交换，如图 3 所示。

为了幸免冗余的文本预处理况兼安妥变装的不断变化，论文遐想了一种高效且有用的智力：变装演变扫描（Role-Evolving Scanning）。

对于在 Causal Interactive Injection 中界说的因果交互序列 x，显明 a 和 b 分裂代表了主动方知道序列和被迫方知道序列。然则这种对于主动和被迫序列的假定并不老是合适实质规定。

为了支吾变装的变化，论文将因果交互序列再行建模为对称因果交互序列

，k ’由下式得到：

给定因果交互序列和对称因果交互序列，论文通过变装演变扫描得到最终的双东说念主交互序列：

然后序列 X 被送入交互夹杂模块得到算作的特征。

接下来，分裂按照特征通说念和时间的维度将两个东说念主的特征取出，并按照元素相加得到两东说念主交互后的最终特征，特征 split 和 fuse 经过如下式：

其中示意按元素相加。

通过运用 "变装演变扫描 "本事让两个东说念主同期上演主动和被迫变装，网络不错证据文本的语义和算作的险峻文动态调整两个东说念主的变装。

Localized Pattern Amplification

因果交互注入和变装演变扫描主要基于双东说念主互动之间的因果关系来建模全体知道，但疏远了对局部知道模式的柔和。

为了料理这个问题，论文提议了局部知道模式增强（Localized Pattern Amplification），通过捕捉每个东说念主的短期知道模式，使得生成愈加平滑和合理的知道。

具体来说，论文运用一维卷积层和残差结构来达成局部知道模式增强。给定要求镶嵌和两个单东说念主的知道序列，不错招引下式的结构：

其中 Convk 示意卷积核为 k 的一维卷积，AdaLN 为自安妥层正则化。

得到全局输出和局部输出后，两者通过特征通说念维度的进行 Concat，然后通过线性层对特征进行休养，得到最终输出特征：

通过这种款式，梗概捕捉每个东说念主的短期算作模式，并将其与要求镶嵌都集，从而生成更平滑和更合理的算作序列。

主见函数

论文华取了常见的单东说念主算作去世函数，包括足部讲和损构怨枢纽速率去世。

此外，还使用了与 InterGen 调换的正则化去世函数，包括骨长度去世、掩码枢纽距离图损构怨相对标的去世。

最终，总体去世界说为：

施行收尾

在 InterHuman 数据集上，TIMotion 在三个不同的交互夹杂结构（Transformer, Mamba, RWKV）上都取得了较好的发达，其中 TIMotion 和 RWKV 结构相都集 FID 达 4.702，Top1 R precision 达到 0.501，达到了 SOTA。

在 InterX 数据集上，TIMotion 在 R precision，FID, MM Dist 等度量目的上也达到了最优的发达。

在蓄意复杂度方面，论文将 TIMotion 与现时滥觞进的智力InterGen进行了比较。

与 InterGen 比拟，TIMotion 所需的参数和 FLOPs 更少，但在概述目的 FID 和 R Precision 方面优于 InterGen。

值得防御的是，使用与 InterGen 不异的 Transformer 架构，TIMotion 每个样本的平均推理时间仅为 0.632 秒，而 InterGen 则需要 1.991 秒。

论文在 InterHuman 的测试集上进行了知道裁剪的施行，通过给定序列的前 10% 和后 10% 帧让模子瞻望稀奇 80% 帧的序列来进行评估智力的可裁剪性。

Table 6 长远了 TIMotion 在知道插值裁剪任务中，在统共度量目的上都杰出了 InterGen。

转头

论文将双东说念主知道生成经过抽象为一个通用框架 MetaMotion，其中包括两个阶段：时间建模和交互夹杂。

商讨发现，由于当今的智力对时序建模的柔和不及，导致次优收尾和模子参数冗余。

在此基础上，团队提议了 TIMotion，这是一种高效、出色的双东说念主知道生成智力。

具体来说，他们当先提议了 Causal Interactive Injection，运用时序和因果属性将两个独处的担任序列建模为一个因果序列。

此外，还提议了 Role-Evolving Mixing 来安妥统共这个词互动经过中的动态变装，并遐想了 Localized Pattern Amplification 来捕捉短期知道模式，从而生成更平滑、更合理的知道。

TIMotion 在两个大限度双东说念主知道生成的数据集 InterHuman 和 InterX 上均达到了 SOTA 的效果，阐明了论文所提议智力的有用性。

因此，TIMotion 为 Human-human motion generation 提供了一个有用的料理决策。

论文：

https://arxiv.org/abs/2408.17135

技俩主页：

https://aigc-explorer.github.io/TIMotion-page/

一键三连「点赞」「转发」「小心心」

宽饶在挑剔区留住你的念念法！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页伙同，以及关连款式哦

咱们会（尽量）实时修起你

� � 点亮星标 � �

科技前沿进展逐日见世博体育(中国)官方网站