智谱也来搞多模态生成了,这个动作驱动二次元的效果还不错,重新定义三渲二/二渲三🥹
{开源SCAIL海外爆火:260万人围观插画小人,3D骨骼解决动画视频“抽卡”}
🧐清华团队联合GLM大模型开源SCAIL框架,通过3D骨骼姿态表征与全上下文注入机制,实现静态插画/角色的影视级动态化,支持复杂动作迁移与多人互动,海外平台267万次播放验证其娱乐应用价值。
➡️解读链接:http://t.cn/AXGSxVhi
➡️代码:http://t.cn/AXUP0fHU
✨重点
●🎨 SCAIL让静态角色“活”起来:输入照片+动作指令,即可生成影视级动态效果,X平台插画小人舞蹈还原度超99%,头发/裙子动态跟随自然
●🧠 3D柱体骨骼表征:摒弃传统2D关键点,通过3D关节光栅化编码空间关系,复杂遮挡场景下肢体结构完整度提升47%
●🔄 DiT架构+Pose-Shifted RoPE:序列维度时空推理,解决ControlNet逐帧控制的全局视野缺失问题,动作连贯性提升38%
●🎬 跨领域拓展:虚拟主播舞蹈、二次元角色动作迁移、多人对战动画、涂鸦艺术动态化(法国艺术家@NebSH作品实现纸上角色跃动)
●👥 端到端多人动作生成:支持单人→双人→任意多人角色互动,国内B站创作者已实现“次元壁打破”的虚拟打斗场景
●🔬 无需复杂训练:通过Progressive Injection渐进式注入控制信号,兼容现有SD/Stable Diffusion等生成模型,部署门槛降低60%
●🌐 法国艺术家@NebSH的涂鸦动画、B站@craftcapitallab的二次元视频流程、海外@grmchn4ai的插画跳舞视频等案例验证实用性
●🚀:支持自定义动作库扩展与角色风格迁移,提供从静态图到动态视频的全流程解决方案
##