VividPuppet🎭:动作生成框架
Work in Progress (1%)
A generic simulation framework based on action emulating.
基于动作仿真的通用模拟框架。
一瞥
VividPuppet 是去年的Qy项目的子计划(目前还是 ppt
阶段,我也没想好要怎么实现),其基于对生物动作的抽象与仿真,提供了在包括动画、游戏等不同场景下使用不同的适配器生成具有逼真而精细的动作的内容的框架。
木偶还是木偶?
原话忘了,反正这个小标题是照着姜文关于观众对《让子弹飞》的解读的回应弄的,火锅不是火锅,麻匪不是麻匪什么的1。
起这个名字是因为之前受关于神经科学的书籍的影响,他们把生物的思维活动比喻成剧院。 这个比喻真的超级妙,而且我也打算通过在一定程度上复现这种表现来使生成的动作更加「自然」(以人类的视角)的倾向。 所以就确定了 VividPuppet 这个名字。
不止控制回路
为什么是 Elixir ?
一方面是通过 Elixir 的宏来写 DSL 比较方便,可以实现比较优雅的语法;另一方面是 BEAM 在设计之初可能就考虑到了类似于建模仿真的情况(但其实不是)。
框架图
TODO: 整完这张图 先搞明白到底怎么实现吧哥
/svg/Vivid-Puppet-overview.svg
用例
这一部分虽然是用例,但是更多的是从使用场景的角度来思考这种框架应该如何实现。
跨语言、附加情感的多模态语音合成
人话版本:附带口型的语音合成。
情绪建模与表情展示
人话版本:自动化的看板娘
角色无关的动作捕捉与重现
人话版本:让大长腿模型与 Q 版模型可以无需修改使用同一套动作。
Footnotes
好像是黄四郎的那句,「刀进了肚子,那凉粉还是凉粉?」 ↩︎