近日，上海科技大学、NeuDim、字节跳动和DGene的研究团队共同发布了一篇名为《HiFi4G:人体建模和高效渲染的突破性进展》的AI论文。该论文介绍了HiFi4G，这是一种全新的、全显式且紧凑的高斯方法，用于从密集视频中重新创建高保线D人体表演。

  这项研究的主要亮点在于，HiFi4G通过将非刚性跟踪与3D高斯表达相结合，成功分离了运动和外观数据，以此来实现了紧凑且压缩友好的表达。相较于当前的隐式渲染技术，HiFi4G在优化速度、渲染质量和存储开销方面取得了明显的改进。

  具体而言，研究团队首先提出了一种双图方法，包括细粒度高斯和粗略变形图，以自然地将高斯表示与非刚性跟踪连接起来。利用NeuS2创建每帧几何代理，并以关键帧的方式使用嵌入式变形(ED)，这一显式跟踪技术将序列划分为部分，为每个部分内的运动提供了丰富的历史信息。

  接下来，研究团队为进一步初始化构建了一个细粒度高斯图，通过从粗略ED网络中插值每个高斯运动。为了平衡高斯特征和非刚性运动先验的更新，研究团队提出了一种4D高斯优化方法。他们使用时间正则化器确保每个高斯的外观属性的一致性，如不透明度、缩放系数和球谐(SH)。对于运动特征(位置和旋转)，研究团队建议使用平滑项，以在相邻高斯之间生成局部尽可能刚性的运动。

  为了应对在表现小而非刚性运动的区域出现的颤动现象，研究团队为这些正则化器添加了自适应加权机制。经过优化，研究团队生成了时空紧凑的4D高斯。为了使HiFi4G对用户更加实用，研究团队提出了一种伴随的压缩技术，采用传统的残差校正、量化和熵编码，以适应任何平台上的低存储沉浸式人体表演体验。

  紧凑的高斯喷溅表示法: HiFi4G采用3D高斯表达与非刚性跟踪相结合，实现了紧凑且压缩友好的表示。这种方法通过采用双图机制，包括粗糙变形图和细粒度高斯图，来获得运动的先验知识。

  双图机制: 引入了双图机制，这中间还包括一个用于有效初始化的粗糙变形图和一个用于强制约束的细粒度高斯图，以实现对非刚性运动的建模。

  4D高斯优化方案: 采用了4D高斯优化方案，这中间还包括自适应的时空正则化器，以有效平衡非刚性先验和高斯更新，实现高质量的人体表现渲染。

  伴随的压缩方案: 提出了一个伴随的压缩方案，包括残差补偿，可在各种平台上实现沉浸式体验。该方案实现了约25倍的压缩率，每帧不到2MB的存储开销。

  关键帧非刚性跟踪: 通过基于关键帧的非刚性跟踪，建立了一个粗糙变形图，并跟踪了高斯优化的运动，为后续渲染提供支持。

  实时高保线G能够在实时性要求下，对具有挑战性动作的人体表现进行高保真渲染，例如演奏乐器、跳舞和更衣等。

  渲染结果:HiFi4G 可实时高保真地渲染人类在演奏乐器、跳舞和换衣服等具有挑战性的动作中的表现。

  在应用场景上，HiFi4G能够适用于电影、电视剧和游戏制作，实现更逼真、高保真的人物表现渲染。特别是在需要展现复杂人体动作，如演奏乐器、跳舞和更衣等情境下，能够给大家提供更真实的画面效果。另外，由于HiFi4G可以在一定程度上完成实时高保真渲染，它在虚拟现实和增强现实应用中也具备广泛的应用前景。用户在虚拟环境中进行各种活动时，能够得到更具沉浸感的体验。

  文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。

  由中国轻工业联合会指导,中国轻工业信息中心、中国轻工业发展研究中心、中国家用电器研究院联合主办的第二届全国轻工适老创新产品及智能健康解决方案大赛,11月23日在安徽芜湖重磅揭晓最终评选结果!

  上海车展正在火热进行中，一汽大众在2023上海车展中带来了ID家族的旗舰轿车产品，ID.7 VIZZION，新车基于MEB平台打造而来，预计将于今年下半年正式上市。

  5月18日，为帮助中小企业解决定为难、运营难、资金难、人才难、资源难等问题，杭州市市场营销协会组织多家专业机构联合举办“名企游学，走进上市公司”活动，通过学习交流赋能中小企业更好地完成转型升级。此次活动走进“A股互联网第一股”浙江网盛生意宝股份有限公司。

  5月18日，由京东携手爱空间整装举办的京东装修自营业务新品发布会暨京东联合爱空间整装新品媒体见面会正式召开。