元宇宙 （4-1）：内容

本文原载：微信公众“临菲信息技术港”

内容是维持元宇宙的基本组成部分。我们可以通过组织好的故事和用户创建的事件来提供沉浸式体验。内容中的故事的真实性、沉浸式体验和概念的完整性都很重要。有两种创造内容的方法，一种是范式转换法，一种是重新利用现有内容的方法。而用户的动作、人物和化身的角色也会影响行为建模。

有研究人员使用CNN和GANs处理虚拟三维场景中的全景图像和视频来生成和探索VR内容。虽然生成的句子和图像变得比以前更自然，但含义相似的句子模式却会重复出现，评价也很肤浅。另外，句子越长，整体内容构成的集中性和一致性就越差。此时，有一种可以以保持场景的凝聚力并丰富故事的细节的结构化方法（如：图网络）被提了出来。

多模态内容呈现

在元宇宙中，用户会通过化身创建大量的多媒体内容（如图片和视频）以及文本。以这种方式产生的多媒体数据比简单的对话更能表达用户的想法和经历。为了有效地处理多模态内容，有一种对齐的方法可以将不同模态类型的数据进行转换，还有一种方式是通过将不同模式类型的数据整合到一个表示方式来进行表达。这样，多模态内容通过增加其他模态的数据信息来补充单模态的信息不足，从而达到丰富内容的目的。同时，通过得到这些跨模态的特征，模式内和模式间的语义关系也得到了利用。

代理角色建模

元宇宙的角色在给用户带来沉浸感方面发挥着重要作用，它赋予每个角色在元宇宙中的个性。特别是实现具有多角色的人物是很有必要的。

对于元宇宙中的多个代理实际是需要有不同的角色，就像每个人都有自己的个性一样，多个代理可以在同一时间以不同的方式进行互动。其实，对于一个每次都有类似对话的角色，很难给用户一种沉浸感。元宇宙需要一个能够表达各种多模态（如手势和面部表情）以及对话（如Persona chat）的角色模型。

元宇宙用户会创造大量的用户数据，这样学习所需的数据就相对较大，为了以避免冷启动问题和各种NPC（非玩家角色）角色的稀缺性，实体增强和角色生成仍然是一个重要的问题。特别是在收集到足够的数据之前，不均衡的用户生成数据（如对话历史和个人经验）都会偏向于某个特定的主题。

这里所说的实体是一个唯一可识别的单位（例如，一个著名的地名和人名），并与其他实体相关。基于实体的扩展是一种通过增加实体的数量来丰富用户角色的方法。增加实体数量的方法有很多，包括生成模型、强化学习、联合推理、本体，以及使用联运的多实体扩展方法。

而在创建元宇宙 NPC时，需要采用新的方法来表达反映世界观特征的角色和情感。此时，考虑到每种模式的稀缺性，需要一个数据群来创建一个均衡的角色用于各种场景的。

在构建对话模型时，代理根据正确答案的训练数据而不是对话人的人格来做出反应。这种单调性想维持长时间的对话很困难，所以一些研究者提议通过引入角色概念来维持一个一致的可接受的对话模式。后来诞生了一个共情对话系统，可使对话系统维持更长时间和更人性化的对话。但对话数据依旧不足以创建大型的角色表征。不过，后来Personal Dialog出现了，它是一个基于CGANs的大型多轮对话数据集，包含不同说话人的不同特征（如年龄、性别、地点、兴趣标签），还提出了以角色为重点的文本故事创作。

由于本节关于场景与故事情节介绍篇幅过长，先已分割成两部分阐述。请关注下一期《元宇宙（4-2）：内容（场景与故事情节）》