远程沉浸式自然交互

摘要: 本文提出了沉浸式视频自然交互的概念和应用场景，同时介绍了几种能够加强沉浸式自然交互的方法，研究其中的关键技术。具体内容包括：通过准确的视频对话人提取和多个视频对话人的统一虚拟场景融合，实现不同空间位置的远程视频交互，使参与者犹如身处同一个虚拟会议室，以排除空间隔离感，增强沉浸式体验；通过矫正用户视频镜头中的头部姿态和视线方向，实现远程视频交户中的自然眼神交流；通过QoE 模型研究远程视频交互时视频传输的自适应调整问题，保证在带宽不对称、终端不一致的情况下的高质量远程视频交互；通过采用远距离语音采集，支持多人任意参与远程语音互动，实现清晰连续、具有方向和距离感的高保真沉浸式音频交互。