Date: 2023-11-06

上周完成

调研视点预测相关论文, 寻找idea2

回顾idea1: HT和VC两种模态的时变融合

• thinking path
  • 背景1: 长期的视点预测, 需要同时考虑 "历史轨迹" (HT) 和 "视频内容" (VC) 两种信息;
  • 背景2: HT和VC两种信息对视点运动的影响会随预测时间步的变化而变化;
    • 短期视点运动主要由HT反映, 而长期视点运动主要受VC的影响;
  • 挑战: 目前的模型无法很好地处理HT和VC两种模态的时变融合;

idea2: 长期视点预测中的其他难点

不同数据集: 只在视点运动比较均匀的数据集上性能好

视点数据集的两种类型:

David_MMSys18上的测试结果:

Wu_MMSys17上的测试结果:

说明idea1的模型只提升了 "探索性运动模式" 这一种情况下的预测性能;
对于用户视点 "长期固定, 偶尔突变" 的情况, 需要想其他办法去解决;

不同的 train/val/test set 的划分方式: 只有 "只划分用户, 不划分视频" 时性能好

说明所有模型都在不同用户之间泛化良好, 而在不同视频之间泛化性差;
说明不同视频对用户视点的影响有很大不同, 模型没能学习到统一的影响模式;

现有方案

• 对不同视点运动模式的视频/用户采用不同的方案; (个性化, 而且视频的个性化似乎更重要)
• 使用之前看过该视频的其它用户的视点轨迹辅助预测, 配合用户聚类;
• 给出多个预测结果;
  • 

本周计划

目前有以下研究计划:

• Plan A: 进行进一步调研以及实验, 尝试解决目前发现的长期视点预测中的两个难点:
  • 对 "长期固定, 偶尔突变" 的视点运动模式的预测效果差;
  • 模型只在不同用户之间泛化良好, 而在不同视频之间泛化性差;
• Plan B: 进行数据和模型分析, 说明预测误差难以消除, 然后在后续ABR部分提出解决方案, 即: 在ABR阶段尽可能减少VP预测误差的影响;