通过基于人工智能的缩放实现4K内容的承诺gydF4y2Ba

2020年10月20日gydF4y2Ba

作者:高拉夫·阿罗拉gydF4y2Ba

超高清(UHD)或4K显示器背后的势头是所有电子产品中更有趣的增长领域之一。市场预测者估计，2019年它的价值约为480亿美元，从2020年到2025年的复合年增长率为23%。超高清(UHD)显示器的像素大约是全高清(Full HD)显示器的四倍，因此得名)的视频质量可能会显著增强观看和游戏体验，这让消费者兴奋不已。gydF4y2Ba

问题是内容提供商在提供真正的4K内容方面行动迟缓。现在很少有4K内容通过广播播出。一些广播公司正在提供4K频道，但节目数量有限，通常仅限于特殊活动。大多数线性电视节目的分辨率仍然是720p或1080i。大多数真正的4K内容都来自Netflix、Disney+和亚马逊视频等流媒体提供商，即便如此，它们提供的非4K内容库数量也要少得多。gydF4y2Ba

其中一个主要问题是带宽。电视广播公司和IPTV服务提供商根本没有足够的带宽一次性提供无限的高质量4K流媒体。所以，他们一直在编码全高清内容，而不是超高清。全高清压缩(HEVC, H264, AV1, VPx)流满足了他们合理比特率的目标，它可以通过在消费者家中的超高清电视上使用传统的视频放大器产生合理的观看体验。但即使是最好的解码器和最好的上标器也无法恢复原始源中UHD显示的更精细的细节和纹理，因为它们在降标到FHD时丢失了。gydF4y2Ba

人工智能提供解决方案gydF4y2Ba

机器学习模型可以对图像的部分进行分类，推断原始外观，并生成具有所需图像增强效果的适当额外像素。gydF4y2Ba

但人工智能对视频内容提供商近期最重要的影响可能完全在另一个方向。基于人工智能的超分辨率是一种新兴技术，用于使用深度学习推理来增强图像的感知分辨率，超出输入数据的分辨率，可以让观众在4K电视上从fhd分辨率源获得引人注目的4K超高清(UHD)体验。gydF4y2Ba

这一相当不直观的结果转化为，与流媒体或广播原生4K内容相比，用户对突然可获得的4K内容范围感到高兴，运营商对存储、远程缓存和带宽需求大幅减少感到高兴，并由此节省了整个系统的能源。gydF4y2Ba

这似乎是一个相当学术的观点，为了最有效，超级分辨率的接收端必须在极端的网络边缘执行:用户前提和设备。但是接收器的深度学习推理任务可能是高度计算密集型的，特别是在流媒体视频的实时限制下。在Synaptics，我们已经能够演示神经处理单元(NPU)，一种集成到我们最近的机顶盒SoC中的紧凑型深度学习推断加速器，实际上可以实时执行超分辨率图像扩展，以满足关键观众的要求。最重要的是，Synaptics技术确保优质视频内容不会落入视频盗版者之手，即使它是由运行在NPU上的ML模型处理的。gydF4y2Ba

Synaptics通过VS600系列多媒体SoC平台提供基于人工智能的超分辨率部署解决方案。有了它，运营商可以限制4K内容文件的使用，使他们能够提供更广泛的4K质量内容，同时节省存储空间、缓存和带宽。但要做到这一点，他们必须指定带有神经网络推断加速器硬件的接收端设备:足够快以保证每帧的实时升级，并且硬件安全能够经受住版权所有者的严格审查。gydF4y2Ba

在本文中阅读有关这种解决方案的详细信息gydF4y2Ba流媒体gydF4y2Ba杂志。gydF4y2Ba