经验
计算
博客

无论你是想在家工作、学习还是娱乐,智能屏幕都将是你的最佳选择

2022年9月2日

Sharmin Farah著


简单地说,智能屏幕是一种电池供电的触摸屏设备,可以与其他设备连接、共享和交互。它也被称为无线显示器,用于很少或不需要键盘的活动。这是一种相对低成本和简单的连接网络应用程序、视频会议电话和共享内置Wi-Fi连接的工作空间的方式。

智能屏幕已经成为消费者、工业和企业客户端计算的一个令人兴奋的创新平台。在COVID - 19大流行期间,人们开始在家工作,它们开始流行起来。如上所述最近的Synaptics文章通过将人工智能(AI)、无线连接、触摸、声音和视觉传感、可扩展和安全处理以及先进的显示驱动程序和算法相结合,智能屏幕能够提供完全沉浸式、上下文感知的用户体验,并将其转变为一个多功能控制点,从这里可以安全地与各种设备交互。本文通过解释运行在Synaptics VS680多媒体SoC上的Visidon软件如何增强智能屏幕功能并支持各种用例,深入研究硬件和软件如何发展以及如何协同工作以实现下一代智能显示器。

虽然定义可能有所不同,但智能显示器作为住宅、商业和工业应用的中心枢纽的崛起已经得到了充分的证明。华体会最新下载网站例如,研究和市场预计,到2027年,该市场将达到161.6亿美元,从2021年的47.9亿美元增长22.56%。越来越多的互联网用户、智能镜子的创新功能,以及对人工智能驱动和物联网智能家电的需求不断增长,都可能对市场增长产生积极影响。

然而,要使智能显示器充分发挥其潜力,底层硬件必须达到关键性能、健壮的功能、安全性、成本和效率要求,而算法必须高效、直观、无缝,并能够充分利用硬件的功能。这需要密切的合作和先进的、易于使用的开发工具。

Synaptics和Visidon正在合作提供一个完整的解决方案,通过Synaptics的VS680多媒体SoC(硬件)和Visidon的算法(软件)增强用户的智能显示体验。本文将更深入地讨论两个Visidon算法组,例如人脸分析和深度计算,它们被移植到Synaptics的VS680并针对其进行了优化,以解决不同的用例。

Visidon人脸分析算法包括人脸检测、跟踪识别、年龄、性别、笑容分析以及眼镜和面罩检测。这些算法实现了智能屏幕访问控制和内容个性化。例如,人脸识别在组织照片、保护笔记本电脑和手机等设备以及帮助盲人和低视力社区方面很有用。

对于智能屏幕视频会议和通信增强,Visidon算法进行深度计算和人像分割,并提供各种娱乐过滤器。其中一个滤镜是散景,它通过在前景上提供清晰锐利的边缘和逐渐模糊的背景来帮助集中在前景对象上。此外,视频会议还可以通过Visidon的素描、黑白、复古或卡通效果进一步丰富,使交流更具娱乐性。

除了视频会议增强,深度估计算法还用于增强现实应用,如辅助运动、虚拟衣柜和交互式游戏。华体会最新下载网站

Visidon人脸分析和深度计算算法是由VS680的NPU、CPU和GPU上实现的不同组件构建的(图1)。

Synaptics VS680框图
图1:Synaptics的VS680多媒体处理器提供了一个优化的计算平台,在这个平台上可以高效、安全地实现支持人工智能的应用程序。华体会最新下载网站

Visidon的人脸分析算法、人脸检测和跟踪运行在CPU上,年龄检测、性别检测、微笑检测和眼镜检测运行在NPU上。值得注意的是,虽然一些NPU被“附加”到SoC的CPU和GPU上,但VS680的NPU和AI管道是无缝嵌入的,因此它们在可信的执行环境中运行,这对安全和隐私至关重要(图2)。

Visidon人脸分析
图2:Visidon的人脸分析算法通过姓名、年龄、性别、笑容、眼镜和面罩检测。

对于增强的视频会议,Visidon提供深度估计和人像分割(图3),以分离框架中的主要主题并替换背景。这些网络运行在NPU上。此外,人脸检测选择帧中的焦点和深度映射来实现散景效果。掩模细化提高了深度图和分割掩模精度。最后,效果渲染创建背景模糊、背景替换和好玩的效果。这些网络运行在CPU和GPU上。Visidon提供单目和立体相机深度估计。与基于分割的同类产品相比,Visidon散景提供了一个更自然的外观,更少的对象切割和可见错误。它还具有高稳定性,没有闪烁的身体部位。

Visidon深度估算
图3:Visidon的深度估计,分割和散景分离帧中的主要对象,并替换背景(左上-输入,右上-逐渐模糊的散景)

图3:Visidon的深度估计,分割和散景分离帧中的主要对象,并替换背景(左上-输入,右上-逐渐模糊的散景)

在深度传感应用中,深度估计算法允许华体会最新下载网站对图像中的物体进行真实的深度和距离计算,而分割可用于从图像上下文中提取物体和主题。例如,如果一个人坐在椅子上,地面和椅子与摄像机的距离与人的距离相同,分割可以从语义上区分什么是人,什么是椅子,什么是地面。

Synaptics的VS680由SyNAP工具包支持,该工具包允许客户优化ML/AI模型,以充分利用VS680的功能(图4)。这些模型包括用于视频、视觉和音频AI的模型。使用VS680很容易,不需要使用任何其他指定的平台工具,这在使用特殊硬件时通常是一个缺点。

Synaptics SyNap Edge AI框架
图4:Synaptics的SyNAP Edge AI框架是一个开源平台,简化了AI增强功能的开发和部署。

Synaptics和Visidon将在2022年IBC展会上展示他们的解决方案(https://show.ibc.org/) 9月9日至12日在阿姆斯特丹举行。(科幻小说

本博客最初发表于《展示日报》
Sharmin Farah是Visidon的营销经理,其使命是通过不同的细分市场增长公司在视频增强领域的品牌。她对数字营销和传播充满热情和专业知识,同时在项目管理、品牌推广、公共关系和研发方面也有经验。

新闻发布

接收最新消息