144高帧率、超低延迟,向日葵是如何做到的?
更新日期:2023-03-03 14:29:59
远程控制中,流畅度、帧率等画质指标和本地带宽占用是“鱼和熊掌”,理论上不可兼得。很多人好奇,国民远控向日葵是如何面对这一矛盾,实现了较好的远控体验的?其独特的SADDC算法是核心关键.....
远程控制技术实现的核心原理,简单来说就是将本地电脑的操作指令发送给远程电脑,并将远程电脑的画面进行实时回传。
由于操作指令本身涉及的数据量较小,因此影响远程控制软件画面延迟的因素主要集中体现在图像传输方面。
这一过程往往要涉及软件对远程电脑画面的实时采集、数据压缩,并将压缩后的数据通过网络,传回本地电脑之后再进行解码,才能最终呈现画面。
所以,当网络条件基本相同时,主要性能差距体现在图像压缩、解码环节的算法上。
向日葵之所以能够实现低延迟、144高帧率以及高流畅度,自研算法SADDC是关键所在。
自研算法SADDC,针对远程控制场景优化
SADDC算法的全称是“Sunlogin Advanced Desktop Dynamic Codec”,也是业内为数不多针对远程控制场景专门研发的视频编解码算法。
该算法不同于通用的视频编解码算法,针对远程控制场景进行了大量优化,并应用了Visual Saliency视觉显著性。
SADDC能够在显著提升画面压缩率的同时,降低传输数据量,并实现画面极低延迟编码、高帧率传输。
总体来说,该算法的优势有以下三点:
● 基于视觉显著性(visual saliency),远程桌面独特的焦点区域优化,提升远程控制视觉体验的同时进一步降低码率。
● 对于画面进行智能切片分区,并可实现动态帧率,可降低视频压缩时的算力需求及冗余数据。
● 更高效的利用主机的配置,主机配置足够时配合硬件加速进一步提升远控体验。
基于视觉显著性(visual saliency)提升视觉体验的同时降低传输码率
向日葵引入了视觉显著性(visual saliency),实现整体画质提升的同时降低传输数据量。
人类的视觉是具有明显的选择性的,真正能处理的视觉信息非常有限。1998年,南加州大学的Itti提出基于颜色,亮度,方向三种视觉特征的显著值计算,模拟生物对图像的注视点的选择性注意模型,即视觉显著性理论(visual saliency)。
2012年,这一理论进一步完善,形成了四项计算准则:
● 局部低特征为起点,考虑对比度,颜色等因素
● 在全局抑制重复特征,保持特异性特征
● 根据Gestalt laws,视觉组织形式通常有一个或多个显著中心
● 人脸、规则物、认知物优化性
向日葵的SADDC算法根据这一理论对高显著性的区域倾斜资源,使得用户重点关注的画面区域更加清晰,同时避免将过多的资源投入到非显著区域与非焦点区域中,提升整体的编码效率。
智能切片、分区+动态帧率,降低视频压缩时的算力需求及冗余数据
向日葵SADDC算法会对远控画面进行智能的切片分区,仅仅将画面有变化的区块进行重新计算、压缩、传输,没有变化的区块则保留画面。
如此一来,解决了通用编解码算法压缩整个画面会产生大量冗余数据的问题,并降低了算力需求。
此外,向日葵SADDC算法可以智能判断画面的变化幅度,自动降低帧率,这类似于一些手机屏幕所采取的节能策略。
如果画面中不存在大幅运动物体自动降低帧率,最低可无感调节至1帧或是暂停画面刷新。
这样一来,既保证了各个场景下对于流畅度的不同需求,也进一步降低了传输的数据量,避免对网络带宽造成过大压力。
支持硬件加速,充分利用高性能主机算力
如果主机的配置足够强大,那么向日葵可以通过硬件加速的方式进一步获得性能:通过利用GPU的算力,在GPU“内部”完成远控画面的运算和压缩。
这一策略将会进一步降低延迟,使得远控画面的帧率可以大幅提升,向日葵SADDC算法通过这一策略最高可实现144帧远控画面帧率,可以满足很多高端的远控需求。
当然,除了上文提到的SADDC、视觉显著性,向日葵还应用了其他各类技术,包括:BBR/MPTCP边缘加速、Oray-Raptor混合编码传输、傅里叶算法机器视觉、AAC/OPUS音频编码……在这些技术的加持下,向日葵得以始终提供优质的远程控制服务。
文档内容是否对您有帮助?
如果遇到产品相关问题,您可咨询 在线客服 寻求帮助。