实时音视频的技术难点

$声网(API)$ IPO在即，可能有不少朋友感兴趣，我简单写一下，仓老师负责手机YY业务的时候和实时音视频搏斗了4年，还是有点心得体会的。

实时音视频的主要技术难点有五。

一、可用性。服务可用性能达到几个9，四个9就是99.99%可用。

二、延时。以视频会议为例，A地说话，到B地听到看到的时间就是延时。超过20毫秒的延时人耳就能感受到。

三、卡顿。卡顿就是网络上传输数据的时候丢了数据包，导致图像和声音或卡或顿。

四、终端适配。安卓、iOS、网页都要支持，配置好的手机要支持，配置低的手机也要支持（部分卡顿和延迟的原因来自手机配置低处理不过来），比如说非洲那些手机啊、印度那些手机啊，都要支持。

五、支持全球网络。北京老师讲课大凉山山区学生在线上课、中国和美国开视频会议、中国和非洲通视频电话，客户的需求，都得满足。

解决这些技术难点的时候优先处理音频数据，因为耳朵比眼睛灵敏，或者说眼睛比耳朵更会“脑补”。

比如左图，眼睛能脑补出来这是奥巴马，音频数据里要是有这么大比例的噪音数据在里面，耳朵就听不出来或者听着很难受。

主要的技术手段说穿了好像很简单，主要就是网络拓扑、last mile、数据路由、编解码，但却是一个艰难的长期的技术运营工作：1、持续监测；2、持续优化。

我前面说“搏斗”，真的是搏斗，这活太难了。