只需3kbps就能清晰通话,这个谷歌音频工具开源了!

2021-04-14 21:10 926 阅读 ID:325
量子位
量子位

    3kbps也能清晰通话的神器Lyra,开源了!

    Lyra是谷歌公司推出的一款不惧低带宽的音频编解码器,用来实现随时随地高质量通话。

    3kbps是什么概念?

    换算成生活中常见的单位,等于0.375KB/s

    对比来看更加直观,Skype官网给出的通话最低速度是30kbps,带宽要求整整高出了10倍

    Lyra利用机器学习模型,将原始音频压缩到3kbps,即使没有高速网络,也能得到自然清晰的语音。

    它的架构与传统的编解码器类似,分为编码器和解码器两部分:

    编码器以40毫秒为单位,从语音中提取特征,进行压缩后通过网络传输。

    解码器利用机器学习模型,能使用最少的数据量重建语音,将特征转换成完整的音频波形,以进行播放。

    带宽要求低、效果更好

    在Lyra之前,音频编解码器的比特率越低,语音的清晰度就越差,并且机械感越重。

    传统的音频编解码器使用的是数字信号处理技术,而Lyra则依赖其强大的信号重建能力

    由于Lyra无需逐个处理信号,因此无需高带宽,而且在保持低比特率的同时,还能提供高质量的音频输出。

    谷歌还使用Lyra与Opus、Speex,在6kbps和3kbps的情况下,对同一音频的压缩质量进行对比测试

    知乎视频​<svg class="Zi Zi--InsertLink" fill="currentColor" viewBox="0 0 24 24" width="17" height="17"> <path d="M13.414 4.222a4.5 4.5 0 1 1 6.364 6.364l-3.005 3.005a.5.5 0 0 1-.707 0l-.707-.707a.5.5 0 0 1 0-.707l3.005-3.005a2.5 2.5 0 1 0-3.536-3.536l-3.005 3.005a.5.5 0 0 1-.707 0l-.707-.707a.5.5 0 0 1 0-.707l3.005-3.005zm-6.187 6.187a.5.5 0 0 1 .638-.058l.07.058.706.707a.5.5 0 0 1 .058.638l-.058.07-3.005 3.004a2.5 2.5 0 0 0 3.405 3.658l.13-.122 3.006-3.005a.5.5 0 0 1 .638-.058l.069.058.707.707a.5.5 0 0 1 .058.638l-.058.069-3.005 3.005a4.5 4.5 0 0 1-6.524-6.196l.16-.168 3.005-3.005zm8.132-3.182a.25.25 0 0 1 .353 0l1.061 1.06a.25.25 0 0 1 0 .354l-8.132 8.132a.25.25 0 0 1-.353 0l-1.061-1.06a.25.25 0 0 1 0-.354l8.132-8.132z"/> </svg>www.zhihu.com图标

    结果显示:

    3kbps的情况下,Lyra性能优于现有的其他编解码器;

    8kbps的情况下,其性能优于Opus,同时降低了超过60%的带宽;

    甚至,Lyra在3kbps情况下的语音清晰度,也优于6kbps情况下的Opus。

    谷歌公司认为Lyra可能有广泛的应用前景,比如:降低音频文件大小,以存储大量语音;节省手机电量;以及缓解网络拥堵等。

    已在GitHub开源

    现在,Lyra已经在GitHub上开源。

    Lyra使用Bazel构建框架,并且使用C++编写代码,以保证速度、效率和可操作性。

    这一版本支持用户在Linux上开发和调试,还针对64位ARM Android平台进行了性能优化,使它不仅能在云服务器上运行,而且还可以在手机上实时运行和训练。

    此外,Lyra还为开发人员提供了编码和解码所需的工具。

    谷歌工程师Andrew Storus和Michael Chinen表示:

    “很高兴看到开源社区的创造力能体现在Lyra上,以开发更多独特和有影响力的应用。”

    感兴趣的读者可戳下方链接了解详情。

    参考链接:
    [1]https://github.com/google/lyra
    [2]https://venturebeat.com/2021/04/06/google-launches-lyra-codec-in-beta-to-reduce-voice-call-bandwidth-usage/
    [3]https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html
    [4]https://opensource.googleblog.com/2021/04/lyra-enabling-voice-calls-for-next-billion-users.html

    —完—

    @量子位 · 追踪AI技术和产品新动态

    深有感触的朋友,欢迎赞同、关注、分享三连վ'ᴗ' ի ❤

    免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
    反馈
    to-top--btn