利用Songbird为网络带来实时空间音频
2017-09-11 21:12
405 查看
文/ Google Chrome 媒体团队 Jamieson Brettle 和 Drew Allen
要打造真正沉浸式的虚拟场景,不仅需要有炫目的视觉效果,还需要伴有逼真的空间音频,从而营造出逼真而可信的体验。空间音频工具允许开发者加入来自任何方向的声音,这些声音在 3D 空间中与音频源相关联,从而让用户完全置身于 360 度的环绕声环境中。
空间音频有助于让用户身临其境,营造出进入一个全新世界的幻觉。为实现这种效果,Chrome 媒体团队创建了 Songbird 这个开放源代码的空间音频编码引擎,该引擎可在使用 Web Audio API 的任何网络浏览器中运行。
Songbird 库可接受任何数量的单声道音频流,并允许开发者通过编程方式将这些音频流置入用户周围的 3D 空间中。Songbird 让您可以打造出沉浸式的音景,逼真地再现您所描绘的空间的声音反射和回响效果。声音会像在现实世界中那样从墙壁上弹回,从各种材料上反射回来,从而打造出真正 360 度的声场。Songbird 可以打造出一种环绕声声场,随后,可以实时渲染该声场,供您的应用使用。
我们与去年我们介绍的 Omnitone 项目合作,为 Omnitone 的双声道渲染器提供了更高阶环绕声的支持,从而实现了远比以前更精准的发声音频。
Songbird 封装了 Omnitone,开发者现在可以借助它为任何基于网络的应用添加交互式全声场音频。Songbird 可升级支持任何阶次的环绕声,与通过标准 Web Audio API 所能实现的音景相比,Songbird 可以带来更逼真的声音和更高的性能。
▲ Songbird 音频处理示意图
Songbird 基于 Google 空间媒体规范实现。它接受单声道输入并通过 SN3D 归一化输出环绕声(多声道)ACN 声道布局。详细文档可在此处找到。
随着网络作为一种重要 VR 内容交付平台的兴起,空间音频将在用户拥抱这种新型媒体方面发挥关键的作用。Songbird 和 Omnitone 是在网络平台上实现空间音频并使其成为打造非凡 VR 体验的卓越平台的关键工具。将这些音频体验与 three.js 这样的 3D JavaScript 库相结合,可以粗略展示出网络的未来。
▲ 在 3D 环境中搭配空间音频的演示
此项目的实现离不开 Google 的 Daydream 团队和网络音频团队的密切合作。这种合作让我们得以为网络带来丰富的音频功能,就像开发 Daydream 应用的开发者所能获取的那些功能一样。
Songbird 是开放源代码的,我们期待见到人们利用它能带来什么。在 GitHub 上查看代码并告诉我们您的想法: https://github.com/google/songbird
还有许多关于使用 Songbird 创建全空间音频的演示: https://cdn.rawgit.com/google/songbird/master/examples/index.html
查看全文及文中链接,请点击文末“阅读原文”。
要打造真正沉浸式的虚拟场景,不仅需要有炫目的视觉效果,还需要伴有逼真的空间音频,从而营造出逼真而可信的体验。空间音频工具允许开发者加入来自任何方向的声音,这些声音在 3D 空间中与音频源相关联,从而让用户完全置身于 360 度的环绕声环境中。
空间音频有助于让用户身临其境,营造出进入一个全新世界的幻觉。为实现这种效果,Chrome 媒体团队创建了 Songbird 这个开放源代码的空间音频编码引擎,该引擎可在使用 Web Audio API 的任何网络浏览器中运行。
Songbird 库可接受任何数量的单声道音频流,并允许开发者通过编程方式将这些音频流置入用户周围的 3D 空间中。Songbird 让您可以打造出沉浸式的音景,逼真地再现您所描绘的空间的声音反射和回响效果。声音会像在现实世界中那样从墙壁上弹回,从各种材料上反射回来,从而打造出真正 360 度的声场。Songbird 可以打造出一种环绕声声场,随后,可以实时渲染该声场,供您的应用使用。
我们与去年我们介绍的 Omnitone 项目合作,为 Omnitone 的双声道渲染器提供了更高阶环绕声的支持,从而实现了远比以前更精准的发声音频。
Songbird 封装了 Omnitone,开发者现在可以借助它为任何基于网络的应用添加交互式全声场音频。Songbird 可升级支持任何阶次的环绕声,与通过标准 Web Audio API 所能实现的音景相比,Songbird 可以带来更逼真的声音和更高的性能。
▲ Songbird 音频处理示意图
Songbird 基于 Google 空间媒体规范实现。它接受单声道输入并通过 SN3D 归一化输出环绕声(多声道)ACN 声道布局。详细文档可在此处找到。
随着网络作为一种重要 VR 内容交付平台的兴起,空间音频将在用户拥抱这种新型媒体方面发挥关键的作用。Songbird 和 Omnitone 是在网络平台上实现空间音频并使其成为打造非凡 VR 体验的卓越平台的关键工具。将这些音频体验与 three.js 这样的 3D JavaScript 库相结合,可以粗略展示出网络的未来。
▲ 在 3D 环境中搭配空间音频的演示
此项目的实现离不开 Google 的 Daydream 团队和网络音频团队的密切合作。这种合作让我们得以为网络带来丰富的音频功能,就像开发 Daydream 应用的开发者所能获取的那些功能一样。
Songbird 是开放源代码的,我们期待见到人们利用它能带来什么。在 GitHub 上查看代码并告诉我们您的想法: https://github.com/google/songbird
还有许多关于使用 Songbird 创建全空间音频的演示: https://cdn.rawgit.com/google/songbird/master/examples/index.html
查看全文及文中链接,请点击文末“阅读原文”。
相关文章推荐
- [置顶] 基于iOS的网络音视频实时传输系统(六)- AudioQueue播放音频,OpenGL渲染显示图像
- WindowsPhone 8 如何下载网络音频到独立存储空间中后台播放
- 利用流计算实时检测网络威胁
- Android 利用BroadcastReceiver实时检测网络状态变化
- 利用多线程与网络编程编写的实时聊天小程序
- 利用AFN实时监测网络状态以及设置请求超时时间
- (转)利用VC++实现局域网实时视频传输(网络视频)
- 利用VC++实现局域网实时视频传输(网络视频)
- 利用神经网络进行音频数据分类
- 利用网络媒体搭建自己就业之“桥”——卖糖葫芦北大毕业生谋职报道带来的启示
- 利用FFmpeg本地音频和网络视频进行录像
- 利用网络媒体搭建自己就业之“桥”——卖糖葫芦北大毕业生谋职报道带来的启示
- 网络语音实时通信音频下的缓冲区设计
- 利用Etherape对网络拓扑结构和数据流量进行实时监控
- 【Python开发】【神经网络与深度学习】如何利用Python写简单网络爬虫
- Linux下网络流量实时监控工具大全
- AVQueuePlayer 在线播放一组网络音频文件
- 利用XMLHTTP无刷新自动实时更新数据.
- Silverlight多人网络实时视频会议系统
- 利用流氓DHCP进行的DNS网络欺骗攻击