Un breve análisis de la tecnología de audio 3D para salvar la realidad virtual del frío invierno

Un breve análisis de la tecnología de audio 3D para salvar el frío invierno de la realidad virtual.

La tecnología de realidad virtual es una tecnología práctica completamente nueva desarrollada en el siglo XX. La tecnología de realidad virtual incluye computadoras, información electrónica y tecnologías de simulación. Su método de implementación básico es que las computadoras simulan entornos virtuales para brindar a las personas una sensación de inmersión en el entorno. Con el desarrollo continuo de la productividad social y la ciencia y la tecnología, la demanda de tecnología de realidad virtual en todos los ámbitos de la vida es cada vez más fuerte. La tecnología de realidad virtual también ha logrado grandes avances y gradualmente se ha convertido en un nuevo campo de ciencia y tecnología. A continuación se muestra un breve análisis de cómo la tecnología de audio 3D puede salvar a la realidad virtual del frío invierno que compilé.

La gente suele decir últimamente: se acerca el invierno de la realidad virtual. Recientemente vi una muy buena descripción: "La industria de la realidad virtual, que alguna vez tuvo demasiadas expectativas y entusiasmo por parte de empresarios e inversores, ha experimentado un año de montaña rusa antes de que se rompa el cuello de botella de la tecnología central, la realidad virtual también seguirá creciendo después de la crisis". La burbuja se encoge. El audio 3D, como nodo tecnológico clave en la industria de la realidad virtual, merece atención hoy en día. Estoy aquí para ofrecerles un análisis racional de cómo la tecnología de audio 3D puede salvar la realidad virtual del frío invierno.

Una búsqueda de "VR Winter" en Baidu arrojó 1.660.000 resultados.

"El capital cambia de cara: 6 meses, la realidad virtual del carnaval a lo sombrío" (Geek Park, 7 de septiembre de 2016), "La industria de la realidad virtual, que ha atraído innumerables capitales y emprendedores, parece haber entrado en un resfriado invierno " (Chinese Entrepreneur, 26 de agosto de 2016), "¿Se acerca el frío invierno para las nuevas empresas de realidad virtual? ¡Escuche lo que dicen los expertos de la capital!" (NetEase News, 27 de mayo de 2016), "¡Ten cuidado! invierno frío" (Sohu News, 11 de mayo de 2016)...

La gente todavía recuerda la moda de la realidad virtual desde la segunda mitad de 2015 hasta principios de 2016: desde empresarios hasta inversores, todos están interesados ​​en la realidad virtual. Con entusiasmo y esperanza sin límites. En realidad, no son pocas las personas que provienen de la informática y se cambiaron a la realidad virtual: descubrieron este "punto caliente", abandonaron grandes empresas y se sumergieron en la industria de la realidad virtual.

La industria carece de objetivos de alta calidad y los nodos técnicos clave están lejos de ser superados. La realidad virtual es como un bebé balbuceante, todavía en su infancia y lejos de estar maduro. En lugar de decir que el invierno de la realidad virtual ha llegado, es mejor decir que la burbuja anterior está razonablemente reventada.

Uno de los “nodos tecnológicos clave” aquí es la tecnología de audio espacial. Hoy en día, la gente prefiere llamarlo audio 3D.

Como dijo Adam Summer, ingeniero jefe de audio de la famosa productora de realidad virtual Jaunt: "(En la realidad virtual), la audición representa el 50% y la visión el 50% restante.

p>

La audición determina el posicionamiento humano en el espacio, la percepción de la distancia entre objetos, etc. La visión da una pista y el oído confirma si la pista es real. Sin inmersión visual, se perderá la autenticidad de todas las imágenes. La realidad virtual no puede ser realidad virtual sin solucionar el problema de la audición. Se puede decir que el audio 3D determina si realmente ha llegado la era VR de la que hablamos.

En primer lugar, aprendamos sobre el audio 3D

¿Qué es el audio 3D? En pocas palabras, el audio 3D es la tecnología de simulación de sonido más realista, que permite al oyente restaurar completamente el sonido. campo a una escena similar a la de la escena en vivo. Nombres similares incluyen soluciones de sonido panorámico y audio inmersivo. Obtienes sonidos completamente realistas y "realistas" sin ser "realistas".

Ramani Duriswamy, uno de los fundadores de VisiSonics, una de las empresas de producción de audio espacial más maduras del mundo, tiene un dicho: "Cuando el sonido que escuchas es extremadamente real",

El oído humano dispone de su propio sistema de análisis de señales sonoras para analizar y localizar sonidos. La señal transmitida desde cualquier punto del espacio al oído humano (delante del tímpano) puede describirse mediante un sistema de filtrado. El filtro de la fuente de sonido (función de transferencia) obtiene la señal antes de que el sonido llegue al tímpano de ambos oídos.

No debemos preocuparnos de cómo se transmite el sonido a nuestros oídos, solo debemos saber: existe una diferencia entre la fuente del sonido y la señal antes de llegar a nuestros oídos y el sonido; escuchado por nuestros oídos izquierdo y derecho. Es diferente. Esto puede deberse a nuestra evolución. La visión no puede localizar en la noche oscura, pero los oídos pueden localizar y defenderse a través de los diferentes sonidos en el oído izquierdo y derecho.

Este filtro (función de transferencia) se llama HRTF (función de transferencia relacionada con la cabeza). Si tenemos un banco de filtros desde todas las direcciones del espacio hasta ambos oídos, podemos obtener una matriz de filtros para restaurar la señal de sonido desde toda la dirección espacial.

HRTF es extremadamente personal. Cada uno desarrolla su propia percepción de la audición a medida que crece. Además, cada uno de nosotros tiene un tamaño de cabeza diferente, diferentes distancias entre las orejas y diferentes contornos y remolinos dentro de las orejas. Además, desarrollamos nuestros propios hábitos de escucha únicos a medida que crecemos. Se puede decir que los sonidos emitidos por los mismos objetos que todos escuchan son en realidad ligeramente diferentes.

¿Cómo restaurar el sonido que el oído humano realmente escucha? La exploración de este tema por parte de los científicos no es algo nuevo hoy en día. Hace casi un siglo, en 1933, AT&T Bell Labs llevó esta tecnología a la Feria Mundial de Chicago. El departamento de investigación de la voz humana de esta empresa fabricó una cabeza artificial mecanizada; a este muñeco lo llamaron "Oscar". Oscar tiene dos micrófonos instalados en sus oídos y se sienta en la sala de exhibición para captar los sonidos circundantes. Todo lo que Oscar oye, lo puede grabar.

La solución proporcionada por AT&T Bell Labs se llama tecnología de grabación binaural (Binaural Audio).

La tecnología de grabación binaural simula la forma de la cabeza humana real y la distancia entre los oídos izquierdo y derecho, y puede grabar sonidos cercanos a los que escuchan los humanos reales. Este es un "método tonto" eficaz que restaura la HRTF a nivel físico. En este camino, la empresa alemana de micrófonos Neumann realizó entre 1973 y 1992 varios avances en la tecnología de grabación binaural: mejores equipos de radio, colocación de micrófonos en orejas simuladas en el tímpano, etc.

La tecnología de grabación binaural se ha ido desarrollando a un ritmo lento a lo largo de este siglo porque no existe una fuerte demanda industrial. Esperó hasta la llegada de esta ola de locura por la realidad virtual antes de regresar al escenario. Debido a la popularidad de la realidad virtual aportada por Oculus Rift, Sony Morpheus y Samsung Gear, la tecnología de audio 3D ha marcado el comienzo de su "renacimiento", por eso también se la llama audio VR.

¿Cuál es la dificultad con la tecnología de audio 3D?

La realidad virtual necesita audio 3D para producir una sensación de inmersión más realista. Adam Somers, ingeniero jefe de audio de Jaunt, lo describió así en una entrevista con THE VERGE: "En términos de inmersión, el oído representa el 50% y la visión el 50% restante.

Jaunt es un". La reconocida empresa estadounidense La productora de realidad virtual recibió una inversión de 65 millones de dólares del Fondo de la Industria Cultural China (CMC) de Shanghai y Disney el año pasado.

Sin embargo, la tecnología de grabación binaural por sí sola no permite girar la cabeza mientras se escucha. Cuando los jugadores juegan juegos de realidad virtual, si escuchan un sonido desde atrás, su reacción instintiva es girar la cabeza y mirar hacia atrás. Si el sonido continúa frente a ti en este momento, la inmersión se reducirá considerablemente.

Otra tecnología que restaura el campo sonoro real no admite girar la cabeza mientras escucha, y se llama audio envolvente. El sonido envolvente utiliza varios parlantes físicos para crear un campo sonoro de 360 ​​grados, y los sonidos de diferentes direcciones se reproducen a través de diferentes parlantes/altavoces. Las empresas más famosas por esta tecnología son DTS y Dolby.

Por ejemplo, un cine con sonido envolvente colocará muchos altavoces/altavoces alrededor del público. Si hay una explosión en el lado izquierdo de la pantalla, el sonido provendrá de los parlantes de la izquierda, no de la derecha.

Dado que la posición del reproductor es fija, el oyente sólo puede escuchar el campo sonoro simulado más realista en un punto fijo.

¿Cómo solucionar este problema? La computación se ha convertido en una máxima prioridad.

Después de que el sonido se obtiene mediante la tecnología de grabación binaural, se restaura el HRTF y luego se calcula para restaurar el HRTF en todas las direcciones, con el fin de sintetizar un conjunto de audio espacial que cambia naturalmente el campo de sonido a medida que Se gira la cabeza y se mueve la posición.

Entre estos tres vínculos: radio, grabación; cálculo, renderizado (procesamiento, reproducción), la barrera técnica más fuerte reside en el vínculo de cálculo.

El algoritmo central es un indicador de capacidad que prueba varias empresas de audio espacial. El lema corporativo de Two Big Ears lo dice todo: "Hacemos matemáticas para que usted pueda concentrarse en ser increíble". La empresa con sede en Irlanda está trabajando actualmente en tecnología de audio espacial.

Algunos equipos han utilizado algunos métodos torpes para reducir la cantidad de cálculos. Por ejemplo, 3dio ha creado un equipo de radio que puede grabar HRTF desde todas las direcciones al mismo tiempo tanto como sea posible.

Por lo general, se pueden utilizar tres indicadores para juzgar el nivel de tecnología del algoritmo central de audio 3D de una empresa:

1. Localización: se refiere al posicionamiento del sonido. El sonido envolvente tiene un mejor efecto de simulación en el plano de 360 ​​grados del sonido, pero es difícil simular los 360 grados superiores e inferiores. La dificultad del audio VR también es simular el sonido de 360 ​​grados hacia arriba y hacia abajo. La tecnología que puede lograr subidas y bajadas realistas es más avanzada.

2. Propagación: El sonido no se transmite una sola vez en un espacio cerrado, sino que tiene innumerables reflejos (rebote). Podemos utilizar el eco para comprenderlo. La propagación se utiliza para describir si puede hacer que los usuarios sientan que realmente están en un espacio real. Cuanto más fuerte sea este sentido de realidad, mejor.

3. Oclusión: Durante el proceso de transmisión del sonido, si hay un obstáculo en el medio, este obstáculo afectará la propagación del sonido. Si una tecnología de audio VR puede simular bien el impacto de los obstáculos en el sonido, es un audio VR bien hecho.

Excluyendo los tres puntos anteriores, la solución actual más puntera para audio espacial es la tecnología Ambisonic. Por tanto, si puede ser ambisónico también es un indicador para juzgar el nivel técnico de una empresa.

Ambisonic también es un método de simulación de campo sonoro, pero pone a prueba las capacidades integrales del equipo en física, matemáticas e informática. Si imaginamos un lugar en el espacio que recibe sonido como un globo inflado, entonces las ondas sonoras transmitidas desde cualquier lugar del espacio ejercerán fuerza sobre la superficie del globo.

Ambisonic utiliza este principio simple para colocar un grupo de parlantes en el espacio para simular la fuerza de las ondas sonoras en el globo correspondiente a la situación real, y luego calcula y restaura el HRTF.

Los datos de audio obtenidos a través de Ambisonic son los datos más completos y se pueden degradar a cualquier otro formato de audio. Por ejemplo, si Ambisonic es un jpg en una imagen, los formatos de audio como Dolby 7.0, Dolby 5.1, etc. equivalen a píxeles.

¿Cómo evaluar el estado actual de la industria de la tecnología de audio 3D?

La tecnología de audio 3D seguramente cambiará todos los escenarios de aplicación. Hay dos oportunidades para toda la industria del audio espacial:

La primera oportunidad es construir un motor de audio, cuyo núcleo radica en la función HRTF, la propagación y otras tecnologías, es decir, cómo restaurar el sonido. en el juego de la forma más realista posible. Viene en estéreo.

El enfoque simple actual es colocar diferentes parlantes virtuales en juegos de realidad virtual y cooperar con Oculus Audio SDK (que implementa HRTF y otros efectos, incluida la reflexión, etc.) para lograr audio espacial.

Hay muchos métodos que no son simples y requieren que el equipo tenga una gran potencia informática. Two Big Ears, fundada en Edimburgo en 2013, es uno de los líderes. El complemento que crean es probablemente uno de los complementos tecnológicamente más avanzados de la industria.

La segunda oportunidad es realizar la aplicación del audio 3D en la vida real, es decir, cómo grabar audio VR desde múltiples ángulos con video panorámico. De esta forma, si el usuario gira la cabeza mientras mira el vídeo panorámico, el sonido se ajustará dinámicamente. En términos de escenarios de aplicación, la tecnología de audio 3D es particularmente importante para los conciertos virtuales.

Teniendo en cuenta el mercado global actual, debido a sus propias dificultades técnicas, el audio 3D aún no ha tenido una empresa o un equipo que proporcione una solución perfecta. La tecnología de la empresa de audio de renombre DTS ya está relativamente cerca. , pero la versión final aún no se ha hecho pública y se enfrenta a la posibilidad de un precio muy elevado.

Los siete equipos de tecnología de audio 3D más vistos

1. VisiSonics

VisiSonic fue el primero en empezar. El equipo procedía del laboratorio de la Universidad de Maryland en el. Estados Unidos en octubre de 2015. Se alcanzó la cooperación con Oculus en marzo. Oculus compró su tecnología, llamada RealSpace3D, para usarla en Oculus Audio SDK. Diseñaron un dispositivo de grabación simultánea de audio y vídeo en 3D, que consta de un dispositivo en forma de columna con una parte superior y un dispositivo en forma de bola. En el dispositivo en forma de bola hay 64 micrófonos. A nivel de hardware, la tecnología es de primer nivel y sigue siendo líder mundial.

2. TwoBigEars

El equipo ubicado en Edimburgo, Escocia, fue adquirido recientemente por Facebook. Su tecnología principal es un motor de audio 3D llamado 3Dception. Desde una perspectiva plug-in, este equipo es actualmente el más avanzado técnicamente del mundo. Antes de ser adquirido por Facebook, se rumoreaba que este equipo se utilizaba para la renderización computacional del audio de HTC Vive.

3. 3diosound

Esta empresa es actualmente la mejor empresa en el campo de la grabación de audio espacial del mercado. Produjeron un dispositivo de radio con ocho orejas.

4. ThriveAudio

Esta empresa fue adquirida por Google junto con Tilt Brush y forma parte del diseño estratégico de VR de Google. El equipo proviene del Trinity College Dublin en Irlanda. Afirman haber solicitado dos patentes.

5. MintMuse

Un equipo que anteriormente estuvo en San Diego, EE. UU., y recientemente se mudó a Shanghai. El principal equipo creativo proviene de Qualcomm. Se centran en áreas como la calidad de renderizado, la optimización de algoritmos y el retardo. Diseñan y producen postproducción de audio espacial, codificación y herramientas de complementos de software. Actualmente, no implican producción de hardware. Este equipo está dirigido a los grabadores de sonido. Están desarrollando un software profesional de ajuste de sonido panorámico de realidad virtual que permite a los grabadores de sonido monitorear el efecto del producto terminado en tiempo real mientras editan el sonido panorámico, simplificando todo el flujo de trabajo.

6. Waves

Esta es una empresa de tecnología de audio espacial ubicada en Israel. Solía ​​​​fabricar herramientas de estudio profesionales, como complementos y efectos de sonido, y es socio de. muchos estudios famosos, como Abbey Road.

7. Impulsonic

Un equipo incubado en el Departamento de Informática de la Universidad de Carolina del Norte, EE.UU. El producto, dirigido principalmente al desarrollo de audio 3D para juegos y aplicaciones de realidad virtual, se llama Phonon. Establecido en 2012. El fundador, el Dr. Anish Chandak, dijo que su idea cuando se fundó era muy simple: "Ayudar a los diseñadores y desarrolladores de juegos a crear audio espacial de alta calidad más fácilmente.

"La mayor parte de los ingresos provienen de los ingresos por licencias de Phonon. Recibieron una inversión de la Fundación Nacional de Ciencias el año pasado y su investigación también se aplicó a algunos proyectos gubernamentales.

La mayoría de los estudios que crean juegos de realidad virtual aún no han comenzado utilizar la tecnología de audio 3D a gran escala: la razón principal es "pobre". Ahora que se acerca el "invierno", será aún más pobre. De hecho, estos estudios de juegos sin buen contenido todavía usan tecnología de sonido envolvente; Algunos estudios de estilo geek están comenzando a aplicar algo de tecnología de audio espacial. La tecnología de audio 3D sigue siendo algo de vanguardia.

Sin embargo, el audio 3D es un sector técnico básico para toda la industria de la realidad virtual. /p>

Solo poseyendo tecnología central podemos esperar el próximo avance a nivel de aplicación. DJI, que fabrica drones, es un ejemplo. Mucho antes de que los drones se convirtieran en un modelo de negocio, el equipo creativo de DJI ya lo habíamos hecho. investigación y esfuerzos a largo plazo en el punto técnico del control de vuelo.

Si algún día la realidad virtual es digna del tiempo de cada usuario, entonces debe ser lo suficientemente madura en todos los aspectos de la tecnología cuando se trata de "inmersión". experiencia".

Para salvar la realidad virtual, comience con audio 3D.

Expansión: Introducción a la realidad virtual

La llamada realidad virtual, como su nombre indica, es virtual y la realidad se combina entre sí. En teoría, la tecnología de realidad virtual (VR) es un sistema de simulación por computadora que puede crear y experimentar un mundo virtual. Utiliza computadoras para generar un entorno simulado y sumergir a los usuarios en el entorno. datos de vida y señales electrónicas generadas por tecnología informática, y combinarlos con varios dispositivos de salida para transformarlos en fenómenos que las personas pueden sentir. Estos fenómenos pueden ser objetos reales en la realidad, o pueden ser materiales que no podemos ver a simple vista. Representados a través de modelos tridimensionales, debido a que estos fenómenos no son lo que podemos ver directamente, sino que son simulados por tecnología informática, se les llama realidad virtual. La tecnología de realidad virtual ha sido reconocida por cada vez más personas. La sensación más realista en el mundo de la realidad virtual. La autenticidad de su entorno simulado es difícil de distinguir del mundo real, lo que hace que las personas se sientan como si estuvieran allí. Al mismo tiempo, la realidad virtual tiene todas las funciones de percepción que tienen los humanos, como. oído, visión, tacto, gusto, olfato y otros sistemas de percepción, finalmente, tiene un sistema de súper simulación, que realmente realiza la interacción persona-computadora, lo que permite que las personas durante la operación puedan operar a voluntad y obtener la retroalimentación más realista del entorno; Es la existencia, la multipercepción, la interactividad y otras características de la tecnología de realidad virtual las que la hacen popular entre muchas personas;