En un hotel de Nueva York, estaba en una terraza en un cálido día de septiembre, inclinándome y acariciando a una adorable mascota que no estaba allí. El amigo virtual de Peridot saltó y me siguió. Es muy parecido a otras mascotas virtuales que he probado en teléfonos. e incluso auriculares como el Meta Quest 3. Esta vez, lo vi proyectado a través de lentes transparentes que se atenuaban automáticamente como gafas de sol para garantizar que la experiencia virtual se viera claramente a la luz del día. Todo lo que usé fue este par de gafas gruesas pero independientes: las nuevas gafas AR de Snap. ¿Son estos el futuro de algo que podría usar algún día? Si es así, ¿cuánto tiempo pasará hasta que eso suceda?
A principios de este año vi muchos vídeos virales de personas que llevaban Visión Pro de Apple Auriculares para exteriores, para esquiar, patinar, en el parque… donde sea. Los auriculares Vision Pro y Quest 3 no están hechos para uso diario al aire librepero las gafas AR de Snap sí lo son. Anunciados en la conferencia de desarrolladores de la compañía en Los Ángeles, son la última versión de Spectacles Snap creada durante años. Snap creó por primera vez gafas AR independientes en 2021; Los probé en mi patio trasero durante la pandemia. Las nuevas Spectacles son más grandes, pero también más poderosas. Tienen gestos con las manos como Vision Pro y Quest 3, y también un sistema operativo Snap completo que puede ejecutar un navegador, iniciar diferentes aplicaciones y conectarse con teléfonos cercanos.
Estas gafas Snap ni siquiera están hechas para la gente común. Son hardware de desarrollador que se ofrece mediante suscripción, por $99 al mes como parte del kit de desarrollador de Snap. Esa es una señal de que Snap sabe que el mundo aún no está preparado para las gafas AR, y tampoco lo está la tecnología de consumo. Snap está poniendo un pie en la puerta un poco por delante de sus competidores.
Mira esto: Usé las nuevas gafas AR autónomas y Snap OS de Snap
Empresas como Meta, y probablemente Google y Apple, están tratando de llegar a gafas AR más pequeñas que puedan superar las limitaciones más grandes de las gafas VR de realidad mixta. he visto intentos hacer gafas como éstas, pero por lo general tienen que conectarse a teléfonos, computadoras o procesadores externos de algún tipo para funcionar y mantener las gafas pequeñas.
Las gafas AR de Snap colocan todo el procesamiento y la batería directamente en las gafas; no se necesita nada más. Eso significa que se pueden usar fácilmente sin cables adicionales, pero las gafas en su forma actual son gruesas y mucho más extrañas que cualquier lente que me haya puesto en la cara. Los marcos son gruesos y las lentes todavía tienen parches en forma de arco iris en el medio donde las guías de ondas reflejan imágenes virtuales proyectadas desde miniproyectores LCOS montados lateralmente.
Las nuevas Spectacles tienen brazos gruesos que contienen los procesadores, proyectores y baterías.
La duración de la batería también es extremadamente limitada. Aproximadamente 45 minutos, están lejos de ser algo para usar durante todo el día. Aunque, al igual que la versión 2021 de las gafas AR de Snap, todavía están diseñadas para desarrolladores. Según el CTO y cofundador de Snap, Bobby Murphy, estos son dispositivos exploratorios para ver cómo las lentes habilitadas para AR existentes de Snap en la aplicación de teléfono Snapchat pueden dar un salto útil a la forma de gafas.
Este es exactamente el mismo enfoque que Snap adoptó en 2021, pero con un aumento en la potencia de procesamiento. A bordo hay dos procesadores Qualcomm (no me dijeron cuáles) que entregaron algunos gráficos bastante nítidos, aunque a veces entrecortados. Las gafas solo tienen un ángulo de visión de 46 grados, lo cual está bien para las gafas AR pero mucho menos que los auriculares VR. Me sentí como si estuviera viendo una realidad mixta a través de una ventana alta y estrecha del tamaño de la pantalla de un teléfono grande.
Una gran diferencia entre mi demostración de 2021 y la actual son las inserciones de lentes recetados. Tuve que usar lentes de contacto la última vez, pero lentes a presión similares a los que ya ofrecen Meta y Apple funcionarán para estas gafas. Desafortunadamente, Snap no tenía mi receta durante la demostración, por lo que mi mañana de AR fue un poco confusa. Fue lo suficientemente bueno para ver experiencias.
Una imagen de Snap de cómo pueden funcionar las experiencias compartidas en grupo con el seguimiento manual. Con gafas, el campo de visión es más estrecho que mi propia visión.
Seguimiento manual, pero no seguimiento ocular
Las Spectacles de Snap usan cámaras externas para rastrear el mundo, pero agregan seguimiento manual como los auriculares Apple Vision Pro y Meta Quest. Pude tocar botones virtuales, acariciar criaturas virtuales, pintar en el aire o pellizcar cosas a distancia. Snap OS tiene un panel de aplicaciones que flota en el aire, además de botones virtuales que aparecen sobre mi mano cuando le doy la vuelta.
Las Spectacles no tienen seguimiento ocular, por lo que seleccionar objetos requiere un poco más de esfuerzo que el Vision Pro de Apple, que se basa en un vistazo para seleccionar. Los teléfonos también pueden conectarse con las gafas, ofreciendo otra forma de interactuar.
Una extensión para teléfonos
Una cosa que es diferente del enfoque de Snap en comparación con Meta o incluso Apple en este momento es que está interconectado con los teléfonos. Probé varias demostraciones en las que usé un teléfono cercano para controlar las experiencias de AR en las gafas. Utilicé un teléfono como control remoto para volar un helicóptero AR por la habitación, usando botones en pantalla como controles. También sostuve un teléfono como si fuera un palo de golf y me balanceé para dar el primer golpe en un campo de golf AR que parecía medio teletransportarse a la habitación del hotel en la que me encontraba.
La aplicación de teléfono Snapchat de Snap administrará las gafas y también permitirá que cualquier otra persona se conecte y vea las experiencias de AR que estoy viendo en las gafas. Según Snap, el objetivo a largo plazo es que los teléfonos que utilizan Snapchat interactúen con estas gafas.
“Definitivamente creemos que hay mucho espacio abierto para continuar explorando esa conexión entre los teléfonos y Spectacles”, me dice Murphy de Snap.
La aplicación de teléfono de Snap funciona como un panel de control opcional para las gafas y también puede convertirse en un controlador.
A corto plazo, las gafas solo están diseñadas para funcionar con otros usuarios de AR Spectacles, y probablemente por una buena razón: los sistemas operativos de los teléfonos aún no funcionan bien con las gafas AR. Tanto Apple como Google no han tomado medidas para que los auriculares y las gafas se sientan realmente integrados y, hasta que lo hagan, otras empresas se enfrentan a un cuello de botella en la compatibilidad a menos que utilicen aplicaciones telefónicas dedicadas o, como Xrealconstruyen su propio hardware personalizado similar a un teléfono. Incluso entonces, la conectividad no es ideal.
Snap ya tiene una amplia gama de herramientas AR en su aplicación de teléfono Snapchat, desde experiencias colaborativas de escaneo mundial hasta RA específica de la ubicación. Las capacidades AR de Snap han mejorado desde 2021 y estas nuevas gafas podrían aprovechar eso.
Trabajar con grupos
Una cosa que probé fue la pintura colaborativa. Usé mis dedos para dibujar en el aire mientras uno del equipo de Snap se acercaba a mí, usando otro par de gafas. Las gafas pueden reconocer a otro usuario cercano y compartir una experiencia o incluso colaborar para escanear una habitación con las cuatro cámaras integradas en una malla para lograr una realidad mixta.
La conexión en la habitación del hotel no siempre fue instantánea, pero esa colaboración de gafas a gafas es una gran parte del discurso aquí. Snap tiene como objetivo que las experiencias multijugador con grupos se realicen en áreas al aire libre, tal vez incluso en museos o exhibiciones de arte, para probar qué tan bien pueden funcionar para activaciones inmersivas en vivo. Una experiencia de construcción con ladrillos Lego era simple, pero mostraba posibilidades si un grupo de personas pudieran hacer juntas una escultura específica para un sitio específico.
Estas gafas, diseñadas para usarse al aire libre, tienen lentes con atenuación automática similar a la tecnología de Salto Mágico 2. El Magic Leap 2 tiene un gran procesador externo con clip.
Algunos de los primeros socios con los que Snap está trabajando incluyen Niantic, mejor conocido por Pokémon Go y una compañía que también ha estado explorando un futuro de gafas AR al aire libre durante años. Otro socio, ILM Immersive, ya realizó guerra de las galaxias y experiencias maravillosas en cascos de realidad virtual y mixta.
Gafas con lentes recetados en su interior. Intenté reflejar mi propia visión lo mejor que pude para la demostración.
¿Son estas una puerta de entrada para más dispositivos portátiles con IA y AR con IA?
Snap también se está asociando con OpenAI, una medida que no parece sorprendente para 2024. Esta primavera, una ola de dispositivos portátiles con IA equipados con cámaras, incluidos Ray-Ban de Meta y el IA humana Chapaintentó mostrar promesas de IA generativa “multimodal” que podría acceder a cámaras y entradas de audio juntas para obtener asistencia o para aplicaciones creativas de IA generativa. Los cascos de realidad mixta como Meta Quest 3 y Apple Vision Pro aún no han aprovechado la IA habilitada para cámara porque los permisos de la cámara han estado más bloqueados para los desarrolladores.
Snap está abriendo más el acceso a su cámara: los ganchos OpenAI pueden usar las cámaras y micrófonos de las gafas para aplicaciones de lentes de IA generativas similares a las que están disponibles ahora en la aplicación de teléfono de Snapchat. (Snap también permite el acceso a la cámara para aplicaciones AR, pero el acceso en línea está bloqueado para esas aplicaciones, mientras que el acceso a la cámara está abierto en línea para conexiones OpenAI).
“Cuando las personas quieran utilizar servicios externos, ejerceremos más cautela y control y trabajaremos potencialmente con desarrolladores o proveedores de servicios externos para crear ese tipo de salvaguardas”, dice Murphy. En la aplicación de teléfono Snapchat, ya hay herramientas de IA generativa que usan la cámara. Es posible que finalmente veamos que algunos de estos también se pasen a las gafas.
Intenté generar algunos emoji 3D usando la IA generativa de Snap, además de navegar por una aplicación educativa de lentes del sistema solar que tomaba mis solicitudes usando mi voz. Descubrí que las respuestas durante mis demostraciones eran lentas y los lentes no siempre entendían lo que estaba diciendo (aunque esa era potencialmente la conexión en la habitación del hotel, o algo más). La apertura de Snap del acceso a la cámara a AR con infusión de IA parece un paso por delante de donde se encuentran actualmente Meta y Apple. Sin embargo, eso podría cambiar pronto: se espera que Meta muestre inminentemente nuevas actualizaciones de IA y AR, mientras que Apple podría presentarlas. Funciones de Apple Intelligence en Vision Pro al año que viene.
