Autor｜Fan Yating
WeChat｜FFF111f__
Es muy probable que últimamente hayas oído (Oh My God), de papi酱, o que hayas tenido que escuchar de punta a punta una apasionada versión cantada con voz grave masculina durante un viaje en coche de aplicación.
O quizá te hayas encontrado con un vídeo surrealista como este: un historial de chat cantado con una melodía de lo más hipnótica.
La música con IA está en todas partes.
Aunque la música con IA ya estaba por todas partes en las plataformas de vídeos cortos, seguía perteneciendo al ámbito de la «música»: el objetivo era ampliar su difusión con vídeos y letras y melodías emotivas y pegadizas, procurando que no se notara que la había creado una IA.
Pero ahora las cosas son distintas: la música con IA se ha convertido en un formato que cualquiera puede reutilizar, transformar y compartir. En otras palabras, la gente corriente ha convertido la música con IA en una especie de «plantilla de efectos especiales».
Esto también convierte la música con IA en un sector de emprendimiento bastante «peculiar». Por un lado, la competencia no es tan feroz como en los modelos de uso general y los agentes, por lo que la atención del mercado es limitada; por otro, los usuarios participan en la cocreación con dinero de verdad.
ACE es un caso especial dentro de este panorama.
Mientras muchas aplicaciones de IA aún luchan por mantenerse a flote en el umbral de la rentabilidad, ACE ya cuenta con 100.000 usuarios de pago, unos ingresos mensuales de 2 millones de dólares y una ronda de financiación Pre-B cerrada. Hans Zimmer, Teddy Riley, Martin Garrix y varios productores ganadores de premios Grammy utilizan sus productos.
Según se ha informado, ACE acaba de cerrar una nueva ronda de financiación de casi 40 millones de dólares, liderada por destacados inversores estratégicos, CCV, Shunwei Capital y Alphaist, entre otros. Varios inversores existentes también participaron con aportaciones superiores a las previstas. Con esta ronda, ACE se convierte en la startup china que más financiación ha obtenido en el sector de la música con IA.
Esta empresa, que lleva tiempo al servicio de músicos profesionales y especializándose en herramientas de producción musical nativas de la IA, planea sumar a su negocio actual un producto para «jugar con la música»: miya.fm, un agente centrado en nuevas formas de crear música con IA.
Para conocer ACE, empecemos por su primer producto: ACE Studio. ¿Qué tiene para atraer a tantos creadores de renombre?
1
ACE Studio, el «arma de precisión» de los músicos profesionales
Primero, el resultado final.
Se nota que las distintas partes de las cuerdas están bien repartidas: la melodía principal destaca, los instrumentos se complementan con mesura y el resultado final es muy convincente.
La música, tan grandiosa, contrastaba por completo con lo que sentí la primera vez que abrí ACE. El producto era sencillo y sobrio; no tenía archivo README y la documentación estaba escondida en un pequeño icono de la esquina inferior derecha. Lo primero que aparecía era una interfaz para crear directamente con pistas de audio separadas.
Puedes hacer clic en el botón del centro, abajo, para usar las más de 160 voces de IA y los más de 40 instrumentos de IA libres de derechos que incluye el producto. También puedes probar funciones de IA como la clonación de voz y la inspiración aleatoria.
Aparte de eso, no parece muy distinto de un editor de música tradicional. El propio CEO, Guo Jing, reconoce que no es un producto «intuitivo a primera vista».
Sin embargo, esta manera de plantear el producto tiene todo el sentido para los creadores profesionales. No necesitan páginas vistosas ni funciones superfluas: solo les importa tener un control de primer nivel. Ese control significa que el producto les permita dominar por completo el proceso creativo desde sus funciones y plasmar con precisión hasta los matices más sutiles de su expresión.
El valor de las funciones de IA aquí consiste en sustituir los pasos repetitivos y costosos de la producción musical tradicional.
Por ejemplo, la pista de cuerdas del comienzo se creó simplemente arrastrando un archivo MIDI o MusicXML a ACE Studio y seleccionando para cada pista un sonido de IA, como «violín» o «violonchelo». Luego, el sistema interpreta automáticamente las notas escritas. También se puede activar el modo Unison de los instrumentos y ajustar según se necesite el volumen, el desfase temporal y la amplitud estéreo de cada uno.
También puedes introducir una melodía y la letra en el piano roll y escuchar de inmediato cómo la canta la IA. Si alguna nota o frase no suena bien, puedes modificarla al momento y escuchar enseguida el resultado ajustado.
El vídeo siguiente ofrece una muestra más completa de las funciones. Además de generar música a partir de una frase, permite crear con IA voces o instrumentos que encajen con cualquier fragmento, rehacer partes concretas del audio con IA e incluso conectar agentes como Codex y Claude Code para que manipulen directamente el proyecto...
A diferencia de los productos que generan una canción a partir de una frase, en ACE la creación ya no se basa en una sensación aproximada: se puede controlar a voluntad y recibir comentarios al instante.
Precisamente esta búsqueda de control en la creación profesional permite a ACE ayudar a los creadores a expresarse con un nivel de detalle minucioso y, al mismo tiempo, acumular datos creativos de alta calidad. A su vez, estos datos de los usuarios se utilizan para entrenar y mejorar su modelo musical ACEx.
En internet no falta música. Las plataformas de streaming, los sitios de vídeo y los datos públicos contienen cantidades ingentes de obras terminadas, de las que los modelos pueden aprender estilos, estructuras, timbres y formas de cantar. Pero un MP3 exportado solo ofrece, en esencia, el resultado final.
Con la autorización del usuario, ACE puede extraer datos de trayectorias con retroalimentación a partir del proceso creativo real de sus usuarios profesionales: qué generó el modelo, qué conservaron, eliminaron o modificaron los usuarios y qué eligieron al final.
Otro tipo de datos tiene que ver con las preferencias: las elecciones de los usuarios entre distintos resultados para una misma tarea. Cuando usan la función «Dame inspiración», ACE Studio ofrece dos versiones terminadas. ACE aplica un conjunto de reglas estrictas para decidir si esos datos se conservan: por ejemplo, el tiempo de escucha y reproducción, el número de pasos realizados, si el resultado se publica y la cantidad de «Me gusta».
Para el modelo, estos datos pueden mejorar notablemente sus capacidades en comparación con las necesidades imprecisas y las acciones poco intencionadas de los usuarios del mercado de consumo. Guo Jing, CEO de la empresa, incluso define ACE Studio como una «fábrica natural de datos de alta calidad». ACE ha acumulado hasta ahora alrededor de 3 millones de datos de trayectorias y unas 500.000 muestras de preferencias.
Los resultados son evidentes. ACEx ya está a la cabeza en algunos de los principales benchmarks musicales. Generar una canción de unos cuatro minutos con una sola GPU A100 tarda apenas unos 30 segundos, y el coste por generación es aproximadamente una quinta parte del de Suno v5.5.
Como ACE desarrolla internamente su modelo musical principal, el margen bruto actual de ACE Studio ronda el 90%.
1
Miya convierte la música de «obra» en una forma de decir lo que uno piensa
Hasta ahora hemos visto lo más refinado; ahora toca lo más popular. Como siempre, primero va el resultado. Por cierto, miya sigue en fase de pruebas internas.
Aquí voy a usar directamente la función más popular de la plataforma: generar una canción de diss.
En la página principal de miya.fm, escribe el nombre de la persona o la publicación a la que quieres dedicarle una diss track, o copia su nombre de usuario de X. Haz clic en «cook it» y se generará una canción.
¿Recuerdas aquello de «cantar el historial del chat» al principio del artículo? La mayoría de las melodías sonaban muy forzadas; apenas había relación entre la letra y la música. Era una adaptación hecha con calzador.
Pero la canción (搬运工) se burla de un creador que se limita a copiar contenido, y la letra que miya genera encaja muy bien con el tema. El estribillo recurre a una melodía repetitiva que se te queda pegada. Lo más importante es que el aspecto visual acompaña muy bien a la música y los subtítulos con efectos están resueltísimos: se puede publicar directamente en redes sociales nada más generarla.
También puedes usar la función oficial rap battle. Basta con introducir dos bandos, dos opiniones o dos personas para que se genere automáticamente una canción de rap en la que se enfrentan. La plataforma ofrece, por ejemplo, el duelo «señoritos de Pekín contra señoritos de Shanghái».
La letra es mordaz y «realista», y la dicción es clara. Este tono hace pensar inevitablemente en Gao Qiqiang y An Xin, de (狂飙).
Lo curioso es que ACE, una empresa que nació de la producción musical profesional, ahora quiera crear un «juguete» musical para la gente corriente y haya elegido como punto de entrada las roast songs (canciones de burla), un formato cargado de emoción y naturalmente apto para difundirse en redes sociales.
Antes, si alguien veía en X una publicación que quería criticar, podía hacerlo en los comentarios, crear un meme o compartirla con un comentario. Ahora solo tiene que introducir un nombre de usuario de X o pegar el enlace de una publicación, y miya genera una canción de burla a partir de ese contexto.
Miya no es el primer intento de ACE dirigido al consumidor final.
Al principio, ACE creó un producto de cantante virtual que llegó a superar el millón de usuarios y alcanzó un pico de unos 200.000 usuarios activos diarios. Pero, al crecer, el equipo descubrió que las necesidades más claras venían de los músicos profesionales: querían aplicar la tecnología a la producción real y reducir el tiempo y los costes de creación.
Así fue como tomó forma ACE Studio.
Para el CEO, Guo Jing, miya sigue estando dentro de su zona de confort. Antes de emprender, Guo trabajó en el crecimiento de productos para juegos casuales de éxito masivo como Fruit Ninja, Temple Run y Angry Birds; se le da muy bien «animar el ambiente». Esto también refleja que miya nunca ha competido exactamente en la misma categoría que Suno y otros productos que generan música a partir de una frase.
Desde el principio hasta el final, de ACE Studio a miya, la estrategia de ACE ha estado muy clara: reducir las barreras para crear música y hacer que esta se convierta en una forma más de expresión cotidiana.
Si el eslogan de Douyin es «registra la vida con vídeos», el de miya sería «expresa la vida con música».
1
La apuesta por la música como una nueva forma de expresión
Muchas nuevas formas de contenido no llegan al gran público porque de repente todo el mundo aprenda a crear. Los usuarios no tienen que convertirse primero en creadores para decidirse a usar un nuevo medio. A menudo, primero aparece una forma de participar suficientemente sencilla y divertida, y poco a poco la gente se acostumbra a expresarse a través de ella.
Empezar con las roast songs fue una buena decisión para miya, pero lo que hay que comprobar en última instancia no es si el modelo puede generar una buena canción, sino si la gente corriente realmente necesita expresarse con música y si esta puede incorporarse a la creación cotidiana y a las interacciones sociales, igual que el texto, las imágenes y los vídeos.
El mercado de productos de música con IA para usuarios comunes ya está muy saturado. Además de Suno y Udio, hay productos como 音潮, HappyShrimp de Alibaba y 网易天音. Las ventajas que ACE tenía antes no se convertirán automáticamente en una victoria.
Que miya sobreviva dependerá de que consiga que los usuarios adopten el hábito de expresarse con música y de que siga encontrando nuevas formas de jugar. Al fin y al cabo, las roast songs no tienen demasiadas barreras de entrada.
Sin embargo, incluso si fracasa, ACE seguirá siendo una buena empresa de música con IA para profesionales. Si tiene éxito, ACE Studio pasará de ser una herramienta profesional a convertirse en una plataforma musical mucho más amplia: una Spotify de la era de la IA que transforme la producción y el consumo de música mediante la inteligencia artificial.