Machine learning y geometría musical
Embeddings, modelado secuencial y segmentación de la estructura musical
En una canción, el tiempo no basta para describir la estructura. Un coro puede reaparecer un minuto después y seguir siendo más parecido a sí mismo que al fragmento que lo precede.
Phonoskeleton usa machine learning para llevar esas relaciones a un espacio tridimensional, combinando embeddings, modelado secuencial y segmentación musical.
Un espacio común para las canciones
Phonoskeleton empieza en el multiverso. Cada punto representa una canción y su posición depende de cómo se relaciona con las demás.
Para construir ese mapa necesitaba una representación comparable entre canciones. Los embeddings que usamos dentro de cada tema no sirven aquí porque se entrenan de forma independiente y cada uno aprende su propio sistema de coordenadas.
Para resolverlo usamos MERT. El modelo convierte cada canción en un embedding de 768 dimensiones dentro de un espacio compartido. Luego calculamos las distancias entre canciones y usamos MDS (multidimensional scaling) para reducirlas a tres dimensiones.
Canciones con representaciones similares quedan cerca. A medida que aumenta la distancia entre sus embeddings, también se separan dentro del multiverso.
Desde aquí podemos elegir una canción y entrar en ella. Ahí cambia el problema: ya no queremos comparar canciones completas, sino representar cómo evoluciona una sola canción en el tiempo.
Leer una canción
Al seleccionar una canción entramos a su análisis. La trayectoria tridimensional ocupa el centro y alrededor aparecen las señales que ayudan a entenderla: secciones, recurrencia, tonalidad, tempo y tensión armónica.
La barra inferior muestra la estructura detectada. Cada bloque representa una sección y las repeticiones comparten la misma etiqueta. No intentamos decidir si una sección es verso, coro o puente. Nos interesa detectar cuándo una parte de la canción vuelve a aparecer.
La matriz de recurrencia (seccion en el panel derecho) permite verlo con más detalle. Cada eje representa el tiempo y cada celda mide la similitud entre dos momentos de la canción. Cuando una secuencia reaparece más adelante, aparecen patrones fuera de la diagonal principal.
Debajo está la curva de novedad. Los picos marcan cambios fuertes respecto al contexto reciente y sirven para revisar dónde deberían aparecer los límites entre secciones. También son útiles para detectar segmentaciones que no tienen mucho sentido al compararlas con la señal.
El resto de las mediciones completa la lectura. La tonalidad proviene de la información armónica, mientras que tempo y métrica dependen de la estimación conjunta de beats y downbeats. La tensión armónica sigue cuánto se aleja cada momento del centro tonal reciente.
Esta vista terminó siendo útil también para revisar el propio análisis. Cuando una sección, un retorno o una transición parecía incorrecta, podía contrastarla con las demás representaciones antes de cambiar el modelo.
Cómo aprende Phonoskeleton una canción
Cada canción se analiza por separado. Demucs divide primero el audio en voz, batería, bajo y resto. Después partimos esas señales en pequeñas ventanas y describimos cada una con 64 características acústicas y temporales.
Esas 64 dimensiones son difíciles de visualizar, así que entrenamos una red neuronal con arquitectura '64 → 256 → 256 → 3'. La salida son tres coordenadas para cada ventana, es decir, un punto en el espacio. Durante el entrenamiento le pedimos al modelo algo bastante intuitivo.
Fragmentos que suenan parecido deberían quedar cerca, fragmentos consecutivos no deberían saltar arbitrariamente y todos los puntos no pueden terminar amontonados en el mismo lugar.
Al ordenar esos puntos según el tiempo aparece la trayectoria de la canción.
La trayectoria describe cambios relativamente locales. Para entender estructuras más largas necesitamos otra escala. Los beats y downbeats nos dicen dónde están los pulsos y compases, y All-In-One usa esa secuencia para detectar dónde empieza y termina cada sección y cuáles vuelven a aparecer.
Phonoskeleton combina así dos niveles de análisis. El embedding sigue cómo cambia el sonido momento a momento y la segmentación agrupa esos cambios en estructuras que duran varios compases. De esa combinación salen la trayectoria y las secciones que vemos en pantalla.
Qué permite hacer Phonoskeleton
Phonoskeleton puede usarse para explorar catálogos musicales sin depender solo de género, artista o etiquetas. El multiverso permite recorrer canciones según la similitud aprendida por el modelo y encontrar temas cercanos a una referencia.
La vista interna sirve para otro tipo de análisis. Productores, músicos o investigadores pueden comparar estructura, instrumentación y recurrencia sin revisar cada canción manualmente. Dos temas pueden aparecer cerca en el multiverso y organizarse de formas muy distintas una vez entramos en ellos.
También hay aplicaciones en búsqueda y recomendación musical. Podemos encontrar canciones parecidas en conjunto, pero también piezas que compartan una estructura, una progresión o ciertos patrones de instrumentación. La similitud puede definirse según qué aspecto de la música queremos comparar, en lugar de depender siempre de una única representación por canción.
La demo también deja una conclusión práctica. Comparar canciones completas y entender qué ocurre dentro de una canción requieren escalas distintas. Phonoskeleton permite moverse entre ambas dentro de la misma interfaz.