En el artículo anterior exploramos algunos de los modelos que hoy permiten construir múltiples sistemas de visión computacional capaces de detectar, segmentar y seguir objetos en videos. Si te lo perdiste y estás interesado en la tecnología que le da vida a este proyecto, no dudes en leerlo.

Pero en el día a día los modelos no son el objetivo, sino lo que habilitan.

El verdadero reto nace cuando vamos más allá de los benchmarks y nos enfrentamos a nuevos contextos, donde las condiciones son mucho más complejas y menos controladas.

Surfing y bodyboarding son deportes profundamente visuales. Gran parte del análisis del rendimiento ocurre revisando videos de sesiones: trayectorias en la ola, selección de secciones, timing o ejecución de maniobras. Sin embargo, ese análisis sigue siendo principalmente manual.

En el video vemos a John John Florence (increíble surfer) en uno de los videos que analizaremos. Este tipo de material es el punto de partida del experimento. Más adelante veremos cómo transformamos un video de este estilo utilizando visión computacional.

El surf todavía carece de analítica real

En muchos deportes el análisis del rendimiento ya forma parte del entrenamiento diario. En fútbol se analizan mapas de calor y trayectorias de jugadores. En ciclismo se miden potencia, cadencia y eficiencia. Incluso en running cada sesión puede descomponerse en métricas detalladas.

Sin embargo, surfing y bodyboarding siguen dependiendo en gran medida de la observación directa y la revisión manual de videos. Atletas, entrenadores y aficionados revisan sesiones para entender decisiones como la selección de olas, la línea tomada en la pared o el timing de una maniobra.

Ese proceso funciona, pero tiene limitaciones claras. El análisis suele ser subjetivo, es difícil comparar sesiones a lo largo del tiempo y gran parte de la información presente en el video simplemente no se cuantifica.

Esto crea una brecha interesante.

Existe una enorme cantidad de videos de surf y bodyboard, pero todavía hay muy pocas herramientas que permitan transformarlo en datos para analizar el rendimiento de forma sistemática.

Caso de uso: Surfing

A partir de un video es posible comenzar a detectar y seguir a los riders a lo largo de una ola. Esto permite reconstruir trayectorias, analizar la duración del rider en la ola y observar cómo se mueve a lo largo de ella.

Aunque este es solo un primer experimento, incluso este nivel básico de análisis ya permite empezar a extraer información interesante de una sesión. Por ejemplo, cómo cambia la línea tomada en distintas olas o cuánto tiempo permanece un rider en la pared antes de salir de la sección.

En el video anterior vimos un ejemplo con John John Florence. El sistema detecta al surfista y lo sigue a lo largo de la ola, generando una representación simple pero útil de su trayectoria.

Este tipo de información puede ser el primer paso hacia herramientas que permitan analizar sesiones de surf de manera más sistemática.

Caso de uso: Bodyboarding

Aunque comparte el mismo entorno que el surf, la dinámica del movimiento es distinta. La postura del atleta, la forma en que se interactúa con la ola y el tipo de maniobras cambian considerablemente. Esto hace que el bodyboarding sea un buen segundo caso para probar la robustez del sistema.

En este ejemplo analizamos una sesión de Pierre Louis Costes, uno de los bodyboarders más reconocidos del circuito profesional.

Al igual que en el caso anterior, el sistema detecta al atleta y lo sigue a lo largo de la ola. A partir de esa información es posible reconstruir trayectorias dentro de la sección, observar cómo se posiciona en la pared de la ola y analizar la duración de cada ride.

Conclusión

Surfing y bodyboarding generan enormes cantidades de video, pero todavía existen pocas herramientas que permitan analizar ese material de forma sistemática. Esto abre una oportunidad interesante para explorar cómo la visión computacional puede transformar esas sesiones en datos y nuevas formas de analizar el rendimiento.

Este proyecto es un primer experimento en esa dirección. Incluso en esta etapa inicial ya es posible empezar a observar patrones, trayectorias y decisiones dentro de una ola desde una perspectiva distinta.

Si este experimento te resulta interesante o tienes ideas sobre cómo expandir el sistema, te invito a dejar tus comentarios. Y si te interesa explorar aplicaciones más allá de estos deportes o colaborar en el desarrollo del proyecto, no dudes en escribirme.

La comparación se organiza en tres niveles:

1. Diferencias en la arquitectura de cada modelo.

2. Implicancias en latencia y eficiencia.

3. Impacto en el ciclo de diseño y despliegue de modelos.

Estado actual

La deteccion de objetos en visión computacional (computer vision) ha evolucionado hacia tres lineas principales. Aunque todas buscan localizar y clasificar objetos en una imagen, difieren en cómo estructuran el problema. Para entender esas diferencias es útil definir tres conceptos:

1. Redundancia: Producir multiples predicciones para un mismo objeto. Por ejemplo, un unico auto puede aparecer marcado por varias cajas superpuestas.

2. Asignacion: El mecanismo que empareja las predicciones del modelo con los objetos reales durante el entrenamiento.

3. Postprocesamiento: Pasos adicionales aplicados despues de que la red genera sus salidas, como eliminar duplicados o ajustar resultados.

Con estos conceptos claros, podemos diferenciar las tres familias principales.

Modelos de prediccion densa: la familia YOLO

Los modelos YOLO (You Only Look Once) generan muchas predicciones en paralelo sobre distintas regiones de la imagen. La redundancia es intencional: el modelo produce multiples bounding boxes candidatas y luego filtra.

El filtrado se realiza mediante NMS (Non-Maximum Suppression), un algoritmo que elimina cajas superpuestas conservando la de mayor confianza segun un umbral de solapamiento medido con Intersection over Union (IoU). NMS es un paso de postprocesamiento externo al modelo.

Durante el entrenamiento, la asignacion es local: cada celda o anchor se asocia a un objeto cercano segun reglas geométricas.

En este enfoque:

• Se acepta redundancia.

• Se corrige mediante NMS.

• La asignacion es local.

Modelos basados en DETR

DETR (Detection Transformer) reformula el problema como prediccion de un conjunto (set prediction). En lugar de producir muchas predicciones y luego filtrarlas, intenta generar directamente un conjunto coherente de objetos.

La arquitectura utiliza un encoder-decoder Transformer. El decoder opera sobre un conjunto fijo de object queries aprendibles, donde cada query intenta representar un objeto.

Durante el entrenamiento se emplea Hungarian matching, un algoritmo de asignacion bipartita que empareja predicciones y objetos reales de forma uno a uno. Esto obliga al modelo a producir una unica prediccion por objeto.

Como consecuencia, en principio no requiere NMS como componente central.

En este enfoque:

• Se evita la redundancia desde el diseño.

• No depende de NMS.

• La asignacion es global y uno a uno.

Detectores open-vocabulary

Una tercera linea integra modelos vision-language. Estos incorporan un text encoder y combinan representaciones visuales y textuales mediante mecanismos de cross-attention.

La diferencia principal no es el manejo de duplicados, sino la ampliacion del espacio semantico: permiten detectar categorias fuera de un conjunto cerrado.

Esto implica:

• Procesamiento adicional en inferencia.

• Mayor costo computacional.

• Dependencia del preentrenamiento multimodal.

Diferencias entre arquitecturas

La diferencia principal entre las tres arquitecturas es cómo parametrizan el espacio de salida, es decir, la representación latente sobre la que se define el proceso de búsqueda de objetos.

Consideremos una imagen con tres objetos: un auto parcialmente tapado por otro objeto, un peatón pequeño al fondo y una bicicleta que se cruza visualmente con el auto. Es un caso típico: objetos de distinto tamaño, parcialmente visibles y con regiones que se superponen.

En una arquitectura tipo YOLO, distintas regiones de la imagen pueden activarse sobre el mismo objeto. El auto puede generar varias cajas candidatas porque varias celdas “ven” partes distintas del mismo objeto. El modelo no evita esa duplicación. Produce múltiples hipótesis y luego NMS decide cuál conservar según el solapamiento (IoU). La ambigüedad se resuelve después de predecir.

En DETR, la situación es distinta. El modelo dispone de un conjunto fijo de representaciones latentes (object queries). Cada una debe explicar, como máximo, un objeto. Durante entrenamiento, la asignación uno a uno obliga a que el auto sea representado por una única predicción. Si dos queries intentan representar el mismo objeto, una será penalizada. La ambigüedad se resuelve dentro del modelo, no en un paso externo.

RF-DETR mantiene la formulación de DETR como predicción de un conjunto con asignación uno a uno. La diferencia es que no entrena una única arquitectura fija.

Se entrena una superred con pesos compartidos que contiene múltiples subconfiguraciones. Después del entrenamiento, se puede seleccionar una configuración más pequeña o más grande sin reentrenar desde cero.

Conclusiones e implicaciones

El objetivo de este artículo no es comparar cuál modelo obtiene mejor resultado en un benchmark específico, sino entender cómo cada arquitectura define el problema y qué implica esa definición para nuestro sistema.

YOLO, DETR y RF-DETR son más que variaciones técnicas. Representan decisiones distintas sobre:

• Cómo se parametriza el espacio de salida.

• Dónde se controla la redundancia.

• En qué etapa se fijan las restricciones del sistema.

YOLO coloca parte de la coherencia en inferencia. DETR la internaliza en el aprendizaje. RF-DETR mantiene esa formulación, pero introduce flexibilidad en cómo se concreta la arquitectura entrenada.

El principal trade-off es estructura versus control.

Elegir un enfoque implica decidir:

• Si se prefiere una arquitectura fija y explícita.

• Si se prioriza coherencia estructural desde el entrenamiento.

• Si se necesita capacidad de adaptación posterior sin redefinir la lógica de predicción.

La elección debería basarse en lo que esperamos que el sistema haga y bajo qué restricciones debe operar.

En base a esta premisa nace Praephos, la evolución de The Data Chronicles. Cuando comencé a escribir en este blog, mi idea era muy sencilla: contar historias a través de datos, descomponer conceptos y estructurar ideas.

Sin embargo, entender desde fuera tiene un límite.

Un nuevo espacio

Entender los datos a través de historias, e incluso descubrirlas con datos, sigue siendo valioso. La claridad sigue siendo importante, pero la comprensión real exige algo más.

La sociedad no avanza solo porque consume información. Avanza cuando interviene en la realidad. Todos, en algún momento, consciente o inconscientemente, formulamos hipótesis, probamos caminos, definimos qué significa que algo funcione y evaluamos resultados. Cuando no funciona, ajustamos o aceptamos que no era la ruta adecuada.

Ese ciclo no es exclusivo de la ciencia. Es el núcleo del desarrollo intelectual.

Crecer implica exponerse al error

El aprendizaje real no ocurre cuando acumulamos conceptos. Ocurre cuando nuestras ideas encuentran cierta fricción.

En machine learning, un modelo mejora porque se enfrenta al error. Ajusta sus parámetros, corrige las desviaciones y vuelve a intentarlo. Sin medición no hay progreso.

Con nosotros pasa algo similar.

Crecer implica formular una idea propia y arriesgarse a que esté equivocada. Implica actuar, observar consecuencias y ajustar criterio. Sin exposición al error solo reforzamos intuiciones cómodas.

La diferencia entre consumo y desarrollo está ahí. Consumir es absorber información sin ninguna fricción. Desarrollar es intervenir y aceptar que no siempre saldrán las cosas como esperamos.

Praephos se posiciona en ese segundo terreno.

Una evolución necesaria

Praephos no es solo una evolución del blog. Es una consecuencia natural del punto al que llegó este proceso.

Si el análisis fue el primer paso, ahora el foco está en involucrarse directamente con las ideas. No basta con entender cómo funcionan las cosas en teoría. Es necesario trabajar con ellas, probarlas, medirlas y aceptar sus límites.

La inteligencia artificial no avanza por explicaciones elegantes, sino por iteración. Algo similar ocurre con el pensamiento cuando se toma en serio. La claridad importa, pero el criterio se forma cuando una idea se contrasta con la realidad.

Por eso el enfoque cambia.

Experimento, luego entiendo no es una frase suelta que se me ocurrió o ¿copié?. Es la dirección que quiero tomar a partir de ahora y, en cierta forma, una manera de cuestionar la forma en que consumimos contenido en la era digital.