Root Rat

@JoseJuanSaGa Mmm. Donde haces el streaming ?

@root_rat La otra cosa es q montes tu un sistema de pago para los streaming que lo haga más o menos artomatico

Puliendo el sistema que reconoce el tipo de layout en mi generador de clips, me he encontrado con un par de edge cases donde tiende a fallar, aunque el 99% del tiempo lo hace bien. Dándole una pensada en cómo mejorarlo se me ha ocurrido usar detección de caras, pero sin recurrir a la GPU, así que tiré por MediaPipe corriendo en CPU y dejé la 4090 libre para lo que realmente la necesita. El sistema anterior analizaba brillo en zonas hardcodeadas del frame, lo que funciona razonablemente bien pero se pone tonto con contenido fullscreen. MediaPipe en cambio extrae el frame completo, detecta caras y clasifica el layout según cómo están distribuidas: apiladas a la izquierda significa screenshare con webcams en sidebar, repartidas por el frame significa tiles de cámara. Si aparecen menos de dos cae al sistema de brillo como fallback, y ahí está la clave de todo. La tentación era combinar ambas señales en paralelo como validación cruzada, pero esa idea no resuelve nada porque el problema de fondo no es de señal sino de arbitraje. Cuando face detection dice screenshare y brillo dice 2tile necesitas una regla que decida quién gana, y esa regla termina siendo invariablemente "prioriza faces", que es exactamente lo que ya hace el fallback. Vuelta completa para llegar al mismo sitio, con el doble de complejidad. Los únicos casos donde brillo podría corregir a faces son los casos donde faces ya no tiene señal suficiente. Cuando MediaPipe ve dos o más caras y clasifica el layout esa señal es fiable, y los falsos positivos del análisis de brillo (un waterfall SDR a pantalla completa, un bumper de calavera) no le afectan en absoluto. Con cascade siempre corriendo se van unos 65ms por frame contra los 2-5ms del fallback, y con 20 samples por clip eso son 1,3 segundos extra de latencia por clip solo en detección de layout, sin ningún beneficio real a cambio.

@JoseJuanSaGa Buf. No sabría decirte… la verdad. No sé cuál es tu nivel en ingeniería de software. Depende de donde partimos.

@root_rat Algún lugar donde poder seguir un tutorial para hacerlo? Gracias!

@JoseJuanSaGa Con paciencia y ganas, si

@root_rat Tengo una quadro deA4200 de 24 GB de ram. Alguien q no sea experto puede montar un sistema igual?

@JoseJuanSaGa Pero aún así… procesar un podcast completo de 2 horas , y darte los “shorts” completos y editados con mi propia imagen “corporativa” sin ninguna intervención humana… Horas de edición y de curro ahorra esto…

Necesitarías GPU para el modelo que determina qué partes son interesantes. Es el único punto donde corre un LLM; en CPU se eternizaría. Ya con GPU y una transcripción de un vídeo de 2 horas tarda aproximadamente 1 hora en dar los candidatos. Tiene que procesar mucho texto. Todo lo demás lo haces sin problema sin GPU.

El resultado es espectacular. Identifica que es un podcast con tres participantes, monta el layout, reconoce el screenshare y ejecuta la transición limpia. Lo que queda es pulir el pipeline de montaje para que cuando aparece una transición haga un fade out unos milisegundos antes y un fade in después, un leve fundido a negro que suavice el corte y lo convierta en algo que se sienta producido, no recortado.

@lacrimae0rerum Ni me molesto

A ver… me parecería poco considerado que lo hagan cambiarse de su silla a un banquillo. No me cae bien y me parece un mal tipo. Pero tampoco ha que cebarse.

@cibernicola_es 😬. IA de guerrilla.

@root_rat nos vemos en el otro lado :D

Nadie nunca lo pidió, en realidad un poco sí. Esto lo voy a ir ampliando, la cosa está en un punto de inflexión (creo). El setup grosso modo de hierro y SW que uso para IA LOCAL. codename: IDALIA

@izangc Actualmente no. Pronto

@root_rat Se puede acceder al episodio a través de alguna plataforma de podcast?

Los que queráis profundizar sobre ello, os dejo enlace al episodio que hice con @RadioHacking y al artículo que escribí sobre esto hace ya una semana.

@dronesdeguerra La guerra del futuro fue ayer…

🇺🇦Drones terrestres logísticos de la 54 brigada ucraniana, cada vez más claro que no hace falta exponer soldados para llevar pertrechos a la linea del frente

@n0ct_can1slupus @Deivid_Carri Eres un cuñao. Se ve claramente que es un B222 “Night Balls”

@root_rat @Deivid_Carri El de la foto es un B-12, no un B2.

Este tío no tien ni idea, un Ruca no tiene capacidad para tirar un B2 ni de coña. El único misil iraní que puede hacerlo es el 133 MISPE. O no ? @Deivid_Carri

Eduardo monetiza tuiter.

Hogar