# Visió artificial que converteix hores de vídeo en mètriques de comportament https://www.mecexis.com/ca/projectes/pig-ment/ Hores de vídeo analitzades en minuts: una eina per mesurar i comparar de manera automatitzada el comportament d'un model animal al llarg de la recuperació, reduint el temps dedicat al visionat manual. Al **CMCiB**, projecte estratègic de l'**Institut de Recerca Germans Trias i Pujol (IGTP)**, part de l'avaluació dels animals en estudis preclínics es basa en enregistraments en vídeo. Amb **PIG-MENT**, desenvolupada per Mecexis juntament amb l'IGTP, cada hora de vídeo es pot processar en aproximadament dos minuts de càlcul, i se n'obtenen mètriques de comportament per a l'anàlisi estadística. ## Recerca biomèdica i necessitat d'obtenir mesures objectives Un centre de recerca i un repte metodològic L'**IGTP** és un centre de recerca públic situat al Campus Can Ruti de Badalona, associat a l'Hospital Germans Trias i Pujol. És un centre CERCA i està acreditat com a centre d'excel·lència per l'Institut de Salut Carlos III (ISCIII). El seu objectiu principal és incrementar el coneixement científic per transformar-lo en solucions que contribueixin a millorar la salut i l'atenció als pacients i a la societat. Un dels seus projectes estratègics és el **Centre de Medicina Comparativa i Bioimatge de Catalunya (CMCiB)**, una infraestructura de recerca preclínica i bioimatge orientada a facilitar la recerca translacional i el desenvolupament de noves solucions en salut. La seva activitat inclou recerca biomèdica, desenvolupament i avaluació de dispositius mèdics i formació especialitzada, i promou una recerca responsable i alineada amb els principis de les 3R: reemplaçament, reducció i refinament de l'ús d'animals en recerca. Allà, el Grup de Recerca en Neurobiologia Cel·lular i Molecular (CMN), liderat per Teresa Gasull, estudia nous abordatges per a l'ictus amb models preclínics porcins: com evolucionen els animals després d'una intervenció i si els tractaments estudiats modifiquen aquesta evolució respecte al grup control. Les càmeres ja enregistraven cada recinte al matí, a la tarda i a la nit. El que faltava era obtenir d'aquestes hores de vídeo mesures objectives i comparables per a l'anàlisi estadística. ## Un procés d'observació manual difícil d'escalar La valoració es feia mirant els enregistraments, i cada animal, sessió i dia de seguiment sumava més material per revisar - Cada hora d'enregistrament requeria un temps equivalent de visionat per part d'una persona investigadora. - Diferents observadors podien puntuar de manera diferent un mateix enregistrament. - La detecció per vídeo sol basar-se en models entrenats amb molts vídeos etiquetats a mà i en targetes gràfiques (GPU). - Els mètodes basats només en la detecció del moviment de l'animal presentaven una limitació important: quan es queda quiet, just quan cal mesurar quant descansa. - Els enregistraments plantejaven a més diferents reptes tècnics: lents que deformen la imatge, elements que es creuen davant de l'animal i vídeos sense informació de data. ## Visió per computador per automatitzar el processament dels enregistraments mantenint el criteri científic de l'equip investigador PIG-MENT combina visió per computador, que extreu mètriques de cada vídeo de manera automatitzada, amb un web on l'equip investigador gestiona, revisa i compara els resultats. ### Tres mètriques de cada vídeo Quantes voltes fa l'animal en cada sentit, on passa el temps dins del recinte, mesurat en centímetres reals, i quant de temps roman en repòs. ### Mètriques reproduïbles i comparables El processament automatitzat redueix la variabilitat de l'observació manual. Cada vídeo inclou indicadors de qualitat i figures de control per revisar els resultats. ### Sense targetes gràfiques L'algorisme funciona amb CPU convencional, sense GPU, i no va caldre entrenar un model amb grans conjunts de vídeos etiquetats a mà. També facilita la detecció de l'animal durant els períodes d'immobilitat. ### El vídeo es processa una sola vegada La lectura del vídeo, la part més costosa, es fa una vegada. Recalcular una mètrica o corregir l'escala després triga segons, i les dades obtingudes permeten reproduir les anàlisis. ### Comparar grups El web mostra l'evolució de cada animal des de la intervenció i calcula indicadors de canvi entre grups, per donar suport a l'anàlisi de l'efecte del tractament. La interpretació correspon a l'equip investigador. ### Dades a punt per a l'estadística Cada exportació inclou totes les taules, en Excel, CSV o Parquet, amb un document que defineix cada columna i cada mètrica. La plataforma també permet ocultar el grup de tractament durant determinades fases de l'anàlisi, quan el disseny de l'estudi ho requereix. ## Primer demostrar que era possible, després construir l'eina Un prototip per decidir, una plataforma per treballar El projecte va començar amb una pregunta: es pot automatitzar part d'aquesta anàlisi? La primera fase va ser un prototip sobre els enregistraments reals de l'IGTP, per decidir amb dades si el projecte era viable. Els resultats es van contrastar amb l'observació dels enregistraments, per exemple amb el recompte de girs o la diferència entre períodes de més i menys activitat. Amb la viabilitat comprovada, la segona fase va convertir el prototip en una eina funcional que l'equip va començar a fer servir en beta. La tercera va partir de l'experiència d'aquest període d'ús, va afegir la comparació entre grups i va portar la plataforma a producció. Cada fase es va lliurar i validar abans de començar la següent, de manera que el desenvolupament es va anar adaptant a les necessitats identificades juntament amb l'equip investigador. ## Reducció del temps dedicat al visionat manual i obtenció estandarditzada de mètriques Més temps de l'equip investigador per a l'anàlisi i la interpretació dels resultats - 1 h → 2 min: De processament per cada hora de vídeo, sense GPU - 3: Mètriques de comportament per vídeo, de manera automatitzada - 100 %: Dels fotogrames analitzats amb l'animal localitzat, a la mostra utilitzada per validar el sistema ## Preparada per mesurar més Noves mètriques sense reescriure les existents Cada mètrica és una peça independent, així que se'n poden incorporar de noves sense modificar necessàriament les existents. Entre les possibles línies de desenvolupament futur hi ha una automatització més gran de la captació i gestió dels enregistraments i l'adaptació del sistema a altres instal·lacions o configuracions experimentals. Els calibratges específics per a cada càmera faciliten estudiar la seva possible aplicació en altres entorns. ## Com treballa PIG-MENT Què mesura la plataforma, quin equip necessita i quin paper té l'equip investigador. Visió per computador al servei de la recerca ### Què és PIG-MENT? Una plataforma de visió per computador, desenvolupada amb l'IGTP, que analitza vídeos d'estudis preclínics i extreu de manera automatitzada mètriques del comportament dels animals, reduint el temps dedicat al visionat manual. ### Què mesura? Les voltes que fa l'animal en cada sentit, on passa el temps dins del recinte, en centímetres reals, i quant de temps roman en repòs. ### Calen recursos de computació especials? No. L'algorisme funciona amb CPU convencional, sense targetes gràfiques (GPU). ### Substitueix l'equip investigador? No. La plataforma automatitza el processament repetitiu i presenta les dades, però les decisions que requereixen criteri científic, com validar la geometria de cada càmera o interpretar els resultats, continuen en mans de l'equip. ### Podeu fer una cosa així amb els meus vídeos? Sí. Si el teu equip dedica hores a revisar enregistraments, comencem amb un prototip sobre els teus propis vídeos per comprovar què es pot mesurar de manera automatitzada.