Foundation Model for Gastroenterology Imaging
AI / ML Research5M+ frame video gastrointestinali, pretraining self-supervised
- Self-Supervised Learning
- PyTorch
- Medical Imaging
- Vision Transformers
- Contesto
- Un IRCCS aveva bisogno di un foundation model per il rilevamento di polipi in endoscopia, addestrato su oltre 5 milioni di frame video gastrointestinali.
- Vincoli
- Conformità GDPR rigorosa e vincoli di NDA, tetti di costo per le GPU cloud e la necessità di esperimenti riproducibili su diverse architetture.
- Cosa ho fatto
- Ho progettato la strategia di pretraining SSL (masked image modelling con self-distillation in stile DINOv3), costruito la pipeline di ingestione dati cloud e impostato il tracking degli esperimenti e i protocolli di fine-tuning per classificazione, segmentazione e detection.
- Risultato
- Una pipeline di foundation model riproducibile su oltre 5M di frame, con data governance progettata pensando ai futuri requisiti EHDS e un percorso verso la validazione clinica e l'inferenza edge.