AI-ReKo: 3D-Rekonstruktion aus medizinischen Bildern mittels neuronaler Netze

Dieses Projekt zielt darauf ab, eine umfassende Lösung für die Rekonstruktion von 3D-Modellen aus medizinischen Bildern mit Hilfe neuronaler Netze bereitzustellen. Dazu werden PyTorch- und MONAI-Frameworks verwendet, um ein UNETR-Modell für die präzise Segmentierung von zehn verschiedenen Organen in abdominalen CT-Scans zu trainieren. Anschließend wird der Marching-Cubes-Algorithmus für die Rekonstruktion der 3D-Modelle auf Basis der Segmentierungsmasken genutzt.

Da es sich bei den Segmentierungsmasken um binäre Masken handelt erscheinen die rekonstruierten 3D Volumen noch recht kantig und block-artig. Aus diesem Grund wird ein Postprocessing Schritt durchgeführt, bei welchem das Ergebnisvolumen geglättet wird.

Das Training der UNETR-Modelle konnte mit Hilfe des Rechnerclusters SPARCI (Socio-Physical Advanced Research Cloud Infrastructure) der Uni-Koblenz durchgeführt werden, welches durch die Deutsche Forschungsgemeinschaft (DFG) gefördert wird.