3DInMed

3DInMed

Der sich ständig verändernde und voranschreitende 3D-Markt bietet nicht nur im Entertainmentbereich, sondern auch für den medizinischen und industriellen Sektor neue innovative Lösungen. Die Weiterentwicklung der Medizintechnik wird vom Bundeministerium für Wirtschaft und Energie (BMWi) mit unserem neusten Projekt unterstützt: 3DInMed.

Projektdetails

Ziele

Das Projekt besitzt im Wesentlichen vier Hauptarbeitsziele welche die Ent­wicklung neuer, robuster Verfahren zur Tiefenschätzung und Objekterkennung, die Entwicklung und den Aufbau hochratiger und latenzarmer Über­tragungs­strecken für 3D-Signale, die Entwicklung von echtzeitfähigen Verfahren zur Er­zeu­gung von endoskopischen 3D-Panoramen mittels Textur- und Tiefen­informa­tio­nen aus stereo­endoskopischen Ansichten, sowie die Entwicklung von Verfahren zur räumlichen Vermessung von 3D-Mikroskopie/Endoskopie-Bildern und von darauf basierenden AR-Anwendungen umfassen.

Ergebnisse und Partner

Ziel ist es, vor allem Schlüsseltechnologien zur 3D-Erfassung, Verarbeitung, Übertragung und der autostereoskopischen Visualisierung zu entwickeln und zu testen, die anschließend in und über die skizzierten Anwendungsfelder hinaus eingesetzt werden können. Das Konsortium wird von der Fraunhofer Gesellschaft und dem Fraunhofer Institute für Nachrichtentechnik, Heinrich-Hertz-Institut geleitet.

Die direkten Projektpartner sind ARRI Medical, C.R.S. iiMotion, Fraunhofer HHI, Fraunhofer IIS, Schölly, SeeFront und Solectrix. Die assoziierten Partner dieses Projekts sind: TU-München, Klinikum rechts der Isar, Forschungsgruppe für Minimal-invasive Interdisziplinäre Therapeutische Intervention (MITI); Ludwig-Maximilians-Universität München, Campus Großhadern, Cochlea-Implantate-Zentrum; Neurochirurgische Klinik und Poliklinik, Klinikum rechts der Isar der Technischen Universität München, Universitäts-Klinikum Erlangen und Siemens Energy, Nürnberg.

Details zur Industrie

3D-Anwendungen im Bereich der Industrie kommen vor allem im Automotive- und Robotikbereich für die Verbesserung der Fahrerassistenz und der autonomen Navigation und der damit verbundenen Erfassung der Umwelt zum Einsatz. Ein anderes Einsatzfeld ist das der berührungslosen Prüf- und Messverfahren bei schwer zugänglichen technischen Hohlkörpern. 3D-Visualisierungen im CAD Bereich unterstützen diese Inspektions- und Fehlersuchanwendungen und kommen darüber hinaus in 3D-Röntgen oder CT-Volumen in chemischen oder biologischen Strukturen zum Einsatz.

Anwendungsbeispiele aus der Medizin

3D-Anwendungen in der Medizin ermöglichen stereoskopische Aufnahmen und dreidimensionale Visualisierungen, um minimalinvasive Eingriffe zu gewährleisten. Damit verbunden ist die Technologie der OP-Mikroskopie, der räumlichen Approximation von Operationsfeldern, dem Einblenden von Risikostrukturen, bis hin zu letztlich robotergestützten und telemanipulatorischen Eingriffen. Weiterhin soll eine Kombination von klassisch präoperativen und intraoperativen Diagnosebildern ermöglicht werden, die auch der Dokumentation und Ausbildung dienlich sein sollen.

Events And Conferences

3DInMed @ MEDICA 2017

Medica 2017: Fraunhofer HHI and ARRI Medical present digital 3D surgical microscope 

Fraunhofer Heinrich Hertz Institute HHI and ARRI Medical present new processes for digital 3D measuring technology at Medica in Düsseldorf, Germany, at Fraunhofer booth G05 in hall 10.

Digital 3D Surgical Microscope 
The ARRISCOPE is a digital stereo surgical microscope. As part of the Federal Ministry for Economic Affairs and Energy (BMWi) research project 3DInMed, Fraunhofer HHI has developed a method for intraoperative measurements with high precision.
As a result, it is now possible for the first time to accurately estimate the required prosthesis size or to specify tumor dimensions.

3DInMed – Digital 3D endoscopy for inspection and metrology 
Fraunhofer HHI and ARRI Medical present results of the BMWi-funded project 3DInMed.
Digital 3D endoscopes used for industrial applications open up completely new possibilities for extracting and visualizing additional information by using advanced stereo algorithms for depth estimation. In particular, the survey of cavities that are difficult to access and the inspection of wearing parts by such methods, allow a more precise statement about the surveyed items condition.

Please find more information here.
Download 3DInMed @ Medica 2017 Flyer

3DInMed at Control 2017

Fraunhofer HHI und Schölly präsentieren eine Technikstudie eines 3D Endoskops zur berührungslosen Inspektion von schwer zugänglichen Bauteilen auf der Control 2017.

Stereo image-based measurement for remote visual inspection

Download 3DInMed@Control 2017 Flyer

3DInMed at Medica 2016

Das Fraunhofer HHI stellte auf der Medica 2016 erste Ergebnisse des 3IT Projekts 3DInMed vor. Am Exponatsstand wurden Lösungen, Potenziale und neuen Möglichkeiten von digitalen Stereo-Kamerasystemen aufgezeigt. Die damit verbundene zusätzliche Informationsgewinnung führt zu deutlich verbesserten Bedingungen für die Diagnostik und die chirurgische Intervention. Gezeigt wurden aktuelle Forschungsresultate zur Vermessung, Tracking von medizinischen Instrumenten, Augmented-Reality-Anwendungen (AR) und optimierten 3D-Wiedergabe.

Download 3DInMed@Medica 2016 Flyer

CARS 2017, Barcelona
CARS 2017-Computer Assisted Radiology and Surgery, 31th International Congress and Exhibition Barcelona, Spain, June 20-24, 2017.
New Tools for Digital Surgical Microscopy
N. Gard, S. Jurk, A. Schneider, P. Kauff, P. Eisert, J.-C. Rosenthal, Fraunhofer Heinrich-Hertz-Institut, Berlin; ARRI, München

DGE-BV MEETS ENDOSKOPIE LIVE in Berlin, 06 – 08 April 2017

Herausforderungen, Lösungen und Potenziale der Stereo- Bildverarbeitung für die 3D-Endoskopie
Jean-Claude Rosenthal, Niklas Gard

SID-ME Fall Meeting 2016 in Berlin, 03.11 – 04.11.2016

Depth-Based Quality Control for Medical Applications
Jean-Claude Rosenthal, Niklas Gard, Peter Kauff

15th CURAC Annual Conference in Bern, 29.09. – 01.10.2016

Session: Endoscopy & Microscopy
3D-Reconstruction by Polarization Imaging in Endoscopy
J. Sandvoss, T. Wittenberg, A. Nowak, J. Ernst

Evaluierung von 3D-Rekonstruktionsverfahren in der Stereo-Laparoskopie
D. Erpenbeck, T. Wittenberg, J. C. Rosenthal, P. Kauff, N. Lemke, T. Bergen

Program: http://curac.org/programbern2016#Endoscopy-Microscopy

Special session: Optische 3D-Endoskopie & Mikroskopie

Miniaturisierte 3D-Endoskopie
Johannes Ruhammer, Niels Lemke, Schölly Fiberoptic GmbH, Denzlingen

3D-Techniken in der Klinik
Dirk Wilhelm, Nils Kohn, TU München

Potential der digitalen 3D Operationsmikroskopie
Armin Schneider, ARRI Medical, München

Von der 2D zur 3D Panorama-Endoskopie
Daniel Erpenbeck, Thomas Wittenberg, Fraunhofer IIS, Erlangen

Tiefenbasierte Stereo-Bildverarbeitung für medizinische Anwendungen
Peter Kauff, Niklas Gard, Jean Claude Rosenthal, Fraunhofer HHI, Berlin

Program: http://curac.org/programbern2016#Special-Session-Endoscopy-Microscopy

14th CURAC Annual Conference in Bremen, 17.09. – 19.09.2015

Session: Optische 3D-Modalitäten in der Chirurgie

3D-Verarbeitung und Visualisierung mit Optischen Modalitäten
Jean-Claude Rosenthal, Fraunhofer HHI, Berlin

Die Digitalisierung der Operationsmikroskopie
Christoph Bichlmeir, ARRI, München

Aspekte der 3D Endoskopie
Niels Lemke, Schölly, Denzlingen

Panorama Endoskopie – von 2D zu 3D
Thomas Wittenberg, Fraunhofer IIS

Program: https://www.curac.org/programm2015#Sondersitzung-CURAC-DGBMT

Bildmaterial

Copyright: Fraunhofer IIS - (a) Left image of a typical 3D laparoscope (b) L-HRM disparity map (c) 3D reconstructed point cloud - 2 instruments have been removed
Fraunhofer HHI: (a) Real-time tracking result of instrument tip inside a temporal bone model. (b) Related result of real-time depth map estimation.

Projektleitung

Project Partners

Assoziierte Partner

Ludwig-Maximilians-Universität München
Neurosurgical clinic and polyclinic, Krankenhaus “rechts der Isar”, Technische Universität München
Universitätskrankenhaus Erlangen
Siemens Energy