3DInMed

TEST

German

3DInMed


The constantly changing and advancing 3D market also provides new innovative solutions for the medical and industrial sectors. The further development of the medical engineering industry is supported by the Federal Ministry for Economic Affairs and Energy (BMWi) with our latest project: 3DInMed.

Overview

3DInMed @ Control 2017

Fraunhofer HHI and Schölly present a technical case study of a 3D endoscope used for online visual inspection tasks of hardly accessible parts at Control 2017. TEST

3DInMed

Englisch

3DInMed



Der sich ständig verändernde und voranschreitende 3D-Markt bietet nicht nur im Entertainmentbereich, sondern auch für den medizinischen und industriellen Sektor neue innovative Lösungen. Die Weiterentwicklung der Medizintechnik wird vom Bundeministerium für Wirtschaft und Energie (BMWi) mit unserem neusten Projekt unterstützt: 3DInMed.

3DInMed @ Medica 2017

Medica 2017: Fraunhofer HHI und ARRI Medical zeigen digitales 3D-Operationsmikroskop

Auf der Medica in Düsseldorf präsentiert das Fraunhofer Heinrich-Hertz Institut HHI zusammen mit ARRI Medical neue Verfahren zur optischen 3D-Messtechnik am Fraunhofer-Stand G05 in Halle 10.

Digitales 3D-Operationsmikroskop
Das ARRISCOPE ist ein digitales 3D-Operationsmikroskop. Im Rahmen des BMWiForschungsprojektes 3DInMed wurde vom Fraunhofer HHI eine Methodik entwickelt, um intraoperativ Messungen mit einer sehr hohen Genauigkeit durchzuführen. Dadurch wird es erstmals möglich, die benötigte Prothesengröße oder Pathologien exakt auszumessen.

3DInMed – Digitale 3D-Endoskopie für Inspektion und Vermessung
Das Fraunhofer HHI stellt auf der Medica 2017 folgende erreichte Haupziele des Kollabaorationsprojekt 3DInMed vor:
Die Entwicklung neuer, robuster und echtzeit-fähiger Verfahren zur Tiefenschätzung, die Entwicklung und der Aufbau hochratiger und latenzarmer Übertragungsstrecken für UHD-3D-Signale, die Entwicklung von Verfahren zur Erzeugung von endoskopischen 3D-Panoramen mittels Textur- und Tiefeninformationen aus stereoendoskopischen Ansichten sowie die Entwicklung von Verfahren zur räumlichen Vermessung von 3D-Mikroskopie/Endoskopie-Bildern und darauf basierenden AR-Anwendungen.
Zudem entstanden in dem Projekt neue miniaturisierte medizinische 3D-Endoskope und industrielle 3D-Boreskope.
3DInMed ist ein laufendes, vom Bundesministerium für Wirtschaft und Energie (BMWi) gefördertes Projekt, zur Etablierung und Weiterentwicklung von immersiven Bildtechnologien in der Industrie und Medizin.
Dazu zählen Anwendungsgebiete wie die zerstörungsfreie industrielle Mess- und Prüftechnik und die diagnostische und interventionelle medizinische Bildgebung.

Weitere Informationen finden Sie hier.
Download 3DInMed@Medica 2017 Flyer

Tiefen- und Distanzvermessung mittels Stereo-Endoskopie in Echtzeit

Neue algorithmische Verfahren und Demonstratoren eröffnen vielversprechende Anwendungsfelder für die Stereophotogrammetrie. Diese werden im Rahmen des BMWi geförderten Projekts 3DInMed entwickelt.

Der von Jean-Claude Rosenthal (Fraunhofer Heinrich Hertz Institut) und Johannes Ruhhammer (SCHÖLLY FIBEROPTIC GmbH) verfasste Artikel "3D-Endoskopie: Kinotechnik für die berührungslose Vermessung" ist in der aktuellen Ausgabe der deutschen Fachzeitschrift photonik als Titelgeschichte erschienen.

In dem Artikel wird ein, durch neue Algorithmen ermöglichtes, bildbasiertes stereometrisches System vorgestellt. Die neuen Algorithmen ermöglichen eine Echtzeittiefen- und Distanzvermessung mittels Stereo-Endoskopie. Die mit Stereo-Boreskopen aufgenommenen Bilder können auf jedem herkömmlichen 3D-Display durch bekannte Stereo-Darstellungstechnik in 3D widergegeben werden. Die dadurch erzeugte verbesserte Tiefenwahrnehmung erlaubt eine intuitive und schnelle Navigation zur Inspektionsstelle.

Die Algorithmen zur Tiefen- und Distanzschätzung basieren auf dem Prinzip der Stereotriangulation. Die Triangulation ist ein gängiges Verfahren in der optischen Messtechnik. Die größten Vorteile von stereoskopischen Messsystemen sind die verbesserte Messmethodik, sowie die vereinfachte Benutzerführung. Die Bedienung wird durch die in Echtzeit generierten Disparitätsinformationen erheblich vereinfacht.

Der vollständige Artikel steht hier zum Download bereit.

3DInMed @ Control 2017

Fraunhofer HHI und Schölly präsentieren eine Technikstudie eines 3D Endoskops zur berührungslosen Inspektion von schwer zugänglichen Bauteilen auf der Control 2017.


Stereo image-based measurement for remote visual inspection

Download 3DInMed@Control 2017 Flyer

3DInMed @ Medica 2016

Das Fraunhofer HHI stellte auf der Medica 2016 erste Ergebnisse des 3IT Projekts 3DInMed vor. Am Exponatsstand wurden Lösungen, Potenziale und neuen Möglichkeiten von digitalen Stereo-Kamerasystemen aufgezeigt. Die damit verbundene zusätzliche Informationsgewinnung führt zu deutlich verbesserten Bedingungen für die Diagnostik und die chirurgische Intervention. Gezeigt wurden aktuelle Forschungsresultate zur Vermessung, Tracking von medizinischen Instrumenten, Augmented-Reality-Anwendungen (AR) und optimierten 3D-Wiedergabe.

Download 3DInMed@Medica 2016 Flyer


Überblick

3DInMed beschreibt ein laufendes Kollaborationsprojekt verschiedener Partner zur Etablierung und Weiterentwicklung von immersiven Bildtechnologien in der Industrie (In) und in der Medizin (Med). Dazu zählen Anwendungsgebiete wie die zerstörungsfreie industrielle Prüf- und Messtechnik, die diagnostische und interventionelle medizinische Bildgebung oder die Einführung von Computer Assistierten Designs (CAD) bzw. anderer digitaler Planungs- und Fertigungswerkzeuge.

Angetrieben werden diese Entwicklungen von bereits existierenden Technologien aus der Unterhaltungselektronik wie 3D-Sensoren, schnellen Grafik- und Signalverarbeitungsprozessoren, hochauflösenden stereofähigen Displays, berührungslosen Interfaces und fortgeschrittenen 3D-Druckern. Diese Technologien halten nun immer stärkeren Einzug in andere Anwendungsbereiche, wie z.B. industrielle und bauliche Planungs-, Produktions- oder Inspektionsprozesse. Darüber hinaus verändern bildgebende optische 3D-Verfahren (wie z.B. die Endoskopie oder Mikroskopie) nachhaltig Diagnostik und Operationsverfahren in der Medizin.


Ziele

Das Projekt besitzt im Wesentlichen vier Hauptarbeitsziele welche die Entwicklung neuer, robuster Verfahren zur Tiefenschätzung und Objekterkennung, die Entwicklung und den Aufbau hochratiger und latenzarmer Übertragungsstrecken für 3D-Signale, die Entwicklung von echtzeitfähigen Verfahren zur Erzeugung von endoskopischen 3D-Panoramen mittels Textur- und Tiefeninformationen aus stereoendoskopischen Ansichten, sowie die Entwicklung von Verfahren zur räumlichen Vermessung von 3D-Mikroskopie/Endoskopie-Bildern und von darauf basierenden AR-Anwendungen umfassen.


Ergebnisse und Partner

Ziel ist es, vor allem Schlüsseltechnologien zur 3D-Erfassung, Verarbeitung, Übertragung und der autostereoskopischen Visualisierung zu entwickeln und zu testen, die anschließend in und über die skizzierten Anwendungsfelder hinaus eingesetzt werden können. Die direkten Projektpartner sind ARRI Medical, C.R.S. iiMotion, Fraunhofer HHI, Fraunhofer IIS, Schölly, SeeFront und Solectrix. Die assoziierten Partner dieses Projekts sind: TU-München, Klinikum rechts der Isar, Forschungsgruppe für Minimal-invasive Interdisziplinäre Therapeutische Intervention (MITI); Ludwig-Maximilians-Universität München, Campus Großhadern, Cochlea-Implantate-Zentrum; Neurochirurgische Klinik und Poliklinik, Klinikum rechts der Isar der Technischen Universität München, Universitäts-Klinikum Erlangen und Siemens Energy, Nürnberg.


Details zur Industrie

3D-Anwendungen im Bereich der Industrie kommen vor allem im Automotive- und Robotikbereich für die Verbesserung der Fahrerassistenz und der autonomen Navigation und der damit verbundenen Erfassung der Umwelt zum Einsatz. Ein anderes Einsatzfeld ist das der berührungslosen Prüf- und Messverfahren bei schwer zugänglichen technischen Hohlkörpern. 3D-Visualisierungen im CAD Bereich unterstützen diese Inspektions- und Fehlersuchanwendungen und kommen darüber hinaus in 3D-Röntgen oder CT-Volumen in chemischen oder biologischen Strukturen zum Einsatz.


Details zur Medizin

3D-Anwendungen in der Medizin ermöglichen stereoskopische Aufnahmen und dreidimensionale Visualisierungen, um minimalinvasive Eingriffe zu gewährleisten. Damit verbunden ist die Technologie der OP-Mikroskopie, der räumlichen Approximation von Operationsfeldern, dem Einblenden von Risikostrukturen, bis hin zu letztlich robotergestützten und telemanipulatorischen Eingriffen. Weiterhin soll eine Kombination von klassisch präoperativen und intraoperativen Diagnosebildern ermöglicht werden, die auch der Dokumentation und Ausbildung dienlich sein sollen.


Bildmaterial

3DInMed

Copyright: Fraunhofer IIS - (a) Linke Ansicht eines 3D Laparoskop   (b) L-HRM Disparitätskarte   (c) 3D rekonstruierte Punktwolke - 2 Instrumente wurden detektiert und entfernt

3DInMed

Fraunhofer HHI: (a) Real-time tracking Ergebnis einer Instrumentenspitze in einem Felsenbeinmodell für die HNO-Chirurgie. (b) Zugehöriges Ergebnis der Echtzeit-Disparitätsschätzung

Events und Konferenzen

CARS 2017, Barcelona
CARS 2017-Computer Assisted Radiology and Surgery, 31th International Congress and Exhibition Barcelona, Spain, June 20-24, 2017.
New Tools for Digital Surgical Microscopy
N. Gard, S. Jurk, A. Schneider, P. Kauff, P. Eisert, J.-C. Rosenthal, Fraunhofer Heinrich-Hertz-Institut, Berlin; ARRI, München

DGE-BV MEETS ENDOSKOPIE LIVE in Berlin, 06.04 - 08.04.2017

Herausforderungen, Lösungen und Potenziale der Stereo- Bildverarbeitung für die 3D-Endoskopie
Jean-Claude Rosenthal, Niklas Gard



SID-ME Fall Meeting 2016 in Berlin, 03.11 - 04.11.2016

Depth-Based Quality Control for Medical Applications
Jean-Claude Rosenthal, Niklas Gard, Peter Kauff



15th CURAC Annual Conference in Bern, 29.09. - 01.10.2016

Session: Endoscopy & Microscopy
3D-Reconstruction by Polarization Imaging in Endoscopy
J. Sandvoss, T. Wittenberg, A. Nowak, J. Ernst

Evaluierung von 3D-Rekonstruktionsverfahren in der Stereo-Laparoskopie
D. Erpenbeck, T. Wittenberg, J. C. Rosenthal, P. Kauff, N. Lemke, T. Bergen

Program: http://curac.org/programbern2016#Endoscopy-Microscopy

Special session: Optische 3D-Endoskopie & Mikroskopie

Miniaturisierte 3D-Endoskopie
Johannes Ruhammer, Niels Lemke, Schölly Fiberoptic GmbH, Denzlingen

3D-Techniken in der Klinik
Dirk Wilhelm, Nils Kohn, TU München

Potential der digitalen 3D Operationsmikroskopie
Armin Schneider, ARRI Medical, München

Von der 2D zur 3D Panorama-Endoskopie
Daniel Erpenbeck, Thomas Wittenberg, Fraunhofer IIS, Erlangen

Tiefenbasierte Stereo-Bildverarbeitung für medizinische Anwendungen
Peter Kauff, Niklas Gard, Jean Claude Rosenthal, Fraunhofer HHI, Berlin

Program: http://curac.org/programbern2016#Special-Session-Endoscopy-Microscopy



14th CURAC Annual Conference in Bremen, 17.09. - 19.09.2015

Session: Optische 3D-Modalitäten in der Chirurgie

3D-Verarbeitung und Visualisierung mit Optischen Modalitäten
Jean-Claude Rosenthal, Fraunhofer HHI, Berlin

Die Digitalisierung der Operationsmikroskopie
Christoph Bichlmeir, ARRI, München

Aspekte der 3D Endoskopie
Niels Lemke, Schölly, Denzlingen

Panorama Endoskopie - von 2D zu 3D
Thomas Wittenberg, Fraunhofer IIS

Program: https://www.curac.org/programm2015#Sondersitzung-CURAC-DGBMT

Konsortialführung

 

Projektpartner






Assoziierte Partner

TU-München, Klinikum rechts der Isar, Forschungsgruppe für Minimal-invasive Interdisziplinäre Therapeutische Intervention



Ludwig-Maximilians-Universität München

Neurochirurgische Klinik und Poliklinik, Klinikum rechts der Isar der Technischen Universität München

Universitäts-Klinikum Erlangen

Siemens Energy