zMed

 
Kiterjesztett valóság alapú, 3D Orvosi képek és a valóság egyesített vizualizációját megvalósító, innovatív egészségügyi segédeszköz fejlesztése az orvos-beteg kapcsolat és az oktatás támogatására
2017. aug. 1. – 2023. nov. 30.
Külső azonosító
GINOP-2.2.1-15-2017-00083
Költségvetés
1 181 949 809 Ft
SZTAKI költségvetése
310 735 416 Ft
Támogatás mértéke %
100
Támogatás összege
959 927 683 Ft
Össz támogatási intenzitás
81.22 %
 

A projekt során új, 3D orvosi adatok és a valóság egyesített vizualizációját megvalósító, innovatív rögzítési és megjelenítési technológiák kifejlesztésére kerül sor. A rendszer újszerűsége a különböző orvosi képalkotó eljárások és a valóság fúziójának módjából, illetve a fuzionált adatok megjelenítéséből adódik. Az egyes modalitások információ tartalmai összevethetőek és demonstrálhatóak lesznek. A vizsgált személy adatai alapján koherens képet alakítunk ki a testről. Ez egy részletesebb, gyorsabb, összetettebb, a valósághoz illesztett és egyénre szabott megjelenítést tesz lehetővé. Ezáltal a korábbiaknál hatékonyabb és szélesebb körben is alkalmazható demonstrációs rendszert hozunk létre.
 
Ennek a technológiának az orvosi konzíliumokon, konzultációk során mind demonstrációs, mind oktatási célból fontos szerepe van. A fejlesztés eredményei a komplex rehabilitációs tevékenységek (mozgásszervi- és neurorehabilitáció) több területén is jól alkalmazhatók lesznek. A készségszintű beavatkozások - különböző intervenciók esetében az orvostanhallgatók helyes eszközhasználata, a metszések pozíciója, minősége értékelhető 3D képalkotással. Az elemzés visszacsatolást ad és ezért gyorsabban, könnyebben fejleszthetők lesznek a vonatkozó készségek (“skill” alapú képzés). A mozgáskövetés, pozíció számítás lehetőségei jól kihasználhatóak az orvos képzésben. Az innovatív megjelenítési módok továbbá lehetőséget biztosítanak a minőségi felsőoktatáshoz elengedhetetlen hallgatóbarát oktatástechnológiai újítások bevezetésére, valamint felhasználhatók lesznek a preoperatív betegtájékoztatásban is.

Résztvevők

zMed Zrt.

Pécsi Tudományegyetem (PTE)

Projekt céljai

A távlati cél a kiterjesztett valóság alkalmazása a műtéti tervezésben, hogy a sebész a műtőben a betegre rávetítve, tulajdonképpen belelásson a testbe, ezzel csökkentve a műtéti időt, és így a rehabilitáció is gyorsabb legyen. Ehhez kapcsolódóan az SZTAKI Gépi érzékelés kutatólaborja új képszegmentálási, mélytanuláson alapuló detektálási és fúziós algoritmusokat dolgoz ki, kiemelten a 3D érzékelés és megjelenítés céljaira.

A projekt elért eredményei

  • új automatikus módszerek különböző szervek és anatómiai szegmensek MR és CT adatokból történő elkülönítésére, fókuszálva a máj, vese, szív, lép, hasnyálmirigy, tüdő és vázrendszer régióira. Többféle adatforrás fuzionálásának megvalósítása a szegmentálás minőségének javítására.
  • új eljárások agyi MR felvételek automatikus feldolgozására: agytumorok detekciójára, szegmentálására és 3D rekonstrukciójára
  • új szoftverrendszer kifejlesztése, ami képes statikus és dinamikus mérési adatok (pl. lézerszkenneléses mérések) valamint 3D modellek egységes formában történő megjelenítésére
  • újszerű, projektor alapú 3D megjelenítő eszköz kifejlesztése, amely tetszőleges vetítési felületen alkalmazható
  • okostelefon alapú AR megjelenítő rendszer és egy hozzá tartozó alkalmazás, amely a felhasználó elé, a valódi környezetbe vetít egy emberi testet, lehetőséget teremtve a csontozat és az izomzat megjelenítésére és részletes vizsgálatára
  • AR megjelenítő rendszer és egy hozzá tartozó alkalmazás Hololens-2 eszközre, amely használatakor egy megjelenített csontvázmodellen a felhasználó a tekintetével ki tudja választani az egyes csontokat, vagy az izomzat egyes részeit, amikről az adott testrész nevén túl további információt is olvashat a modell alatt megjelenítve.

Részleg