MTA-JATE Mesterséges Intelligencia Tanszéki Kutatócsoport

Szeged, Aradi vértanúk tere 1,

Fax: 425-508, e-mail: fidrich@sol.cc.u-szeged.hu

1. Bevezetés

A képfeldolgozás alkalmazott tudomány, amely a 70-es években született meg, amikor az informatikai eszközök fejlettsége lehetővé tette digitalizált képek számítógépes feldolgozását. Általában véve a képfeldolgozás célja helyreállítani, kinyerni, értelmezni és kódolni a digitális képekben rejlő információt. Az orvosi képfeldolgozás különösen gyorsan fejlődik, és ígéretes alkalmazási területekkel bír. Kezdetben minőségi eredményei voltak: az orvosoknak nem a "nyers" számadatokat mutatták meg, hanem a javított, szegmentált, színezett képeket megfelelő felhasználói felülettel, abban bízva, hogy az orvosok képesek lesznek hatékonyabban és korrektebben diagnosztizálni. Időközben egyre fontosabbá vált mennyiségi elemzések elkészítése, amely viszont lényegesen nehezebb feladat - dacára annak, hogy a fejlődés egyre bonyolultabb technikák és matematikai módszerek alkalmazását engedte meg.

Egy kép hatalmas mennyiségű adatot tartalmaz, amelyben gyakran az igazán érdekes információ rejtve marad. Az emberi agy is rengeteg képi információt kap a retinán keresztül, melynek csak egy töredékét használja fel; így feltételezhető, hogy a vizuális központban egy több-skálás, válogató és elő-feldolgozó mechanizmus működik [Hubel88]. A skála-tér elmélet (scale-space theory) pont az emberi látás folyamatának modelljét kívánja alkalmazni a képfeldolgozásban [Romeny93] úgy, hogy a képek elemzése minél inkább automatizálható legyen (az interaktív feldolgozás jóval időigényesebb így drágább, és függ az operátortól). A skála-tér elmélet másik megközelítése azon alapul, hogy a valós (fizikai) világ minden objektuma egy bizonyos mérési skála-tartományon észlelhető (vö. sejt - levél - fa - erdő), ellentétben az ideális matematikai fogalmakkal (pont, vonal) [Witkin83].

2. Skála-terek elmélete

Egy kép több-skálás tanulmányozásához a következő lépéseket kell tenni [Koenderink84]:

• Beillesztjük az eredeti f(r) képet a f (r, t) folytonos képcsaládba úgy, hogy f (r, 0) = f(r), ahol t a skála (felbontás) és r a pozíció vektor. A skála növelésével a képeknek egyszerűsödniük kell, s közben "fura részletek" nem keletkezhetnek. (A kép mérete nem változik, azaz nincs térbeli mintavételezés.)
• Elemezzük a képcsaládot, azaz a képi szerkezetek közötti kapcsolatokat t növelésének függvényében.
• Készítünk egy modellt, amely a gyakorlati alkalmazásokban jól (!) felhasználható.

A hierarchikus képcsalád létrehozását általában differenciál egyenletekkel adják meg. Megjegyzés és kapcsolat a "fizikai mérés" megközelítéshez: Deriváláshoz határértéket kell számolni, ami diszkrét képeken nem tehető meg; helyette egy bizonyos tartományon súlyozott átlagot számolunk (konvolúció egy magfüggvénnyel). A konvolúciós tartomány mérete a kép skálázását befolyásolja, tehát lehetetlen diszkrét képet deriválni anélkül, hogy egy kicsit símítanánk azt (azaz a deriválás folyamata skálázott operátorokkal regularizált).

A lineáris skála-tér [Lindeberg94] a legrégebbi és a legjobban értett példa skála-terekre. Tulajdonképpen annak a matematikai megfogalmazása, hogy "nem tudunk semmit és semmilyen preferenciánk nincsen", mely a látás első fázisának feltételezhető modellje. Többféleképpen is axiómatizálható [Weickert97], de a linearitás megkövetelése miatt egyedül a Gauss függvénnyel, növekvő variancia szerinti konvolúcióval lehet létrehozni; melynek megfelelő differenciál egyenlet az izotrópikus hővezetés egyenlete.

Az így létrehozott több-skálás kép egyszerűsödik, a zaj és a kisebb-méretű képi jellemzők eltűnnek, csak a főbb szerkezetek maradnak. Azonban a képek egyre elmosódottabbak lesznek (ott is, ahol nem kellene, pl. élek). Ráadásul a képi jellemzők helye a skálával változik, ezért a durvább felbontáson azonosított jellemzőket követni kell az eredeti finom felbontásig, ami a gyakorlatban nehéz (mivel a képek és a felbontás is diszkretizált) [Fidrich98, Fidrich98b].

A fenti problémák kiküszöbölésére vezettek be egy visszacsatolási lépést (a visszacsatolás az emberi látásra is jellemző, amikor egy érdekes részletre fókuszálunk) úgy, hogy a diffúzió valamilyen lokális képi mennyiségi jellemzőtől (gradiens, görbület) függjön. Tehát a lineáris skála térrel (az első lépésben) észlelt jellemzőket használjuk fel a továbbiakban a megfigyelés finomítására, azaz valamilyen nem-lineáris képcsaládot hozunk létre.

Számos matematikai megközelítés ismert [Niessen97, Weickert97c], melyek különböző nem-lineáris skála-tereket generálnak. Például a diffúzió legyen a gradiens függvénye [Perona90, Weickert95], vagy az evolúciós egyenlet alapuljon alakzat- ill. görbe-követésen [Alvarez93, Boomgaard94, Kimia96, Osher88], végül az evolúció energia-minimalizációként is leírható [Rudin92].

3. Alkalmazások

Bár az elmélet jól megalapozott, viszonylag kevés a gyakorlati alkalmazása; leginkább még az orvosi képek elemzésekor használják. Vitathatatlanul fontos szerepet tölt be azonban a képi jellemzők korrekt kinyerésében [Lindeberg96].

Alkalmazzák homályos / zajos képek "vak" élesítésére / zajtalanítására is, de a helyreállítás általában csak akkor ad jó eredményt, ha az elmosódottságot / zajt normál (azaz Gauss fv. szerinti) változás hozta létre. Kivételt képez [Gerig92], ahol MR képek helyreállítására olyan nem-lineáris szűrőket használnak, melyeket speciálisan a képalkotási folyamat hibáinak kiküszöbölésére fejlesztettek ki. Említésre méltó még [Rudin92], amely banki videó felvételeket állít helyre energia-minimalizációs módszerrel, és régóta eredményesen használják a bűnüldözésben.

Szegmentálásra is alkalmazzák a skálázott képcsaládból kinyert képi szerkezetek közti kapcsolatokat [Vincken95b]: durva skálán történik a szerkezetek címkézése, s ahogy térünk vissza az eredeti finom skálához, úgy kap(hat) minden egyes pixel megfelelő címkét (azaz különböző osztályba kerül pl. a szürkeállomány, fehérállomány az agyról készült MR felvételek esetén); feltéve, hogy az eljárás konvergál. Ez a módszer azonban még nincs validálva, sem összehasonlítva más elismert szegmentációs technikákkal.

Ígéretesek azok az alkalmazások, melyek az alakzatok formájának leírására irányulnak több-skálás mediális axist használva [Eberly94, Pizer97]. Ezek közül is kiemelkedik, és fontos gyakorlati jelentőséggel bír, a véredények kinyerésére kifejlesztett módszer [Koller95], mely a feladat pontos modellezéséből indul ki.

4. Értékelés

Ad-hoc több-felbontásos módszereket régóta használnak a képfeldolgozásban. Ilyen pl. a piramis reprezentáció [Rosenfeld84], ahol a skálázást (símítást) térbeli mintavételezés is követi, mely a kép méretének gyors csökkenéséhez vezet, így felhasználható kódolásra ill. algoritmusok gyorsítására [Burt83]. Eredetileg a símítást egyszerű átlagolással "oldották meg", mely több problémát is okozott [Rosenfeld84]. A skála-tér elmélet egyik eredménye, hogy kimutatta a Gauss fv. használatának jelentőségét a símítási lépésben; ezzel a piramis reprezentációra épülő algoritmusokat jóval megbízhatóbbá és pontosabbá tette.

Emellett azonban a skála-tér elmélet fejlődése egyre jobban meghaladja a rá épülő alkalmazások jelentőségét. Ennek több oka is lehet. Egyrészt ez a terület túlságosan is "elméleti", csupán folytonos esetre kidolgozott, bár a képek diszkrétek (egy kivétel: [Lindeberg90]); s nem ad útmutatást arra, hogy miként kell kiválasztani az elemzéshez a skála-tartományt. Ráadásul főleg 2D képekre fejlesztették ki, 3D-s kiterjesztésének módja még nem világos, noha az igény 3D képek feldolgozására egyre nagyobb. Másrészt algoritmusai általában bonyolultak, nem elég hatékonyak, az implementáció nehézkes. Ígéretes viszont a [Weickert97b] módszer nem-lineáris evolúciós egyenletek hatékony (gyorsabb) megoldására. Végül, túlságosan tükröződik az elmélet alapfilozófiája: általános célú akar maradni, a látással és a képfeldolgozással kapcsolatos összes kérdésre globális választ kíván nyújtani, így egyetlen gyakorlati alkalmazáshoz sem használható igazán (nincs mindenre jó csodaszer!). A sikeres alkalmazások mind olyanok, ahol egy probléma pontos modellezéséből kiindulva tervezték meg a (nem-lineáris) skála-teret, nem pedig az elméletet próbálták utólag a feladathoz igazítani. Ehhez viszont az szükséges, hogy a gyakorlati szakemberek ismerjék az elmélet főbb elveit, s maguk is képesek legyenek a problémájukra megoldást adó skála-teret tervezni. Az utóbbi elősegítése volt ezen összefoglaló célja is.

[Alvarez93] L. Alvarez, F. Guichard, P.L. Lions, and J.M. Morel. Axioms and fundamental equations of image processing. Archive for Rational Mechanics, 123(3):199-257, September 1993.

[Boomgaard94] R.van den Boomgaard and A. W.M. Smeulders. The morphological structure of images, the differential equations of morphological scale-space. IEEE Trans. on Pattern Analysis and Machine Intelligence, 16(11):1101-1113, 1994.

[Burt83] P.J. Burt and E.H. Adelson. The Laplacian Pyramid as a Compact Image Code. IEEE Trans. on Communications, 31(4):532-540, 1983.

[Eberly94] D. Eberly, R. Gardner, B.S. Morse, S.M. Pizer, and C. Scharlach. Ridges for Image Analysis. Journal of Mathematical Imaging and Vision, (4):353-373, 1994.

[Fidrich98] M. Fidrich. Iso-surface Extraction in nD applied to Tracking Feature Curves across Scale. Image and Vision Computing, 16(8):545--556, 1998.

[Fidrich98b] M. Fidrich and J-Ph. Thirion. Stability of Corner Points in Scale Space: The Effect of Small Non-Rigid Deformations. Computer Vision and Image Understanding, 72(1):72-83, 1998.

[Gerig92] G. Gerig, O. Kübler, R. Kikinis, and F.A. Jolesz. Nonlinear anisotropic filtering of mri data. IEEE Trans. on Medical Imaging, 11(2):221-232, June 1992.

[Hubel88] D.H. Hubel. Eye, Brain and Vison, Volume 22 of Scientific American Library Series. Freeman, San Francisco, 1988.

[Kimia96] B.B. Kimia and K. Siddiqi. Geometric heat equation and nonlinear diffusion of shapes and images. Computer Vision and Image Understanding, 64(3):305-322, November 1996.

[Koenderink84] J.J. Koenderink. The structure of Images. Biological Cybernetics, 50:363-370, 1984.

[Koller95] T.M. Koller, G. Gerig, G. Székely, and D. Dettwiler. Multiscale detection of curvilinear structures in 2d and 3d image data. In 5^th Int. Conf. on Computer Vision, pages 864-869, Cambridge, USA, June 1995.

[Lindeberg90] T. Lindeberg. Scale-Space for Discrete Signals. IEEE Trans. on Pattern Analysis and Machine Intelligence, 12, March 1990.

[Lindeberg94] T. Lindeberg. Scale-Space Theory in Computer Vision. Kluwer Academic Publishers, 1994.

[Lindeberg96] T. Lindeberg. Edge detection and ridge detection with automatic scale selection. In Computer Vision and Pattern Recognition, June 1996.

[Niessen97] W. Niessen, B.M. ter Haar Romeny, L.M. Florack, and M.A. Viergever. A general framework for geometry-driven evolution equations. International Journal of Computer Vision, 21(3):187-205, 1997.

[Osher88] S. Osher and S. Sethian. Fronts propagating with curvature dependent speed: algorithms based on the hamilton-jacobi formalisme. Journal of Computational Physics, 79:12-49, 1988.

[Perona90] P. Perona and J. Malik. Scale-space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(7):629-639, July 1990.

[Pizer97] S.M. Pizer, D. Eberly, B.S. Morse, and D.S. Fritsch. Zoom-invariant vision of figural shape: The mathematics of cores. Computer Vision and Image Understanding, 69(1):55-71, 1997.

[Romeny93] B.M. ter Haar Romeny and L.M.J. Florack. A Multiscale Geometric Model of Human Vision. In Perception of Visual Information, Volume 511 of Lecture Notes in Computer Science, Chapter 4, pages 73-114. Springer-Verlag, 1993.

[Rosenfeld84] A. Rosenfeld. Multiresolution Image Processing and Analysis, Volume 12 of Springer Series in Information Sciences. Springer-Verlag, 1984.

[Rudin92] L. Rudin, S. Osher, and E. Fatemi. Nonlinear total variation based noise removal algorithms. Physica D, 60:259-268, 1992.

[Vincken95b] K.L. Vincken, A.S.E. Koster, and M.A. Viergever. Probabilistic hyperstack segmentation of MR brain data. In Int. Conf. on Computer Vision, Virtual Reality and Robotics in Medicine, Volume 905 of Lecture Notes in Computer Science, pages 351-357, Nice, April 1995.

[Weickert95] J. Weickert. Multiscale texture enhancement. In CAIP'95, pages 230-237, 1995.

[Weickert97] J. Weickert. On the history of Gaussian scale space axiomatics. In Gaussian Scale-Space Theory, Computational Imaging and Vision, pages 3-19. Dordrecht: Kluwer Academic Publishers, 1997.

[Weickert97b] J. Weickert. Recursive separable schemes for nonlinear diffusion filters. In Scale-Space Theory in Computer Vision, Volume 1252 of Lecture Notes in Computer Science, page 260-271, Utrecht, July 1997.

[Weickert97c] J. Weickert. A review of nonlinear diffusion filtering. In Scale-Space Theory in Computer Vision, Volume 1252 of Lecture Notes in Computer Science, pages 3-28, Utrecht, July 1997.

[Witkin83] A.P. Witkin. Scale Space Filtering. In Int. Conf. on Artificial Intelligence, Volume 511, 1983. Karlsruhe.