Irány az átlátható, reprodukálható, multimodális és bizonyítékokon alapuló klinikai mesterséges intelligencia! = Let’s move toward transparent, explainable medical ai!

Balkányi, László (2026) Irány az átlátható, reprodukálható, multimodális és bizonyítékokon alapuló klinikai mesterséges intelligencia! = Let’s move toward transparent, explainable medical ai! LEGE ARTIS MEDICINAE, 36 (4-5). pp. 211-217. ISSN 0866-4811 (nyomtatott); 2063-4161 (elektronikus)

Text irany-az-atlathato-reprodukalhato-multimodalis-es-bizonyitekokon-alapulo-klinikai-mesterseges-intelligencia.pdf - Published Version Restricted to Repository staff only until 29 May 2027. Download (1MB)

Abstract

Az orvoslásban a magyarázatra képes mesterséges intelligencia (MMI) a post-hoc értelmezés felől egy, az orvosi, klinikai gondolkodásnak jobban megfelelő, az átláthatóságot, a reprodukálhatóságot, a bizonytalanság csökkentését és a bizonyítékokon alapuló érvelést is magában foglaló, tágabb eszköztár használata felé fejlődik – legutóbbi számunkban áttekintettük a jelen helyzetet. Most az izgalmas közeljövőre fókuszálunk: a szakirodalom szerint a klinikailag értelmezhető magyarázhatóság már nem korlátozódik a például korábban említett szaliens térképekre vagy a grádiens attribúció ábrákra, hanem az orvosi mesterségesintelligencia-rendszer teljes folyamatát átláthatóvá teszi: az adatok eredetétől, a modell tervezésén, az értékelésen, a jelentéskészítésen át egészen az eredményekig és a bevezetés utáni nyomon követésig. Az elmúlt két-három évben a következő, párhuzamosan haladó fejlesztéseket figyelhetjük meg: 1) a szakterület a belsőleg értelmezhető és koncepcióalapú modellek felé halad, melyek klinikailag értelmezhető közbenső koncepcióikat is bemutatják, látens reprezentációk helyett; 2) a multimodális és longitudinális MMI-k lehetővé teszik a magyarázatot a szövegek, képek, biológiai jelek integrált, strukturált bemutatásával – mindezt az időtengely mentén; 3) a megújuló neuroszimbolikus módszerek ötvözik a neurális modellek rugalmasságát a szimbolikus szabályok és tudásgráfok ellenőrizhetőségével és determinizmusával; 4) a bizonytalanságot figyelembe vevő módszerek, beleértve a kalibrálást és a konformális predikciót, kulcsfontosságú magyarázó eszközökké válnak, jelezve, mikor nem szabad megbízni egy modellben; 5) elismerést kapott, hogy az MI-magyarázatoknak nem csupán a kimenetet kell igazolniuk, hanem csökkenteniük kell a folyamat során a kognitív torzításokat mind az algoritmusok, mind az orvosok esetében. Összességében a reprodukálhatóság és az átláthatóság egyre inkább formalizálódik olyan iránymutatások révén, mint a TRIPOD+AI, a PROBAST+AI és a FUTURE-AI. A jövőben az MMI-t valószínűleg kevésbé az alapján fogják megítélni, hogy hihető indoklásokat generál-e, hanem inkább az alapján, hogy nyomon követhető bizonyítékokat, kalibrált bizonytalanságot, reprodukálható eredményeket és klinikailag hasznos érvelést nyújt-e a valós körülmények között. | In medicine, explainable artificial intelligence (XAI) offers a broader set of tools, shifting from post-hoc interpretation, towards better alignment with medical and clinical thinking, encompassing transparency, reproducibility, reduced uncertainty, and evidencebased reasoning. In our most recent LAM issue, we reviewed the current situation (https://doi.org/10.33616/lam.36.0035). Now we focus on the exciting near future: according to the literature, clinically interpretable explainability is no longer limited to, for example, the salience maps mentioned earlier or gradient attribution plots, but makes the entire process of a medical artificial intelligence system transparent: from the origin of the data, through model design, evaluation, and report generation, to the results and postimplementation monitoring. Over the past two to three years, we have observed the following parallel developments: (1) the field is moving toward internally interpretable and conceptbased models that also present their clinically interpretable intermediate concepts, rather than latent representations; (2) multimodal and longitudinal XAIs enable explanation through the integrated, structured presentation of texts, images, and biological signals—all along the time axis; (3) emerging neurosymbolic methods combine the flexibility of neural models with the verifiability and determinism of symbolic rules and knowledge graphs; (4) methods that account for uncertainty, including calibration and conformal prediction, become key explanatory tools, indicating when a model should not be trusted; (5) it has been recognized that AI explanations must not only justify the output but also reduce cognitive biases during the process for both algorithms and clinicians. Overall, reproducibility and transparency are becoming increasingly formalized through guidelines such as TRIPOD+AI, PROBAST+AI, and FUTURE-AI. In the future, XAI will likely be judged less on whether it generates plausible justifications and more on whether it provides traceable evidence, calibrated uncertainty, reproducible results, and clinically useful reasoning in realworld settings.

Actions (login required)

Edit Item