Johner Institut Künstliche Intelligenz Der Spaß ist vorbei MedConf 2018
Lineare Algebra Analysis, Differenzial- und Integralrechnung Wahrscheinlichkeitstheorie & Statistik Algorithmen & Komplexitätstheorie Artificial Intelligence Machine Learning Deep Neural Networks Computer Vision
Machine Digitalisierung Disruptiv Big Data A.I. IBM Watson Learning Innovation Tensorflow Bullshit Bingo Künstliche Deep Neural Networks Data Science Digitale Trans- Start-up Analytics Intelligenz formation Self Driving Car Convolutional Back Google Duplex Virtual Reality Neural Industrie 4.0 Silicon Valley Propagation Networks
Sichtbarkeit Deep Learning Machine Learning NLP Computer Vision GPU Accelerators AI Governance Autonomous Vehicles Speech Recognition Virtual Reality Chatbots Augmented Reality Reife Technologische Gipfel der Tal der Aufstieg zur Plateau der Auslöser überzogenen Desillusion Erleuchtung Produktivität Erwartungen Quelle: Gartner 2018
Spiegel Ausgabe 45/2017 Spiegel Ausgabe 32/2018
Deep learning is for people lacking the engineering skills to solve the problem properly. 6
8
Professor Zellweger erleben beim Institutstag am 05.07.2019 www.institutstag.de
Bis zum Tod...
Bilderkennung (z.b. Retinopathie) Qualitätssicherung Erkennung von Depressionen Erkennung von Epidemien Medikation (Auswahl, Dosierung) Prognose von Krankheiten / Tod Drug-Design Text à strukturierte Daten Signalverarbeitung u.v.m. KI in der Medizin 11
1 Grundlagen
Artificial Intelligence A machine s ability to make decisions and perform tasks that simulate human intelligence and behavior. Alternatively 1. A branch of computer science dealing with the simulation of intelligent behavior in computers. Definition 2. The capability of a machine to imitate intelligent human behavior Merriam-Webster 13
Alan Turing
Künstliche Intelligenz KI) Artificial Intelligence (AI) Machine Learning (ML) Symbolic Learning Statistical Learning Deep Learning Baysian Filter
Symbolic Learning
Künstliche Intelligenz KI) Artificial Intelligence (AI) Symbolic Machine Learning (ML) Learning Statistical Learning Deep Learning
Machine Learning A facet of AI that focuses on algorithms, allowing machines to learn and change without being programmed when exposed to new data. Definition 18
Klassisch Modell bilden Modell mit Rohdaten füttern Ergebnisse mit Modell berechnen Ergebnisse vergleichen Verfahren (Meta- Model) wählen Mit Rohdaten & Ergebnissen füttern Modell bilden (lernen) lassen Ergebnisse vergleichen Machine Learning
Klassische Verarbeitung Machine Learning Daten Daten Daten Daten Daten Daten Daten Algorithmus abhängig von Daten!
Was lässt jemanden alt aussehen? www Heatmapping http://www.heatmapping.org/slides/xai18.pdf
Künstliche Intelligenz KI) Artificial Intelligence (AI) Symbolic Machine Learning (ML) Learning Statistical Learning Deep Learning
Deep Learning The ability for machines to autonomously mimic human thought patterns through artificial neural networks composed of cascading layers Definition of information. 23
2 Verfahren
KI Verfahren in der Medizin Jiang F, Jiang Y, Zhi H, et al. Artificial intelligence in healthcare: past, present and future. Stroke and Vascular Neurology 2017;2:doi:10.1136/svn-2017-000101 25
100 90 Körpergewicht [kg] 80 70 60 50 y = m x + c 40 155 160 165 170 175 180 185 190 195 Körpergröße [kg] Lineare Regression
Bestimmung von m und c Algorithmisches Verfahren Näherungsverfahren
100 90 Körpergewicht [kg] 80 70 60 50 40 155 160 165 170 175 180 185 190 195 Körpergröße [kg] Lineare Regression
Open
Fehler Loss Function Große Lernrate Kleine Lernrate m Loss Function 30
1,2 1 Rückenprobleme 0,8 0,6 0,4 0,2 0 155 160 165 170 175 180 185 190 195 Körpergröße [cm] Logistische Regression
Körpergewicht [kg] Mit Rückbeschwerden Ohne Rückbeschwerden Loss-Function: Anzahl Fehlklassifizierungen 2 Fehlklassifizierungen 1 Fehlklassifizierung Körpergröße [cm] Logistische Regression
Körpergewicht [kg] Mit Rückbeschwerden Ohne Rückbeschwerden Körpergröße [cm] Neuronale Netzwerke
Dendrit Zellkern Axon Soma x 1 w 1 Aktivierungsfunktion j x 2 w 2 x 3 w 3 Output y... x n w n Schwellwert c
x 1 w 1 Aktivierungsfunktion j x 2 w 2 x 3 w 3 Output y... x n w n Schwellwert c
Aktivierungsfunktionen j 36
y = j(x) y = j(x+2) Schwellwert c Schwellwert c = 2 37
Aktivierungs- x 2 1 0 1 funktion j x 1 w 1 Input Output y o 0 0 x 1 x 2 w 2 Schwellwert c o 1 W 1 = 1 AND Operator W 2 = 1 x 1 x 2 y = x 1 AND x 2 C = 1,5 0 0 0 0 1 0 Beispiel AND und OR 1 0 0 1 1 1
x 1 Körpergewicht [kg] Aktivierungsfunktion j x 1 w 1 Input Output y x 2 w 2 Schwellwert c x 2 Körpergröße [cm] Neuronale Netzwerke Mit Rückbeschwerden Ohne Rückbeschwerden
Ohne Befund Infarkt Parkinson Klassifizierung Neoplasie
0 18 37 254 254... 0 18 37 254 254... 12 32 158 203... 54...
0,00 0,07 0,15 1,00 1,00... 0,05 0,13 0,62 0,80... 0,21...
Zeile 1 0,00 0,07 0,15 1,00 1,00... Zeile 2 0,05 0,13 0,62 0,80... Zeile 3 0,21...... 0,00 0,07 0,15 1,00 1,00... 0,05 0,13 0,62 0,80... 0,21...
0,07 1,00 0,05... 0,13... Ohne Befund Infarkt 1,00 0,15 Parkinson Neoplasie Input Hidden Output 0,00 Layer Layer Layer
0,999 0 0,999; 0; 0; 0,999 0 0,999 0 0,999 0; 0,999; 0,999; 0 0,999 0 Bilderkennung (Beispiel)
1 1 2 0,999 2 1 1 0 0 3 0 0 3 2 1 0,999... 4 50 4 Inputs 4 Nodes 50 Nodes 2 Nodes Input Layer Layer 1 Output Layer
Layer (type) Output Shape Param # W 1,1 ============================================= dense_1 (Dense) (None, 4) 20 0,999 W 2,1 W 1,2 dense_2 (Dense) (None, 50) 250 0 W 1,3 dense_3 (Dense) (None, 2) 102 0 ============================================= 0,999 W 1,4 Total params: 372 20 = 4 x 4 input weights + 4 biases 250 = 4 x 50 weights + 50 biases 102 = 50 x 2 weights + 2 biases
Anzahl Layer Wahl des Optimizers Anzahl Neuronen pro Layer Lernrate Typ an Layer Wahl der Aktivierungsfunktion Verschaltung der Layer Anzahl der Iterationen Wahl der Loss-Function u.v.m. Modell-/Hyperparameter
3 Regulatorische Anforderungen
For devices that incorporate software or for software that are devices in themselves, the software shall be developed and manufactured in accordance with the state of the art taking into account the principles of development life cycle, risk management, including information security, verification and validation. MDR Annex I, 17.2
Devices that incorporate electronic programmable systems, including software, or software that are devices in themselves, shall be designed to ensure repeatability, reliability and performance in line with their intended use. MDR Annex I, 17.1
Wiederholbarkeit Vorhersagbarkeit Spezifität Sensitivität Was ist der claim? Klinische Relevanz Verifikation und Validierung 53
Richtiges Modell gewählt Modell sagt korrekt voraus Richtig implementiert Klinisch validiert Vorhersagen sind klinisch relevant Richtig trainiert V&V bei KI
During design and development planning, the organization shall document the resources needed, including necessary competence of personnel ISO 13485:2016 7.3.2 f ) The organization shall document validation plans that include methods, acceptance criteria and, as appropriate, statistical techniques with rationale for sample size. ISO 13485:2016 7.3.7 ISO 13485:2016 (7.3.)
4.1.6 The organization shall document procedures for the validation of the application of computer software used in the quality management system. Such software applications shall be validated prior to initial use and, as appropriate, after changes to such software or its application. The specific approach and activities associated with software validation and revalidation shall be proportionate to the risk associated with the use of the software. ISO 13485:2016 (4.1.6)
Data collection Data preparation Development of model IEC 62304 Validation of model Software distribution Operation of software Diese (Verarbeitungs-)Schritte nutzen (üblicherweise) Software, die nicht Teil des Medizinprodukts ist. Diese Software ist zu validieren!
Stakeholder Requirements System = Software Validation IEC 62304 Chapter 5.2 System = Software Requirements System = Software Tests IEC 62304 Chapter 5.7 IEC 62304 Chapter 5.3 Software Architecture Component Integration Tests IEC 62304 Chapter 5.6 IEC 62304 Chapter 5.4 Component Requirements Unit / Component Tests IEC 62304 Chapter 5.6 IEC 62304 Implementation IEC 62304 Chapter 5.5
SOUP Software of Unknown Provenance SOUP
DSGVO Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung einschließlich Profiling beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
4 Probleme
Falsche Ergebnisse Unvorhersehbare Ergebnisse Unklare Güte der Ergebnisse Unklare Grenzen / Vorbedingungen Mangelnde Wiederholbarkeit Befürchtungen
Chihuahua oder Muffin? Verlässlichkeit der Ergebnisse https://sodoherty.ai/2017/09/28/chihuahua-or-muffin-revisited/
Underfitting Overfitting Overfitting https://de.wikipedia.org/wiki/%c3%9cberanpassung
Fehler Loss Function Sehr große Lernrate Große Lernrate Kleine Lernrate m Minimum finden 65
Fehler Kleine Lernrate m Minimum finden 66
Assistant CEO
https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/nguyen_deep_neural_networks_2015_cvpr_paper.pdf 68
Zufällig richtig? DOI: http://dx.doi.org/10.1145/2939672.2939778
I said no. I said we don t understand what it does inside. I said I was afraid. Dr. Rich Caruana, Microsoft Research
Zustand Lungenentzündung Beste Behandlung Besserer Zustand Lungenentzündung + Asthma
Korrelation!= Kausalität
Maschine Mensch Goldstandard?
What is the Ground Truth? 74
Ein(e) Mediziner(in) Beste Mediziner(in) Beste Mediziner(in) Goldstandard? 75
Auswahl und Qualität der Daten Wahl der Hyperparameter Menge der Daten Kausalität versus Korrelation Datenverarbeitung Reproduzierbarkeit (u.a. CLS) Training, Labeling, Aufteilung Wahl des Goldstandards Wahl des Modells Explainability Kritische Faktoren 76
5 Explainability
1 Grundlagen, Definitionen 2 Verfahren 3 Regulatorische Anforderungen 4 Probleme 5 Explainability
Beeinflussung durch A.I.
Myself is somebody with no previous background in medicine. I seem to be entirely unqualified to start a new medical company, what I did. Jeremy Howard
Nur ein einziger Data Scientist kann das Geschäftsmodell vieler Firmen bedrohen. Was können dann erst viele?
Missbrauch durch A.I. Konkurrenz (Tech Giants, Startups,...) Überzogene Erwartungen in A.I. Blindes Vertrauen in A.I. FDA nutzt und reguliert A.I. Bedrohungen 84
Ausprobieren, Kompetenz erhöhen Innovation in Produkte überführen Gegengewicht zu Tech-Giganten Ethischer Umgang Patienten nutzen Chancen 85
Johner Institut Exzellenz Mittelmaß
Johner Institut Wir helfen Medizinprodukteherstellern mit schlanken Akten sicher durch Audit und Zulassungen. Unterlagen erstellen und für Zulassung vorbereiten Technische Dokumentation auf MDR-Konformität prüfen QM-Systeme aufbauen, entschlacken, auditieren Usability Tests durchführen (USA, Deutschland) Klinische Bewertungen erstellen Klinische Prüfungen durchführen Als Inverkehrbringer agieren Mitarbeiter/innen qualifizieren