Auditorische Verarbeitung akustischer Signale mit implantierbaren Hörsystemen für Hörgeschädigte

Transkript

1 Auditorische Verarbeitung akustischer Signale mit implantierbaren Hörsystemen für Hörgeschädigte Norbert Dillier Labor für Experimentelle Audiologie ORL-Klinik UniversitätsSpital Zürich

2 Leben in der Kommunikationsgesellschaft

3 Kommunikation Uebertragungskanal mit Störungen C = W log ((P + N)/N) C: Channel capacity W: Bandwidth P: Signal power N: Noise power

4 Informationsübermittlung mit elektrischen Signalen A.G. Bell

5 Die Hörbahn: Vom Innenohr zum auditiven Cortex Nach Kießling, Kollmeier und Diller (1997)

6 Im Inneren der Cochlea

7 Wanderwelle

8 Corti sches Organ

9 Innere und äussere Haarzellen

10 Anordnung der Stereozilien

11 Elektroanatomie Modell von H. Davies

12 Mechanoelektrische Transduktion, Tip-Links

13 Corti-Organ: mikromechanische nichtlineare Kompression Mechano-transduction at OHC Electromotility Promenade round the Cochlea, R. Pujol, CRIC Mechano-transduction at IHC IHC auditory nerve synapse

14 Efferente und afferente Synapsen zu inneren Haarzellen

15 Nervenaktionspotentiale (Einzelzelle) Neuron: Dendriten (Input), Soma (Schwellenwert), Axon (Output) Neuron als einfacher elektrischer Schaltkreis Iin: präsynaptische Input Vm: Membranpotential Zeitliche Strom-Spannungs- Beziehung Munkong & Juang (2008) Auditory Perception and Cognition

16 Innervation

17 Post stimulus time (PST) Histogramme (Tonebursts)

18 Impulsantwort Abstimmkurven (Tuning curves)

19 Auditorische Verarbeitung Munkong & Juang (2008) Auditory Perception and Cognition

20 Geschädigte Haarzellen Ryan A F PNAS 2000;97:

21 Wie kann bei tauben Patienten die natürliche Hörfunktion künstlich wiederhergestellt werden?

22 Prinzip der Cochlea-Implantate Gezielte Anregung kleiner Gruppen von Hörnervfasern (mit minimalem Kanal- Uebersprechen) Bestmögliche, auf die Bedingungen der elektrischen Stimulation angepasste, Signalverarbeitungs- Strategien Individuelle Zuordnung der Signalelemente zu psychoelektrischen Wahrnehmungsmöglichkeiten der CI-Träger (Lautheit, Tonhöhe, Klangfarbe)

23 Zielsetzung für Cochlear Implant Allgemein: Wiederherstellung der natürlichen örtlich-zeitlichen Aktivierungsmuster des Hörnervs Sound signal Natürliches Hören Outer and middle ear Basilar membrane Inner Hair cells Auditory nerve brain (CAS) perception Microphone Hören mit Cochlear Implant Speech processor, coding strategy Transmission system Electrode array

24 Pionierzeiten: Los Angeles Jack Urban mit CI-Patient 1970, Los Angeles, USA

25 Pionierzeiten: Melbourne Erster Patient mit Mehrkanal-System Clark et al. (1978) Melbourne, Australien

26 Erste CI-Operation in der Schweiz ( )

27 1977 Signalverarbeitung für CI s: Forschung und Entwicklung im Labor, Patienten als Mitarbeiter im Experiment

28 CI-Operationen Schweiz Bis Ende 2010: etwa Implantationen weltweit (~ 2000 in der Schweiz)

29 Kinder und Erwachsene 50 : 50

30 Anzahl Operationen Auditorische Verarbeitung akustischer Signale Implantationen ORL-USZ CI-Operationen aufgeschlüsselt nach Alter Stand: Insgesamt Vier Fünftel davon in den Jahren > unter18 3bis12 20 < Implantationsjahr

31 Subjektive Beurteilung des Erfolgs

32 Wer in dieser Familie ist CI-Träger? CI

33 Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Electroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

34 Wenn das Innenohr geschädigt ist und ein Hörgerät zu wenig hilft kann mit einem Cochlea- Implantat der Hörnerv direkt elektrisch angeregt werden. Das Gehirn verarbeitet die künstlichen Signale, die vom Hörnerv übertragen werden ähnlich wie natürliche akustische Signale

35 Wie funktioniert das Innenohr? Orts- und Zeitanalyse Tonotopie (Wanderwelle, Klavier-Tastatur) Periodizität (Schwingungsmuster, Nervenimpuls- Salven

36 Tonotopie (Zuordnung einer Tonfrequenz zu einem Ortsfilter im Innenohr) apikal (tiefe Töne) basal (hohe Töne)

37 Einzel- Nervenfaser- Antworten Periodizität Zeitauflösung) Akustisches Signal Summen- Aktions- Potential

38 Komponenten eines Cochlea-Implantat-Systems Transmitterspule Receiver/Stimulator Mikrofon Sprachprozessor Implantat Elektroden

39 CI-Systeme - Hersteller Nucleus (22, 24, Freedom, Nucleus 5), Cochlear Pty, Australien Clarion (Hires90k, Auria), Advanced Bionics, USA (Sonova/Phonak, Schweiz) MedEl (Pulsar, Tempo, Combi40), MedEl Oesterreich (Digisonic, Saphyr MXM, Neurelec, Frankreich)

40 Nucleus System 5 (Cochlear) CP810 sound processor Custom Sound Software CI510 implant with Contour Advance electrode Programming Pod CR110 remote assistant

41 Hires System (Advanced Bionics)

42 Pulsar/Tempo (MedEl)

43 Digisonic/Saphyr (Neurelec)

44 Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Elektroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

45 Elektrodenlage: Ort der Cochleostomie Anterior inferior to R.W. Size : 1.0 / 1.2 mm Picture courtesy of R.Briggs, CRC for CI & HA Innovation, Melbourne, Australia Scala vestibuli Scala tympani Site of cochleostomy

46 Wie tief einführen?

47 Cochlear View X-ray Elektrodenposition verifizieren Eindringtiefe (als Winkel) messen

48 Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Elektroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

49 ein Schallmuster wird in ein Stimulationsmuster umgewandelt

50 Sprach-Verständlichkeit mit CI Codierungsstrategien Fan-Gang Zeng et al., IEEE Rev.BME, 2008

51 Sprach-Codierungs-Strategien SPEAK Spectral Peak Niedrige Pulsrate (250 pps) mit 6 bis 10 spektralen Maxima CIS Continuous Interleaved Sampling Hohe Pulsrate (2000 pps) auf wenigen Stimulationskanälen ACE (n of m) Advanced Combination Encoder Hohe Pulsrate mit vielen spektralen Maxima

52 SPEAK (spectral peak) a 6-9 maxima 20 frequency bands 4 ms = 250 Hz

53 Continuous Interleaved Sampling CIS a 4-12 maxima / frequency bands Hz 1/f

54 Advanced Combination Encoder ACE a 6-16 maxima 22 frequency bands Hz 1/f

55 Akustisches Simulations-Modell Analysis Coding Parameters (SPEAK, ACE, CIS) Wav FFT Envelope Maxima FTM Mapping Channels LGF Resynthesis FTM S Normalize Wav Carrier Generator

56 Akustisches Simulationsmodell Synthesevarianten Amplituden-Modulation von Rauschbändern Sinussignalen Bandpassgefilteren Impulssequenzen Frequenzzuordnung Kanalüberlappung Dynamik

57 Audio simulations E l e c t r o d e s E l e c t r o d e s E l e c t r o d e s SPEAK ACE CIS scheuen: speak 22 scheuen: ace scheuen: cis8-900 T im e (m s ) T im e (m s )

58 Simulation of tonotopy Place frequency map Characteristic frequency (Hz) Distance from round window (mm) 0 Electrodes mm 1000 Speech frequency region 17 mm

59 Schallsignal-Vorverarbeitung: Störgeräusch-Reduktion Two sensitivity and phase matched, low-noise, omni-directional microphones, combined into selectable directional responses via DSP (Digital Signal Processing) Calibrated for accuracy and device consistency Standard fixed directionality (similar to Freedom) Zoom static, fixed directionality Beam adaptive directionality Front Omni Mic Rear Omni Mic Nucleus 5 Sound Processor (CP810)

60 Zoom Directional Sensitivity on head Zoom constantly blocks sounds from behind and to the side of the processor, allowing easier understanding in noisy environments Head blocks sound on this side CP810 Zoom CP810 Standard

61 Beam Adaptive Noise Reduction CP810 BEAM

62 1.5 m 1.5 m Auditorische Verarbeitung akustischer Signale Test Setup for speech in noise tests Speech Noise 0 Speech and noise in front (S0N0) Noise ipsilateral (S0NI) Noise contralateral (S0NC) Diffuse noise (90/180/270 o, S0ND) Noise 65 db SPL, speech adjusted adaptively (SRT 50 ) Noise m 1.5 m Noise 180 Noise 90

63 % speech score Auditorische Verarbeitung akustischer Signale Speech in noise Normal hearing CI users 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Slope is about 15% per db! Signal-to-Noise ratio

64 Results: differences of spatially separated vs. coincident speech/noise sources S0N+CI S0N-CI S0NDSF Standard Zoom Beam Dillier & Lai, 2010

65 Das Problem: Sprache - Musik

66 Sprachlaute: Formant-Frequenzen F1 F2

67 F2: 15 Elektroden Frequenzauflösung für Vokalerkennung 4 5 Elektroden F1: 8 10 Elektroden

68 Klaviertastatur Frequenzauflösung 2-3 Elektroden Hz Hz

69 F2: 15 Elektroden Frequenzauflösung für Sprache und Musik 4 5 Elektroden F1: 8 10 Elektroden

70 Enveloppe und Feinstruktur Z.M. Smith, B. Delgutte, A. J. Oxenham (2001)

71 Enveloppe - Sprache 1 K 8 K 32 K

72 Original - Sprache

73 Enveloppe - Musik 1 K 8 K 32 K

74 Feinstruktur - Musik 1 K 8 K 32 K

75 Original - Musik

76 Mögliche zukünftige Signalverarbeitungs-Optionen Erhöhte Frequenzauflösung (zusätzliche virtuelle Kanäle) Variable Frequenz-Stimulationsort-Zuordnung (Mapping-Funktionen, harmonische Tonskalen) Codierung der zeitlichen Feinstruktur (Melodie- und Instrumentenerkennung, Konsonant-Vokal-Uebergänge)

77 Musikmerkmale Lautheit (Dynamik, Rhythmus) Timbre (Tonfarbe, Klang) Melodie

78 Virtuelle Elektroden: Hypothese (1)

79 Hypothese (2) Classic Music 22 Electrodes 43 Electrodes Improved frequency representation? Better music perception?

80 Pitch Ranking: 4 Subjects, 7 Electrode Pairs % more basal electrode judged higher in pitch 21S-20D 21S-20S 20D-20S S-17D 18S-17S 17D-17S S-14D 15S-14S 14D-14S S-11D 12S-11S 11D-11S S-8D 9S-8S 8D-8S S-5D 6S-5S 5D-5S S-2D 3S-2S 2D-2S S-20D 21S-20S 20D-20S S-17D 18S-17S 17D-17S S-14D 15S-14S 14D-14S S-11D 12S-11S 11D-11S S-8D 9S-8S 8D-8S S-5D 6S-5S 5D-5S S-3D 4S-3S 3D-3S S-20D 21S-20S 20D-20S S-17D 18S-17S 17D-17S S-14D 15S-14S 14D-14S S-11D 12S-11S 11D-11S S-8D 9S-8S 8D-8S S-5D 6S-5S 5D-5S S-2D 3S-2S 2D-2S S-20D 21S-20S 20D-20S S-17D 18S-17S 17D-17S S-14D 15S-14S 14D-14S S-11D 12S-11S 11D-11S S-8D 9S-8S 8D-8S S-5D 6S-5S 5D-5S S-3D 4S-3S 3D-3S Subject Electrode (double-single single-single single-double)

81 [%] Instrumentenerkennung (im Testlabor) Instrument Recognition ACE 10/1200 (Standard Map) ACE43 12/1200 ACE43 20/ Chance 10 0 Not Tested Not Tested 43/01 43/02 43/03 43/04 Subject

82 Subject Musikhören zuhause: Präferenzskalierung Preference Home Test ACE 10/1200 (Standard Map) ACE43 12/1200 ACE43 20/720 43/ / / / % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 13 Music Pieces

83 Ergebnisse Hypothesis (1) Hypothesis (2) 22 Electrodes 43 Electrodes Improved frequency representation? Better music perception?

84 Folgerungen aus Sprachcodierungsstudien Heutige Cochlea-Implantate vermitteln eine spektrale und zeitliche Auflösung, welche für die Spracherkennung ausreicht, aber für das Musikhören oft nicht genügt Selbst ein kleiner Anteil zusätzlicher zeitlicher Feinstruktur im Stimulationsmuster kann die Musikwahrnehmung und Klangqualität signifikant verbessern Akustische Anregung des Restgehörs ist ein möglicher Weg, dieses Ziel zu erreichen

85 Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Elektroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

86 Auditorische Verarbeitung akustischer Signale 00 Hz Genügend Restgehör in einem oder beiden Ohren: Hörgerät typischerweise für Tieftonbereich 200 Hz Bimodale/EAS Stimulation Cochlea 200 Hz 400 Hz 1000 Hz 2000 Hz 4000 Hz 8000 Hz 20 k 200 Hz 400 Hz 1000 Hz 2000 Hz 4000 Hz 8000 Hz HA Contralateral side HA CI

87 [%] CI kombiniert mit Hörgerät: Grundfrequenzunterscheidung Pitch Discrimination CI & HI CI HI M.G. K.S. C.H. T.B. I.D. Subject Büchler et al., 2009

88 [%] CI kombiniert mit Hörgerät: Melodie-Erkennung Melody Recognition CI & HI CI HI M.G. K.S. C.H. Subject Büchler et al., 2009

89 EAS Ergebnisse (Hybrid-L) Satztest im Störlärm +8dB Lenarz et al. ANO 2009

90 Lokalisationstest m

91

92 Lokalisation GZ (46 J/f), links, 2 J postop RMS: 59.4

93 Lokalisation GZ (46 J/f), rechts, 3 Mte. postop RMS: 68.0

94 Lokalisation GZ (46 yrs), bilateral, 3 mt postop RMS: 75.6

95 Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Elektroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

96 Patienten-Variablen welche die Wahl einer Codierungsstrategie beeinflussen können Aetiology Alter, Dauer der Ertaubung/Taubheit Gewöhnung, Training Verteilung und Zustand der Hörnerv-Fasern

97 Sprachprozessor-Anpassung Sprachprozessoren für Cochlear Implants sind komplexe elektronische Geräte mit vielen Möglichkeiten Die Anpassung von Geräteparametern bei Kleinkindern ist sehr anspruchsvoll und zeitaufwendig Objektive Messungen können wertvolle Information für die Programmierung und Feinanpassung liefern

98 Intracochleäre Messungen elektrisch evozierter Summen-Aktions- Potentiale (ECAP) Stimulus Neural response Implanted electrodes Auditory nerve

99 Amplitude (uvpp) Amplitude (uv) Auditorische Verarbeitung akustischer Signale Subject Z3, intraop., El.10, FM Intraoperative Schwellenabschätzung (T-NRT) y = 8.172x R 2 = Time 150 (msec) Stimulus level (CL)

100 Mögliche NRT-Anwendungen zur Optimierung der Sprachcodierung Auswhl von optimalen Reizelektroden Abschätzung von maximaler Lautstärke (MCLs) Slower rates Faster rates Abschätzung von Hörschwellen (T-levels) Auswahl optimaler Reizraten

101 AutoNRT + Automatische Erkennung von neuralen Antworten + Suche nach NRT-Schwellen mittels aufsteigendem Algorithmus + TNRT-Profil automatisch berechnet und für die Anpassung gespeichert

102 Selektivität, spread of excitation Messungen durch Variation der Maskierungs- und Testelektroden P M&P M Masker and Probe on different electrodes Masker and Probe on same electrode

103 Response Amplitude uv Auditorische Verarbeitung akustischer Signale Normalized Amplitude Kanal-Uebersprechen: Spread of excitation MSI e05 e11 e17 E05 195CL E05 205CL E11 200CL E11 210CL E17 195CL E17 205CL E05 200CL E05 210CL E11 205CL E17 190CL E17 200CL dB Half-Width MSI e05 e11 e17 Normalized Electrode Electrode Lai & Dillier, 2010 Die normalisierte SoE 3dB Bandbreite wächst mit steigendem Stimulationspegel

104 Response Amplitude uv Auditorische Verarbeitung akustischer Signale Recovery Function time Masker Probe Response Amplitude A Time constant τ Relative Refractory Period f ( MPI ) A1 e MPI T 0 / Response Amplitude A T 0 : Absolute Refractory Period Masker Probe Interval MPI (us)

105 Nervenantworten auf Pulsfolgen n pulses probe Masker + probe: n-1 pulses Masker alone: Adapted from Abbas et al. (2002)

106 Asymptotische Abnahme der Anwortamplitude Antwortamplitude sinkt mit steigender Stimulationsrate "Oszillationen" in Antwortsequenz Beziehung zu Refraktäreigenschaften stimulierter Neurone Amplitude uv Auditorische Verarbeitung akustischer Signale Nervenantworten auf Pulsfolgen Messreihen Antwort auf den letzten Puls in der Pulsfolge Anzahl Pulse ansteigend von 1 bis n Nervenantwort ändert mit Pulsnummer (d.h. zeitlich variabel) 250 GR e06 200CL pps pps 2000pps etc Time ms

107 Modellierung Nico Schmidt, 2009

108 Resultate mit/ohne Adaptation Nico Schmidt, 2009

109 Perspektiven, weitere Entwicklungen Codierung: verbesserte Auflösung zeitlicher und spektraler Signalelemente Verbesserte Klangqualität (Musikhören) und Differenzierung im Störlärm Vorverarbeitung zur Dynamikanpassung und Störlärmunterdrückung Kombinierte akustische und elektrische Stimulation Beidseitige Versorgung Präzisere Programmierung und Feinanpassung mit Hilfe von objektiven Messungen

110 Cochlea-Implantations-Programm: eine Team-Arbeit Audiologie, Diagnostik, Evaluation Chirurgie, medizinische Intervention Geräteanpassung, Sprachcodierungsstrategien Rehabilitation, Sprach- und Sprechentwicklung

111 Das CI-Team

112 Vielen Dank! Acknowledgements Wai Kong Lai, Michael Büchler, Sherif Omran Swiss National Science Foundation Cochlear AG