Auditorische Verarbeitung akustischer Signale mit implantierbaren Hörsystemen für Hörgeschädigte

Auditorische Verarbeitung akustischer Signale mit implantierbaren Hörsystemen für Hörgeschädigte Norbert Dillier Labor für Experimentelle Audiologie ORL-Klinik UniversitätsSpital Zürich

Leben in der Kommunikationsgesellschaft

Kommunikation Uebertragungskanal mit Störungen C = W log ((P + N)/N) C: Channel capacity W: Bandwidth P: Signal power N: Noise power

Informationsübermittlung mit elektrischen Signalen A.G. Bell

Die Hörbahn: Vom Innenohr zum auditiven Cortex Nach Kießling, Kollmeier und Diller (1997)

Im Inneren der Cochlea

Wanderwelle

Corti sches Organ

Innere und äussere Haarzellen

Anordnung der Stereozilien

Elektroanatomie Modell von H. Davies

Mechanoelektrische Transduktion, Tip-Links

Corti-Organ: mikromechanische nichtlineare Kompression Mechano-transduction at OHC Electromotility Promenade round the Cochlea, R. Pujol, CRIC Mechano-transduction at IHC IHC auditory nerve synapse

Efferente und afferente Synapsen zu inneren Haarzellen

Nervenaktionspotentiale (Einzelzelle) Neuron: Dendriten (Input), Soma (Schwellenwert), Axon (Output) Neuron als einfacher elektrischer Schaltkreis Iin: präsynaptische Input Vm: Membranpotential Zeitliche Strom-Spannungs- Beziehung Munkong & Juang (2008) Auditory Perception and Cognition

Innervation

Post stimulus time (PST) Histogramme (Tonebursts)

Impulsantwort Abstimmkurven (Tuning curves)

Auditorische Verarbeitung Munkong & Juang (2008) Auditory Perception and Cognition

Geschädigte Haarzellen Ryan A F PNAS 2000;97:6939-6940

Wie kann bei tauben Patienten die natürliche Hörfunktion künstlich wiederhergestellt werden?

Prinzip der Cochlea-Implantate Gezielte Anregung kleiner Gruppen von Hörnervfasern (mit minimalem Kanal- Uebersprechen) Bestmögliche, auf die Bedingungen der elektrischen Stimulation angepasste, Signalverarbeitungs- Strategien Individuelle Zuordnung der Signalelemente zu psychoelektrischen Wahrnehmungsmöglichkeiten der CI-Träger (Lautheit, Tonhöhe, Klangfarbe)

Zielsetzung für Cochlear Implant Allgemein: Wiederherstellung der natürlichen örtlich-zeitlichen Aktivierungsmuster des Hörnervs Sound signal Natürliches Hören Outer and middle ear Basilar membrane Inner Hair cells Auditory nerve brain (CAS) perception Microphone Hören mit Cochlear Implant Speech processor, coding strategy Transmission system Electrode array

Pionierzeiten: Los Angeles Jack Urban mit CI-Patient 1970, Los Angeles, USA

Pionierzeiten: Melbourne Erster Patient mit Mehrkanal-System Clark et al. (1978) Melbourne, Australien

Erste CI-Operation in der Schweiz (25. 1. 1977)

1977 Signalverarbeitung für CI s: Forschung und Entwicklung im Labor, Patienten als Mitarbeiter im Experiment 1987 1982

CI-Operationen Schweiz Bis Ende 2010: etwa 200 000 Implantationen weltweit (~ 2000 in der Schweiz)

Kinder und Erwachsene 50 : 50

Anzahl Operationen Auditorische Verarbeitung akustischer Signale Implantationen ORL-USZ CI-Operationen aufgeschlüsselt nach Alter Stand: 20.09.2010 60 Insgesamt 604 50 40 Vier Fünftel davon in den Jahren 2000 2010 >65 18-65 30 unter18 3bis12 20 <3 10 0 1977 1981 1983 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 Implantationsjahr

Subjektive Beurteilung des Erfolgs

Wer in dieser Familie ist CI-Träger? CI

Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Electroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

Wenn das Innenohr geschädigt ist und ein Hörgerät zu wenig hilft...... kann mit einem Cochlea- Implantat der Hörnerv direkt elektrisch angeregt werden. Das Gehirn verarbeitet die künstlichen Signale, die vom Hörnerv übertragen werden ähnlich wie natürliche akustische Signale

Wie funktioniert das Innenohr? Orts- und Zeitanalyse Tonotopie (Wanderwelle, Klavier-Tastatur) Periodizität (Schwingungsmuster, Nervenimpuls- Salven

Tonotopie (Zuordnung einer Tonfrequenz zu einem Ortsfilter im Innenohr) apikal (tiefe Töne) basal (hohe Töne)

Einzel- Nervenfaser- Antworten Periodizität Zeitauflösung) Akustisches Signal Summen- Aktions- Potential

Komponenten eines Cochlea-Implantat-Systems Transmitterspule Receiver/Stimulator Mikrofon Sprachprozessor Implantat Elektroden

CI-Systeme - Hersteller Nucleus (22, 24, Freedom, Nucleus 5), Cochlear Pty, Australien Clarion (Hires90k, Auria), Advanced Bionics, USA (Sonova/Phonak, Schweiz) MedEl (Pulsar, Tempo, Combi40), MedEl Oesterreich (Digisonic, Saphyr MXM, Neurelec, Frankreich)

Nucleus System 5 (Cochlear) CP810 sound processor Custom Sound Software CI510 implant with Contour Advance electrode Programming Pod CR110 remote assistant

Hires System (Advanced Bionics)

Pulsar/Tempo (MedEl)

Digisonic/Saphyr (Neurelec)

Uebersicht Wie funktioniert ein Cochlear Implant? Elektroden, implantierte Elektronik Codierungsstrategien für Sprache und Musik Elektroakustische (bimodale/bilaterale) Stimulation Anpassverfahren, objektive Messungen

Elektrodenlage: Ort der Cochleostomie Anterior inferior to R.W. Size : 1.0 / 1.2 mm Picture courtesy of R.Briggs, CRC for CI & HA Innovation, Melbourne, Australia Scala vestibuli Scala tympani Site of cochleostomy

Wie tief einführen?

Cochlear View X-ray Elektrodenposition verifizieren Eindringtiefe (als Winkel) messen

ein Schallmuster wird in ein Stimulationsmuster umgewandelt

Sprach-Verständlichkeit mit CI Codierungsstrategien Fan-Gang Zeng et al., IEEE Rev.BME, 2008

Sprach-Codierungs-Strategien SPEAK Spectral Peak Niedrige Pulsrate (250 pps) mit 6 bis 10 spektralen Maxima CIS Continuous Interleaved Sampling Hohe Pulsrate (2000 pps) auf wenigen Stimulationskanälen ACE (n of m) Advanced Combination Encoder Hohe Pulsrate mit vielen spektralen Maxima

SPEAK (spectral peak) a 6-9 maxima 20 frequency bands 4 ms = 250 Hz

Continuous Interleaved Sampling CIS a 4-12 maxima / frequency bands 720-2400 Hz 1/f

Advanced Combination Encoder ACE a 6-16 maxima 22 frequency bands 500-2400 Hz 1/f

Akustisches Simulations-Modell Analysis Coding Parameters (SPEAK, ACE, CIS) Wav FFT Envelope Maxima FTM Mapping Channels LGF Resynthesis FTM S Normalize Wav Carrier Generator

Akustisches Simulationsmodell Synthesevarianten Amplituden-Modulation von Rauschbändern Sinussignalen Bandpassgefilteren Impulssequenzen Frequenzzuordnung Kanalüberlappung Dynamik

Audio simulations E l e c t r o d e s E l e c t r o d e s E l e c t r o d e s SPEAK ACE CIS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 scheuen: speak 22 scheuen: ace900 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 0 250 scheuen: cis8-900 T im e (m s ) 0 250 T im e (m s )

Simulation of tonotopy Place frequency map 10000 Characteristic frequency (Hz) Distance from round window (mm) 0 Electrodes 1-5 0.75 mm 1000 Speech frequency region 17 mm 22-10 -15-20 -25 100-30

Schallsignal-Vorverarbeitung: Störgeräusch-Reduktion Two sensitivity and phase matched, low-noise, omni-directional microphones, combined into selectable directional responses via DSP (Digital Signal Processing) Calibrated for accuracy and device consistency Standard fixed directionality (similar to Freedom) Zoom static, fixed directionality Beam adaptive directionality Front Omni Mic Rear Omni Mic Nucleus 5 Sound Processor (CP810)

Zoom Directional Sensitivity on head Zoom constantly blocks sounds from behind and to the side of the processor, allowing easier understanding in noisy environments Head blocks sound on this side CP810 Zoom CP810 Standard

Beam Adaptive Noise Reduction CP810 BEAM

1.5 m 1.5 m Auditorische Verarbeitung akustischer Signale Test Setup for speech in noise tests Speech Noise 0 Speech and noise in front (S0N0) Noise ipsilateral (S0NI) Noise contralateral (S0NC) Diffuse noise (90/180/270 o, S0ND) Noise 65 db SPL, speech adjusted adaptively (SRT 50 ) Noise 270 1.5 m 1.5 m Noise 180 Noise 90

% speech score Auditorische Verarbeitung akustischer Signale Speech in noise Normal hearing CI users 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Slope is about 15% per db! -20-15 -10-5 0 5 10 15 20 Signal-to-Noise ratio

Results: differences of spatially separated vs. coincident speech/noise sources -12-11.1-10.8-10 -8-6 -4-2 -2.6-1.4-1.4-7.1-5.7-8.3 S0N+CI S0N-CI S0NDSF 0 2 4 2.2 Standard Zoom Beam Dillier & Lai, 2010

Das Problem: Sprache - Musik

Sprachlaute: Formant-Frequenzen F1 F2

F2: 15 Elektroden Frequenzauflösung für Vokalerkennung 4 5 Elektroden F1: 8 10 Elektroden

Klaviertastatur Frequenzauflösung 2-3 Elektroden 261.6 Hz 523.2 Hz

F2: 15 Elektroden Frequenzauflösung für Sprache und Musik 4 5 Elektroden F1: 8 10 Elektroden

Enveloppe und Feinstruktur Z.M. Smith, B. Delgutte, A. J. Oxenham (2001)

Enveloppe - Sprache 1 K 8 K 32 K

Original - Sprache

Enveloppe - Musik 1 K 8 K 32 K

Feinstruktur - Musik 1 K 8 K 32 K

Original - Musik

Mögliche zukünftige Signalverarbeitungs-Optionen Erhöhte Frequenzauflösung (zusätzliche virtuelle Kanäle) Variable Frequenz-Stimulationsort-Zuordnung (Mapping-Funktionen, harmonische Tonskalen) Codierung der zeitlichen Feinstruktur (Melodie- und Instrumentenerkennung, Konsonant-Vokal-Uebergänge)

Musikmerkmale Lautheit (Dynamik, Rhythmus) Timbre (Tonfarbe, Klang) Melodie

Virtuelle Elektroden: Hypothese (1)

Hypothese (2) Classic Music 22 Electrodes 43 Electrodes Improved frequency representation? Better music perception?

Pitch Ranking: 4 Subjects, 7 Electrode Pairs % more basal electrode judged higher in pitch 21S-20D 21S-20S 20D-20S 0 20 40 60 80 100 18S-17D 18S-17S 17D-17S 0 20 40 60 80 100 15S-14D 15S-14S 14D-14S 0 20 40 60 80 100 12S-11D 12S-11S 11D-11S 0 20 40 60 80 100 9S-8D 9S-8S 8D-8S 0 20 40 60 80 100 6S-5D 6S-5S 5D-5S 0 20 40 60 80 100 3S-2D 3S-2S 2D-2S 0 20 40 60 80 100 21S-20D 21S-20S 20D-20S 0 20 40 60 80 100 18S-17D 18S-17S 17D-17S 0 20 40 60 80 100 15S-14D 15S-14S 14D-14S 0 20 40 60 80 100 12S-11D 12S-11S 11D-11S 0 20 40 60 80 100 9S-8D 9S-8S 8D-8S 0 20 40 60 80 100 6S-5D 6S-5S 5D-5S 0 20 40 60 80 100 4S-3D 4S-3S 3D-3S 0 20 40 60 80 100 21S-20D 21S-20S 20D-20S 0 20 40 60 80 100 18S-17D 18S-17S 17D-17S 0 20 40 60 80 100 15S-14D 15S-14S 14D-14S 0 20 40 60 80 100 12S-11D 12S-11S 11D-11S 0 20 40 60 80 100 9S-8D 9S-8S 8D-8S 0 20 40 60 80 100 6S-5D 6S-5S 5D-5S 0 20 40 60 80 100 3S-2D 3S-2S 2D-2S 0 20 40 60 80 100 21S-20D 21S-20S 20D-20S 0 20 40 60 80 100 18S-17D 18S-17S 17D-17S 0 20 40 60 80 100 15S-14D 15S-14S 14D-14S 0 20 40 60 80 100 12S-11D 12S-11S 11D-11S 0 20 40 60 80 100 9S-8D 9S-8S 8D-8S 0 20 40 60 80 100 6S-5D 6S-5S 5D-5S 0 20 40 60 80 100 4S-3D 4S-3S 3D-3S 0 20 40 60 80 100 01 02 03 04 Subject 21-20 18-17 15-14 12-11 9-8 6-5 3-2 Electrode (double-single single-single single-double)

[%] Instrumentenerkennung (im Testlabor) 100 90 80 70 60 Instrument Recognition ACE 10/1200 (Standard Map) ACE43 12/1200 ACE43 20/720 50 40 30 20 Chance 10 0 Not Tested Not Tested 43/01 43/02 43/03 43/04 Subject

Subject Musikhören zuhause: Präferenzskalierung Preference Home Test ACE 10/1200 (Standard Map) ACE43 12/1200 ACE43 20/720 43/04 13 0 43/03 13 0 43/02 11 2 0 43/01 9 4 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 13 Music Pieces

Ergebnisse Hypothesis (1) Hypothesis (2) 22 Electrodes 43 Electrodes Improved frequency representation? Better music perception?

Folgerungen aus Sprachcodierungsstudien Heutige Cochlea-Implantate vermitteln eine spektrale und zeitliche Auflösung, welche für die Spracherkennung ausreicht, aber für das Musikhören oft nicht genügt Selbst ein kleiner Anteil zusätzlicher zeitlicher Feinstruktur im Stimulationsmuster kann die Musikwahrnehmung und Klangqualität signifikant verbessern Akustische Anregung des Restgehörs ist ein möglicher Weg, dieses Ziel zu erreichen

Auditorische Verarbeitung akustischer Signale 00 Hz Genügend Restgehör in einem oder beiden Ohren: Hörgerät typischerweise für Tieftonbereich 200 Hz Bimodale/EAS Stimulation Cochlea 200 Hz 400 Hz 1000 Hz 2000 Hz 4000 Hz 8000 Hz 20 k 200 Hz 400 Hz 1000 Hz 2000 Hz 4000 Hz 8000 Hz HA Contralateral side HA CI

[%] CI kombiniert mit Hörgerät: Grundfrequenzunterscheidung Pitch Discrimination 100 90 80 70 60 CI & HI CI HI 50 40 30 20 10 0 M.G. K.S. C.H. T.B. I.D. Subject Büchler et al., 2009

[%] CI kombiniert mit Hörgerät: Melodie-Erkennung Melody Recognition 100 90 80 70 60 CI & HI CI HI 50 40 30 20 10 0 M.G. K.S. C.H. Subject Büchler et al., 2009

EAS Ergebnisse (Hybrid-L) Satztest im Störlärm +8dB Lenarz et al. ANO 2009

Lokalisationstest 12 11 1 10 2 9 1.5 m 3 8 4 7 6 5

Lokalisation GZ (46 J/f), links, 2 J postop RMS: 59.4

Lokalisation GZ (46 J/f), rechts, 3 Mte. postop RMS: 68.0

Lokalisation GZ (46 yrs), bilateral, 3 mt postop RMS: 75.6

Patienten-Variablen welche die Wahl einer Codierungsstrategie beeinflussen können Aetiology Alter, Dauer der Ertaubung/Taubheit Gewöhnung, Training Verteilung und Zustand der Hörnerv-Fasern

Sprachprozessor-Anpassung Sprachprozessoren für Cochlear Implants sind komplexe elektronische Geräte mit vielen Möglichkeiten Die Anpassung von Geräteparametern bei Kleinkindern ist sehr anspruchsvoll und zeitaufwendig Objektive Messungen können wertvolle Information für die Programmierung und Feinanpassung liefern

Intracochleäre Messungen elektrisch evozierter Summen-Aktions- Potentiale (ECAP) Stimulus Neural response Implanted electrodes Auditory nerve

Amplitude (uvpp) Amplitude (uv) Auditorische Verarbeitung akustischer Signale Subject Z3, intraop., El.10, FM Intraoperative Schwellenabschätzung (T-NRT) 200 150 100 50 0-50 -100 400 220 210 200 190 188 186 184 182 180 178 176 174 172 170 168 166 164 162 160 150 140-150 350 y = 8.172x - 1403.4 R 2 = 0.9935-200 300 250-250 0.0 0.5 200 1.0 1.5 2.0 Time 150 (msec) 100 50 0 160 170 180 190 200 210 220 Stimulus level (CL)

Mögliche NRT-Anwendungen zur Optimierung der Sprachcodierung Auswhl von optimalen Reizelektroden Abschätzung von maximaler Lautstärke (MCLs) Slower rates Faster rates Abschätzung von Hörschwellen (T-levels) Auswahl optimaler Reizraten

AutoNRT + Automatische Erkennung von neuralen Antworten + Suche nach NRT-Schwellen mittels aufsteigendem Algorithmus + TNRT-Profil automatisch berechnet und für die Anpassung gespeichert

Selektivität, spread of excitation Messungen durch Variation der Maskierungs- und Testelektroden P M&P M Masker and Probe on different electrodes Masker and Probe on same electrode

Response Amplitude uv Auditorische Verarbeitung akustischer Signale Normalized Amplitude Kanal-Uebersprechen: Spread of excitation 250 200 MSI e05 e11 e17 E05 195CL E05 205CL E11 200CL E11 210CL E17 195CL E17 205CL E05 200CL E05 210CL E11 205CL E17 190CL E17 200CL 1 0.9 0.8 0.7 3dB Half-Width MSI e05 e11 e17 Normalized 150 0.6 0.5 100 0.4 0.3 50 0.2 0.1 0 22 21 20 19 18 17 16 15 14 13 12 11 Electrode 10 9 8 7 6 5 4 3 2 1 0 22 21 20 19 18 17 16 15 14 13 12 11 Electrode 10 9 8 7 6 5 4 3 2 1 Lai & Dillier, 2010 Die normalisierte SoE 3dB Bandbreite wächst mit steigendem Stimulationspegel

Response Amplitude uv Auditorische Verarbeitung akustischer Signale Recovery Function time Masker Probe Response Amplitude A 600 500 Time constant τ 400 300 200 100 Relative Refractory Period f ( MPI ) A1 e MPI T 0 / Response Amplitude A 0 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 11000 T 0 : Absolute Refractory Period Masker Probe Interval MPI (us)

Nervenantworten auf Pulsfolgen n pulses probe Masker + probe: n-1 pulses Masker alone: Adapted from Abbas et al. (2002)

Asymptotische Abnahme der Anwortamplitude Antwortamplitude sinkt mit steigender Stimulationsrate "Oszillationen" in Antwortsequenz Beziehung zu Refraktäreigenschaften stimulierter Neurone Amplitude uv Auditorische Verarbeitung akustischer Signale Nervenantworten auf Pulsfolgen Messreihen Antwort auf den letzten Puls in der Pulsfolge Anzahl Pulse ansteigend von 1 bis n Nervenantwort ändert mit Pulsnummer (d.h. zeitlich variabel) 250 GR e06 200CL 200 500pps 150 100 1000pps 2000pps etc. 50 0 0 10 20 30 40 50 60 Time ms

Modellierung Nico Schmidt, 2009

Resultate mit/ohne Adaptation Nico Schmidt, 2009

Perspektiven, weitere Entwicklungen Codierung: verbesserte Auflösung zeitlicher und spektraler Signalelemente Verbesserte Klangqualität (Musikhören) und Differenzierung im Störlärm Vorverarbeitung zur Dynamikanpassung und Störlärmunterdrückung Kombinierte akustische und elektrische Stimulation Beidseitige Versorgung Präzisere Programmierung und Feinanpassung mit Hilfe von objektiven Messungen

Cochlea-Implantations-Programm: eine Team-Arbeit Audiologie, Diagnostik, Evaluation Chirurgie, medizinische Intervention Geräteanpassung, Sprachcodierungsstrategien Rehabilitation, Sprach- und Sprechentwicklung

Das CI-Team

Vielen Dank! Acknowledgements Wai Kong Lai, Michael Büchler, Sherif Omran Swiss National Science Foundation Cochlear AG