*DE A *

Transkript

1 (19) *DE A * (10) DE A (12) Offenlegungsschrift (21) Aktenzeichen: (22) Anmeldetag: (43) Offenlegungstag: (66) Innere Priorität: (71) Anmelder: Robert Bosch GmbH, Stuttgart, DE (51) Int Cl.: G01P 21/00 ( ) (72) Erfinder: Bichler, Rudolf, Reutlingen, DE; Dorsch, Rainer, Dettenhausen, DE; Claus, Thomas, Tübingen, DE; Middendorf, Lars, Rostock, DE; Haubelt, Christian, Kritzmow, DE Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen (54) Bezeichnung: Vorrichtung zum Abgleich und Selbsttest von Inertialsensoren und Verfahren (57) Zusammenfassung: Die Erfindung geht aus von einer Vorrichtung (10) mit einer Kamera (100), mit einer Verarbeitungseinheit (200) und mit wenigstens einem Inertialsensor (300), wobei die Verarbeitungseinheit (200) dazu eingerichtet ist, aus Bewegungsdaten (30) des wenigstens einen Inertialsensors (300) ein erstes Bewegungsprofil (320) der Vorrichtung (10) zu bestimmen. Der Kern der Erfindung besteht darin, dass die Verarbeitungseinheit (200) dazu eingerichtet ist, aus Bilddaten (40) eines mit der Kamera (100) beobachteten Objekts (400) ein zweites Bewegungsprofil (420) der Vorrichtung (10) zu bestimmen. Die Erfindung betrifft auch ein Verfahren zum Abgleich und Selbsttest von Inertialsensoren, sowie ein Computerprogrammprodukt.

2 Beschreibung Stand der Technik [0001] Die Erfindung geht aus von einer Vorrichtung mit einer Kamera, mit einer Verarbeitungseinheit und mit wenigstens einem Inertialsensor, wobei die Verarbeitungseinheit dazu eingerichtet ist, aus Bewegungsdaten des wenigstens einen Inertialsensors ein erstes Bewegungsprofil der Vorrichtung zu bestimmen. Derartige Vorrichtungen sind beispielsweise als Smartphone oder Digitalkamera bekannt. Die Inertialsensoren eines Smartphones werden im Endtest bei der Produktion abgeglichen. Aus Kostengründen wird häufig nur ein minimaler Abgleich durchgeführt, was die Genauigkeit einschränkt. Durch den Einbau (Lötung) der Sensoren im Smartphone entsteht eine weitere Genauigkeitsreduktion. Diese kann beim Smartphone-Endtest durch Nachkalibration wieder entfernt werden, was aber zu erhöhten Kosten führt und höhere Anforderungen an die Produktion stellt. Die erreichbare Genauigkeit ist eingeschränkt, insbesondere wenn die Inertialsensoren in Anwendungen wie Indoor-Navigation angewendet werden sollen. Falls mehrere Inertialsensoren und weitere Eingabegeräte, wie z.b. eine Kamera kombiniert werden, können die unterschiedlichen Laufzeiten (Latenz) der Signale innerhalb des Systems ebenfalls zu Abweichungen führen, die bei der Auswertung berücksichtigt werden müssen. Insbesondere für Anwendungen aus dem Bereich Augmented-Reality ist daher auch ein zeitlicher Abgleich von Kamera und Inertialsensoren notwendig. Weiter besteht die Notwendigkeit beispielsweise zu Diagnosezwecken mit den Inertialsensoren im Feld einen Selbsttest durchzuführen. Aufgabe der Erfindung [0002] Aufgabe der Erfindung ist es, die Kalibrierung und den Selbsttest von Inertialsensoren mittels einer Kamera zu verbessern. Vorteile der Erfindung [0003] Die Erfindung geht aus von einer Vorrichtung mit einer Kamera, mit einer Verarbeitungseinheit und mit wenigstens einem Inertialsensor, wobei die Verarbeitungseinheit dazu eingerichtet ist, aus Bewegungsdaten des wenigstens einen Inertialsensors ein erstes Bewegungsprofil der Vorrichtung zu bestimmen. [0004] Der Kern der Erfindung besteht darin, dass die Verarbeitungseinheit dazu eingerichtet ist, aus Bilddaten eines mit der Kamera beobachteten zweidimensionalen Objekts mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster ein zweites Bewegungsprofil der Vorrichtung zu bestimmen. [0005] Vorteilhaft ist hierbei ein Selbsttest oder auch eine Kalibrierung des wenigstens einen Inertialsensors mit Hilfe der Kamera, ohne weitere Testausrüstung möglich. Vorteilhaft sind Selbsttest und Kalibrierung im normalen Betrieb, d.h. ohne zusätzliche Testkosten während der Herstellung möglich. Vorteilhaft ist ein wiederholtes Testen zur Kompensation widriger Umweltbedingungen und Alterung möglich. [0006] Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit dazu eingerichtet ist, aus Bilddaten eines mit der Kamera beobachteten zweidimensionalen Objekts mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster ein zweites Bewegungsprofil der Vorrichtung zu bestimmen. Vorteilhaft kann dadurch auch dann zuverlässig ein zweites Bewegungsprofil erstellt werden, wenn der Öffnungswinkel der Kamera 100 so gering ist, dass nur ein Ausschnitt des zweidimensionalen Objekts 400 mit wenigen kompletten Bildmuster 410 aufgenommen werden kann. [0007] Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit dazu eingerichtet ist das zweite Bewegungsprofil mit dem ersten Bewegungsprofil zu vergleichen. Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit dazu eingerichtet ist aus einem Vergleich des ersten Bewegungsprofils mit dem zweiten Bewegungsprofil eine Abgleichinformation für einen Abgleich des Inertialsensors bereitzustellen. Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass der Inertialsensor ein Drehratensensor ist und dass die Verarbeitungseinheit dazu eingerichtet ist aus einem Vergleich des ersten Bewegungsprofils mit dem zweiten Bewegungsprofil eine Abgleichinformation für eine Offset-Kalibrierung des Drehratensensors bereitzustellen. Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Verarbeitungseinheit dazu eingerichtet ist die Sensitivität des wenigstens einen Inertialsensors zu bestimmen. Eine besonders vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Vorrichtung ein Smartphone ist, und die Verarbeitungseinheit eine Prozessoreinheit des Smartphones mit einer entsprechenden Software (App) ist. Eine besonders vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die entsprechende Software (App) die Latenz von Kamera und Inertialsensoren durch Korrelation bestimmen und ausgleichen kann. [0008] Die Erfindung betrifft auch ein Verfahren zum Abgleich und Selbsttest von Inertialsensoren, sowie ein Computerprogrammprodukt. [0009] Durch die Erfindung soll die genaue Kalibrierung und der Selbsttest von Inertialsensoren, insbesondere im Smartphone durch die Kamera des Smartphones unterstützt werden. Besonders bei Drehratensensoren kann die Offset-Kalibrierung und 2/9

3 die Feststellung der Sensitivität verbessert werden. Auch der Selbsttest der Inertialsensoren kann stark verbessert werden. Besonders vorteilhaft ist die Nutzung von Mustervorlagen und der Hauptkamera des Smartphones für diese Aufgaben. [0010] Die Erfindung betrifft ebenfalls ein Verfahren zum Ausgleich der Latenz zwischen der Kamera und dem wenigstens einen Initialsensor. Zeichnung [0011] Fig. 1 zeigt eine erfindungsgemäße Vorrichtung. [0012] Fig. 2 zeigt ein zweidimensionales Objekt, d.h. ein Bild mit einem Bildmuster. [0013] Fig. 3 zeigt ein erfindungsgemäßes Verfahren zum Abgleich und Selbsttest von Inertialsensoren. [0014] Fig. 4 zeigt ein erstes Bewegungsprofil eines Drehratensensors und ein zweites Bewegungsprofil einer Kamera im Vergleich. Beschreibung von Ausführungsbeispielen [0015] Fig. 1 zeigt eine erfindungsgemäße Vorrichtung. Dargestellt ist eine Vorrichtung 10 mit einer Kamera 100, mit einer Verarbeitungseinheit 200, sowie beispielhaft mit einem ersten Inertialsensor 300 und einem zweiten Inertialsensor 300. Die Verarbeitungseinheit 200 ist dazu eingerichtet ist, aus Bewegungsdaten 30 der Inertialsensoren 300 ein erstes Bewegungsprofil 320 der Vorrichtung 10 zu bestimmen. Die Verarbeitungseinheit kann beispielsweise ein Steuergerät oder auch ein Mikrokontroller mit entsprechender Software sein. Die Verarbeitungseinheit kann insbesondere die Prozessoreinheit eines Smartphones mit geeigneter Software (App) sein. Der Inertialsensor 300 kann beispielsweise ein Beschleunigungssensor, ein Magnetsensor oder auch ein Drehratensensor sein. Auch sensorfusionierte Systeme aus mehreren dieser oder auch weiterer Sensoren sind möglich. In diesem Beispiel sind der erste Inertialsensor ein x, y-beschleunigungssensor und der zweite Inertialsensor ein z-drehratensensor. Durch den Einbau der Sensoren in die Vorrichtung mit begrenzter Genauigkeit bezüglich Ihrer Lage und Ausrichtung ist das jeweilige Koordinatensystem (x, y, z ),(x, y, z ),... der Sensoren leicht verschieden von dem Koordinatensystem (x, y, z) der Vorrichtung selbst. Im vorliegenden Beispiel weist der erste Inertialsensor daher tatsächlich die Sensierrichtungen x, y für Beschleunigungen auf. Der zweite Inertialsensor weist die Sensierrichtung z auf, weshalb er eine Drehrate um die Achse z detektiert. Erfindungsgemäß ist die Verarbeitungseinheit 200 dazu eingerichtet, aus Bilddaten 40 eines mit der Kamera beobachteten zweidimensionalen Objekts 400 mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster 410 ein zweites Bewegungsprofil 420 der Vorrichtung 10 zu bestimmen. Weiter ist die Verarbeitungseinheit 200 dazu eingerichtet, das zweite Bewegungsprofil 420 mit dem ersten Bewegungsprofil 320 zu vergleichen. Hierdurch kann der Ausrichtungsfehler der Inertialsensoren erkannt und entsprechend kompensiert werden. Außerdem kann die Empfindlichkeit der Inertialsensoren bestimmt werden. Weiterhin kann die Latenz zwischen Kamera und Inertialsensoren bestimmt und durch Verschiebung von einer der beiden Messreihen ausgeglichen werden. [0016] Fig. 2 zeigt ein zweidimensionales Objekt, d.h. ein Bild mit einem Bildmuster. Dargestellt ist ein zweidimensionales Objekt 400 mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster 410. Das Bildmuster 410 wiederholt sich mehrfach in beiden Erstreckungsrichtungen des zweidimensionalen Objekts 400. Dadurch kann auch dann zuverlässig ein zweites Bewegungsprofil erstellt werden, wenn der Öffnungswinkel der Kamera 100 so gering ist, dass nur ein Ausschnitt des zweidimensionalen Objekts 400 mit wenigen kompletten Bildmuster 410 aufgenommen werden kann. [0017] Fig. 3 zeigt ein erfindungsgemäßes Verfahren zum Abgleich und Selbsttest von Inertialsensoren. [0018] Das Verfahren umfasst erfindungsgemäß die Schritte: A Bereitstellen einer Vorrichtung 10 mit einer Kamera 100, mit einer Verarbeitungseinheit 200 und mit wenigstens einem Inertialsensor 300 B Bereitstellen eines Objekts 400 C Bewegen der Vorrichtung relativ zum Objekt 400, wobei die Kamera 100 das zweidimensionale Objekt 400 fortwährend wenigstens zeitweise und/oder wenigstens teilweise betrachtet; dabei D Aufnehmen von Bewegungsdaten 30 des wenigstens einen Inertialsensors 300 und Aufnehmen von Bilddaten 40 der Kamera 100 E Bestimmen eines ersten Bewegungsprofils 320 der Vorrichtung 10 aus den Bewegungsdaten 30 des wenigstens einen Inertialsensors 300; und F Bestimmen eines zweiten Bewegungsprofils 420 der Vorrichtung 10 aus den Bilddaten 40 der Kamera 100. [0019] Fortlaufend während des Verfahrens oder im Anschluss an das Verfahren erfolgt optional in einem Schritt G ein Vergleichen des ersten Bewegungsprofils 320 und des zweiten Bewegungsprofils 420 miteinander. [0020] Aus dem Ergebnis dieses Vergleichs kann die Empfindlichkeit des wenigstens einen Inertialsensors 300 bestimmt werden. Der Inertialsensor 300 kann 3/9

4 hinsichtlich der Größe des Signals und der Sensierrichtung kalibriert bzw. abgeglichen werden. [0021] In einem Ausführungsbeispiel wird im Schritt B ein Objekt 400, insbesondere mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster 410, bereitgestellt. [0022] Fig. 4 zeigt ein erstes Bewegungsprofil eines Drehratensensors und ein zweites Bewegungsprofil einer Kamera im Vergleich. Durch Vergleich des ersten Bewegungsprofils 320 und des zweiten Bewegungsprofils 420 können die Kalibrations-Parameter des Drehratensensors, z.b. Offset und Sensitivität, sowie die Latenz zwischen Kamera und Inertialsensoren, bestimmt werden. [0023] Ein konkretes Anwendungsbeispiel für die Erfindung ist ein Smartphone mit Kamera und Inertialsensoren. Auf dem Smartphone wird eine Applikations-Software gestartet mit den Menü-Punkten Kalibration der Inertialsensoren und Selbsttest der Inertialsensoren. Dann wird das Smartphone mit seiner Haupt-Kamera über einem speziellen Bildmuster, wie in Fig. 2 dargestellt, geschwenkt. Dabei werden die Messdaten der Inertialsensoren aufgezeichnet und das erste Bewegungsprofil erstellt. Parallel wird mittels der Kamera und mit Hilfe von Bildverarbeitung die Bewegung des Smartphones erfasst und in das Koordinatensystem der Inertialsensoren umgerechnet. Dabei wird das zweite Bewegungsprofil erstellt. Durch Vergleich des ersten Bewegungsprofils und des zweiten Bewegungsprofils, d.h. durch Korrelation der Bewegungskurven der Messwerte der Inertialsensoren und der errechneten Bewegung durch die Kamera-Bilder, und einem Modellansatz für die Sensoren können die Kalibrations-Parameter, z.b. Offset und Sensitivität der Inertialsensoren, sowie die Latenz zwischen Kamera und Inertialsensoren, insbesondere für Drehratensensoren bestimmt werden. Das Vorgehen ist für die Funktion Selbsttest sehr ähnlich. Eine mögliche beispielhafte Oberfläche einer Software ist in Fig. 4 gezeigt. Das benötigte Bildmuster kann für Anwender einfach zu Geräten und Programmen elektronisch und per Druck beigefügt werden. Patentansprüche 1. Vorrichtung (10) mit einer Kamera (100), mit einer Verarbeitungseinheit (200) und mit wenigstens einem Inertialsensor (300), wobei die Verarbeitungseinheit (200) dazu eingerichtet ist, aus Bewegungsdaten (30) des wenigstens einen Inertialsensors (300) ein erstes Bewegungsprofil (320) der Vorrichtung (10) zu bestimmen, dadurch gekennzeichnet, dass die Verarbeitungseinheit (200) dazu eingerichtet ist, aus Bilddaten (40) eines mit der Kamera (100) beobachteten Objekts (400) ein zweites Bewegungsprofil (420) der Vorrichtung (10) zu bestimmen. 2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Verarbeitungseinheit (200) dazu eingerichtet ist, aus Bilddaten (40) eines mit der Kamera (100) beobachteten zweidimensionalen Objekts (400), insbesondere mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster (410), das zweite Bewegungsprofil (420) der Vorrichtung (10) zu bestimmen. 3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (200) dazu eingerichtet ist das zweite Bewegungsprofil (420) mit dem ersten Bewegungsprofil (320) zu vergleichen. 4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass die Verarbeitungseinheit (200) dazu eingerichtet ist aus einem Vergleich des ersten Bewegungsprofils (320) mit dem zweiten Bewegungsprofil (420) eine Abgleichinformation für einen Abgleich des Inertialsensors (300) bereitzustellen. 5. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass der Inertialsensor (300) ein Drehratensensor ist und dass die Verarbeitungseinheit (200) dazu eingerichtet ist aus einem Vergleich des ersten Bewegungsprofils (320) mit dem zweiten Bewegungsprofil (420) eine Abgleichinformation für eine Offset-Kalibrierung des Drehratensensors bereitzustellen. 6. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (200) dazu eingerichtet ist die Sensitivität des wenigstens einen Inertialsensors (300) zu bestimmen. 7. Verfahren zum Abgleich und Selbsttest von Inertialsensoren, gekennzeichnet durch die Schritte: (A) Bereitstellen einer Vorrichtung (10) mit einer Kamera (100), mit einer Verarbeitungseinheit (200) und mit wenigstens einem Inertialsensor (300); (B) Bereitstellen eines Objekts (400); (C) Bewegen der Vorrichtung (10) relativ zum Objekt (400), wobei die Kamera (100) das Objekt (400) fortwährend wenigstens zeitweise und/oder wenigstens teilweise betrachtet; dabei (D) Aufnehmen von Bewegungsdaten (30) des wenigstens einen Inertialsensors (300) und Aufnehmen von Bilddaten (40) der Kamera (100); (E) Bestimmen eines ersten Bewegungsprofils (320) der Vorrichtung (10) aus den Bewegungsdaten (30) des wenigstens einen Inertialsensors (300); und (F) Bestimmen eines zweiten Bewegungsprofils (420) der Vorrichtung (10) aus den Bilddaten (40) der Kamera (100). 8. Verfahren zum Abgleich und Selbsttest von Inertialsensoren nach Anspruch 7, dadurch gekennzeichnet, dass im Schritt (B) ein Bereitstellen eines zweidimensionalen Objekts (400), insbesondere 4/9

5 mit einem regelmäßigen, mehrfach wiederkehrenden Bildmuster (410), erfolgt. 9. Verfahren zum Abgleich und Selbsttest von Inertialsensoren nach Anspruch 7 oder 8, gekennzeichnet durch den Schritt: (G) Vergleichen des ersten Bewegungsprofils (320) und des zweiten Bewegungsprofils (420) miteinander. 10. Verfahren zum Abgleich und Selbsttest von Inertialsensoren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass ein Abgleich und/ oder Selbsttest des wenigstens einen Inertialsensors (300) durchgeführt wird. 11. Verfahren zum Abgleich und Selbsttest von Inertialsensoren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass durch Korrelation des ersten Bewegungsprofils (320) und des zweiten Bewegungsprofils (420) eine Latenz zwischen der Kamera (100) und dem wenigstens einen Inertialsensor (300) ermittelt wird. 12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Latenz zwischen der Kamera (100) und dem wenigstens einen Initialsensor (300) ausgeglichen wird. 13. Computerprogrammprodukt, mit einer Software, welche dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 7 bis 12 durchzuführen. Es folgen 4 Seiten Zeichnungen DE A /9

6 Anhängende Zeichnungen 6/9

7 7/9

8 8/9

9 9/9