Wissenschaftler verwenden Kameras, um Geräusche nachzubilden, indem sie Vibrationen „sehen“.

Ein Dual-Shutter-Vibrationssensorsystem, entwickelt von Forscher der Carnegie Mellion University (CMU). verwendet gewöhnliche Standardkameras, um Schallschwingungen mit einer solchen Präzision zu sehen, dass es die Musik eines einzelnen Instruments einer Band rekonstruieren kann.

Die Forscher sagen, dass selbst die besten und leistungsstärksten Mikrofone Geräusche in der Nähe oder Umgebungsgeräusche nicht eliminieren können, die den Ton stören könnten, für den sie eingesetzt werden, um aufzunehmen. Um dieses Problem zu umgehen, entschieden sich die Forscher, es aus einem anderen Blickwinkel anzugehen: Sicht versus Ton.

Wie von CMU beschrieben, verwendet das System zwei Kameras und einen Laser, um Hochgeschwindigkeits-Oberflächenvibrationen mit geringer Amplitude zu erfassen, die dann verwendet werden, um Geräusche so zu rekonstruieren, dass sie isoliertes Audio ohne Interferenzen oder sogar ein Mikrofon erfassen können.

„Wir haben eine neue Art erfunden, Klang zu sehen“, Mark Sheininwissenschaftlicher Mitarbeiter nach der Promotion an der Beleuchtungs- und Bildgebungslabor (ILIM) in der CMU Institut für Robotik. “Es ist eine neue Art von Kamerasystem, ein neues Bildgebungsgerät, das in der Lage ist, etwas zu sehen, das mit bloßem Auge unsichtbar ist.”

Das Team konnte die Wirksamkeit des Systems durch erfolgreiche Demonstrationen zeigen, bei denen die Kameras zur Erfassung von Vibrationen verwendet werden. Zu diesem Zweck erfasste das Team isolierte Audiodaten von separaten Gitarren, die gleichzeitig spielten, und von einzelnen Lautsprechern, die gleichzeitig unterschiedliche Musik spielten.

Dann analysierten sie die Vibrationen einer Stimmgabel und nutzten die Vibrationen einer Tüte Doritos in der Nähe eines Lautsprechers, um den Klang einzufangen. Die Forscher sprechen von dieser ungewöhnlichen Methode zur Schallanalyse würdigt auf die Arbeit von Forschern, die 2014 eines der ersten visuellen Mikrofone entwickelten, das einen Algorithmus zur Wiederherstellung von Sprache verwendete die Vibrationen einer Tüte Kartoffelchips.

„Wir haben das optische Mikrofon viel praktischer und benutzerfreundlicher gemacht“, Srinivasa Narasimhan, Professor am RI und Leiter des ILIM. „Wir haben die Qualität verbessert und gleichzeitig die Kosten gesenkt.“

Das Forschungsteam sagt, dass ihr System frühere Versuche der Computer-Vision-Audioerfassung dramatisch verbessert, da es gewöhnliche Consumer-Kameras verwendet, die einen Bruchteil dessen kosten, was die von früheren Forschern verwendeten Hochgeschwindigkeitskameras kosten.

Das System hinter den Kameras analysiert Unterschiede in „Speckle-Mustern“ aus Bildern, die mit einem Rolling Shutter und einem Global Shutter aufgenommen wurden, und ein Algorithmus berechnet den Unterschied in den Batters aus den beiden Streams und wandelt diese Unterschiede in Vibrationen um, die den Ton rekonstruieren.

„Ein Sprenkelmuster bezieht sich auf die Art und Weise, wie sich kohärentes Licht im Raum verhält, nachdem es von einer rauen Oberfläche reflektiert wurde. Das Team erzeugt das Speckle-Muster, indem es einen Laser auf die Oberfläche des Objekts richtet, das die Vibrationen erzeugt, wie der Korpus einer Gitarre. Dieses Sprenkelmuster ändert sich, wenn die Oberfläche vibriert“, erklärt CMU. „Ein Rolling Shutter erfasst ein Bild durch schnelles Scannen, normalerweise von oben nach unten, und erzeugt das Bild, indem eine Reihe von Pixeln übereinander gestapelt wird. Ein Global Shutter nimmt ein Bild in einem einzigen Moment auf einmal auf.“

Die vollständige Forschungsarbeit mit dem Titel Optischer Dual-Shutter-Vibrationssensorkann online gelesen werden und CMU hat eingerichtet eine Webseite, die Töne abspielt vom System rekonstruiert.

“Wenn Ihr Auto anfängt, ein komisches Geräusch zu machen, wissen Sie, dass es an der Zeit ist, es sich anzusehen”, sagt Sheinin. „Stellen Sie sich jetzt eine Fabrikhalle voller Maschinen vor. Unser System ermöglicht es Ihnen, den Gesundheitszustand jedes Einzelnen zu überwachen, indem Sie seine Vibrationen mit einer einzigen stationären Kamera erfassen. ”


Bildnachweis: Vorgestelltes Bild lizenziert über Depositphotos.

Leave a Reply

Your email address will not be published.