Zum Inhalt springen
Fallstudie
FPGA Signalverarbeitung Beamforming PoC

Akustisches Radar mit 16 Mikrofonen (FPGA-PoC)

Echtzeit-Lokalisierung von Schallquellen mittels eines Phased-Array aus 16 Mikrofonen. FPGA-beschleunigtes Beamforming für 360°-Akustikwahrnehmung in Industrie- und Verteidigungsanwendungen.

Von , Gründer und Geschäftsführer Projektdatum: Aktualisiert:

Worum es in diesem Projekt geht

Ein akustisches Radar, auch akustische Kamera genannt, ortet Schallquellen, indem es vergleicht, wann derselbe Schall an jedem Mikrofon eines Arrays eintrifft. Dieser Proof of Concept (PoC) setzt die vollständige Signalkette für ein kreisförmiges Array aus 16 Mikrofonen in FPGA-Logik um: Er wandelt die rohen Bitströme der Mikrofone in Audio um, wertet 1.024 Hörrichtungen parallel aus und legt die resultierende Schallenergiekarte in Echtzeit über ein Kamerabild, mit einer Azimutauflösung von etwa 2°.

Status: Proof of Concept. Dies ist ein Technologiedemonstrator, kein zertifiziertes Produkt und kein Serienprodukt. Die Angaben auf dieser Seite sind PoC-Werte, keine garantierten Spezifikationen.

Technische Spezifikationen

ParameterSpezifikation
PlattformIntel Cyclone 10 LP / Xilinx Artix-7
Mikrofonarray16x MEMS PDM (Uniform Circular Array)
Abtastrate48 kHz / 24 Bit pro Kanal
BeamformingDelay-and-Sum (DAS) / MVDR (Capon)
Reaktionszeit< 10 ms (Echtzeit-Visualisierung)
Winkelauflösung~2° Azimut
AusgabeschnittstelleHDMI (Heatmap-Overlay), UDP-Stream

So lesen Sie diese Angaben

  • Die Winkeleigenschaften hängen von der Frequenz ab. Der Strahl jedes Mikrofonarrays wird mit steigender Frequenz schmaler, ungefähr proportional zur Wellenlänge geteilt durch den Array-Durchmesser. Eine einzelne Winkelangabe ist nur zusammen mit der Frequenz, der Entfernung der Quelle und dem Signal-Rausch-Verhältnis aussagekräftig, bei denen sie gemessen wurde.
  • Auflösung und Genauigkeit sind unterschiedliche Größen. Die Auflösung ist die Fähigkeit, zwei nahe beieinanderliegende Quellen zu trennen. Die Lokalisierungsgenauigkeit gibt an, wie präzise sich die Peilung einer einzelnen dominanten Quelle bestimmen lässt; sie ist in der Regel deutlich feiner als die Auflösung.

Die Herausforderung

Visuelle Kameras haben tote Winkel und stoßen bei schwachem Licht oder Rauch an ihre Grenzen. Herkömmliche akustische Sensoren sind omnidirektional: Sie wissen, dass etwas laut ist, aber nicht, wo es ist. Ziel war es, eine „Schallkamera“ zu bauen, die Geräuschquellen in Echtzeit visualisieren kann, um Drohnenschwärme, Maschinenfehler oder Gaslecks zu erkennen, ohne die Latenz einer CPU-basierten Verarbeitung.

So funktioniert es

Wir haben einen massiv parallelen Akustikprozessor direkt in der konfigurierbaren Logik des FPGAs entwickelt und umgehen damit bei den rechenintensiven Aufgaben die CPU.

Signalkette des akustischen Radars mit 16 Mikrofonen Sechzehn MEMS-Mikrofone senden PDM-Bitströme in das FPGA. Im FPGA wandeln sechzehn parallele CIC-Filter PDM in PCM-Audio um, ein Beamformer berechnet 1.024 Strahlen parallel, und es wird eine Heatmap erzeugt. Das FPGA speist einen HDMI-Ausgang, auf dem die Heatmap über einem Kamerabild liegt, sowie einen UDP-Stream. FPGA-LOGIK 16 MEMS-Mikrofone gleichförmiges Kreisarray · 1-Bit-PDM-Ausgang 16 × PDM-Bitströme PDM-zu-PCM-Wandlung 16 parallele CIC-Dezimationsfilter · 48 kHz / 24 Bit Beamformer Delay-and-Sum · 1.024 Strahlen parallel adaptive Option: MVDR (Capon) Heatmap-Erzeugung akustische Energie je Blickrichtung HDMI-Ausgang Heatmap über dem Kamerabild UDP-Stream Netzwerkausgang
Signalkette des Proof of Concept. Alles innerhalb des gestrichelten Rahmens läuft in FPGA-Logik.
  • Schritt 1: PDM-zu-PCM-Wandlung. MEMS-Mikrofone geben einen pulsdichtemodulierten 1-Bit-Datenstrom (PDM) mit einer Taktrate im Megahertz-Bereich aus. Sechzehn parallele CIC-Filter (Cascaded Integrator-Comb) dezimieren diese Datenströme zu Multibit-PCM-Audio. CIC-Filter eignen sich für FPGAs, weil sie nur Addierer und Verzögerungsglieder benötigen, aber keine Multiplizierer [2].
  • Schritt 2: Delay-and-Sum-Beamforming. Für jede Blickrichtung verzögert das FPGA jeden Kanal um die Zeit, die die Wellenfront zum Durchqueren des Arrays benötigt, und summiert anschließend die Kanäle. Schall aus dieser Richtung addiert sich kohärent, Schall aus anderen Richtungen löscht sich teilweise aus. In einem gleichförmigen Kreisarray (Uniform Circular Array) mit Radius R empfängt ein Mikrofon unter dem Winkel φm eine aus dem Azimut θ einfallende Fernfeld-Wellenfront um (R / c) · cos(θ − φm) früher als die Array-Mitte, wobei c die Schallgeschwindigkeit ist. Das Design berechnet 1.024 solcher Beobachtungsstrahlen gleichzeitig.
  • Schritt 3 (adaptive Option): MVDR (Capon). Delay-and-Sum arbeitet mit festen Gewichten. Der MVDR-Beamformer (Minimum Variance Distortionless Response) wählt stattdessen Gewichte, die die Ausgangsleistung minimieren und zugleich die Blickrichtung unverändert durchlassen. Das unterdrückt Störquellen, allerdings um den Preis, dass eine Kovarianzmatrix geschätzt und invertiert werden muss [1], [4].
  • Schritt 4: Heatmap-Erzeugung. Die akustische Energiekarte wird über HDMI einem visuellen Kamerabild überlagert, sodass Bediener den Schall „sehen“ können. Neben HDMI steht ein UDP-Stream-Ausgang zur Verfügung.

Die Steuerverzögerungen aus Schritt 2 ergeben sich direkt aus der Array-Geometrie:

Geometrie der Steuerverzögerung eines gleichförmigen kreisförmigen Mikrofonarrays Sechzehn Mikrofone sind gleichmäßig auf einem Kreis mit Radius R verteilt. Eine ebene Wellenfront trifft aus dem Azimut Theta ein. Ein Mikrofon unter dem Winkel Phi-m liegt, gemessen entlang der Einfallsrichtung, um R mal Kosinus von Theta minus Phi-m näher an der Quelle als die Array-Mitte und empfängt die Wellenfront daher um diese Strecke geteilt durch die Schallgeschwindigkeit früher. Mikrofon m Array-Mitte R θ − φm R · cos(θ − φm) ebene Wellenfront aus Azimut θ Ausbreitungsrichtung ←
Ein Mikrofon unter dem Winkel φm liegt um R · cos(θ − φm) näher an einer entfernten Quelle als die Array-Mitte und hört die Wellenfront daher um (R / c) · cos(θ − φm) früher. Delay-and-Sum gleicht genau diesen Versatz für jeden der 16 Kanäle aus.

Warum ein FPGA statt einer CPU oder GPU

  • Das Kanal-Timing ist durch das Design festgelegt. Alle sechzehn Kanäle werden von derselben getakteten Logik abgetastet, sodass das Timing zwischen den Kanälen, von dem Beamforming abhängt, nicht mit dem Software-Scheduling schwankt.
  • Strahlen kosten Fläche, nicht Zeit. Jeder Kanal und jeder Strahl hat seine eigene Hardware, sodass mehr Strahlen mehr Logik statt mehr Rechenzeit verbrauchen.
  • Die Latenz ist konstant. Der Beamforming-Pfad läuft in Logik und nicht über den Scheduler eines Betriebssystems, sodass seine Verzögerung fest statt variabel ist.

Technologie-Stack

FPGA-Core (VHDL/Verilog)

  • Parallele DSP-Blöcke: 16x simultane MAC-Operationen für das Beamforming.
  • CORDIC-Algorithmus: Für die Anpassung der Phasenverschiebung in Echtzeit, mit Shift-and-Add-Iterationen anstelle von Multiplizierern [3].
  • DMA-Controller: Zero-Copy-Übertragung der Heatmap-Daten in den Visualisierungspuffer.

Technische Grenzen, die ein Proof of Concept nicht beseitigt

Ein funktionierender Demonstrator belegt die Architektur. Er klärt nicht die folgenden Fragen, die jedes darauf aufbauende Produkt beantworten muss.

  • Frequenzabhängigkeit. Tieffrequente Quellen werden weniger scharf lokalisiert als hochfrequente, weil der Strahl breiter wird, wenn die Wellenlänge im Verhältnis zum Array-Durchmesser wächst.
  • Räumliches Aliasing. Liegen benachbarte Mikrofone mehr als eine halbe Wellenlänge auseinander, treten falsche Richtungen (Gitterkeulen) auf. Das begrenzt die höchste Frequenz, die eine gegebene Geometrie eindeutig lokalisieren kann.
  • Nebenkeulen. Delay-and-Sum hat feste Nebenkeulen, sodass eine laute Quelle eine leisere in einer anderen Richtung verdecken kann. Das ist der Hauptgrund, MVDR zu ergänzen.
  • Mikrofonabgleich. Beamforming setzt identische Kanäle voraus. Die Streuung von Verstärkung und Phase zwischen den MEMS-Kapseln muss herauskalibriert werden.
  • Umgebung. Windgeräusche im Freien und Reflexionen in Innenräumen verschlechtern die Leistung und lassen sich nur durch Tests in der Zielumgebung bewerten.

Der Weg vom PoC zum Produkt bedeutet daher, das Array über die Frequenz hinweg zu charakterisieren, es zu kalibrieren und es dort zu testen, wo es eingesetzt wird.

Anwendungsbereiche

Zielanwendungen für diese Architektur:

  • Counter-UAS: Erkennung von Drohnenpropellergeräuschen vor dem Sichtkontakt.
  • Industrielles IoT: Lokalisierung von Gaslecks (Zischen) oder Lagerschäden in komplexen Maschinen.
  • Smart City: Erkennung und Lokalisierung von Schüssen.

Vom Proof of Concept zum Produkt mit CE-Kennzeichnung

Ein Labordemonstrator wird nicht in Verkehr gebracht, daher gilt die CE-Kennzeichnung für ihn noch nicht. Bei einem Produkt ist das anders. Für einen vernetzten akustischen Sensor, der in der EU verkauft wird, sind vor allem folgende Punkte einzuplanen:

  • Elektromagnetische Verträglichkeit. Die Richtlinie 2014/30/EU gilt für elektronische Geräte [7]. FPGA-Designs mit HDMI- und Netzwerkschnittstellen erfordern Prüfungen der Störaussendung und der Störfestigkeit.
  • Cyberresilienz-Verordnung (CRA). Die Verordnung (EU) 2024/2847 erfasst Produkte mit digitalen Elementen, die über eine Datenverbindung verfügen [5]. Ihre Meldepflichten gelten seit dem 11. September 2026, ihre Hauptpflichten gelten ab dem 11. Dezember 2027. Siehe unsere CRA-Konformitäts-Checkliste.
  • Funkanlagenrichtlinie. Nur relevant, wenn eine Funkverbindung hinzukommt.
  • Ausfuhrkontrolle. Endverwendungen in den Bereichen Verteidigung und Counter-UAS sollten anhand der Verordnung (EU) 2021/821 [6] und der anwendbaren Militärgüterlisten geprüft werden, bevor ein Produkt oder seine Technologie die EU verlässt. Siehe unseren Leitfaden zu Ausfuhrkontrollen für Dual-Use-Güter.

Der Selektor für CE-Richtlinien gibt eine erste Orientierung, welche EU-Vorschriften für ein konkretes Produkt gelten. Verwandte Leistungen: FPGA-Design, EU-Konformität und Verteidigung und Dual-Use.

Quellen

  • [1] J. Capon, “High-resolution frequency-wavenumber spectrum analysis,” Proceedings of the IEEE, vol. 57, no. 8, pp. 1408–1418, 1969. doi:10.1109/PROC.1969.7278
  • [2] E. Hogenauer, “An economical class of digital filters for decimation and interpolation,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 29, no. 2, pp. 155–162, 1981. doi:10.1109/TASSP.1981.1163535
  • [3] J. E. Volder, “The CORDIC Trigonometric Computing Technique,” IRE Transactions on Electronic Computers, vol. EC-8, no. 3, pp. 330–334, 1959. doi:10.1109/TEC.1959.5222693
  • [4] H. L. Van Trees, Optimum Array Processing, Wiley, 2002. doi:10.1002/0471221104
  • [5] Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung, CRA). EUR-Lex
  • [6] Verordnung (EU) 2021/821 (Dual-Use-Verordnung). EUR-Lex
  • [7] Richtlinie 2014/30/EU (elektromagnetische Verträglichkeit). EUR-Lex

Häufig gestellte Fragen

Was ist ein akustisches Radar?

Ein akustisches Radar, auch akustische Kamera genannt, ist ein Mikrofonarray, das mittels Beamforming die Richtung berechnet, aus der ein Schall kommt; dargestellt wird sie meist als Heatmap über einem Kamerabild. Anders als ein Radar ist es passiv: Es hört nur zu und sendet nichts aus.

Warum Beamforming auf einem FPGA statt auf einer CPU oder GPU ausführen?

Beamforming hängt vom exakten Timing zwischen den Mikrofonkanälen ab. In einem FPGA wird jeder Kanal von derselben getakteten Logik abgetastet und jeder Strahl hat seine eigene Hardware, sodass das Kanal-Timing durch das Design festgelegt ist und die Latenz konstant bleibt. Eine CPU oder GPU verarbeitet Audio in Puffern, die von einem Betriebssystem eingeplant werden; das fügt Verzögerung hinzu und macht diese Verzögerung variabel.

Wie genau ist ein Array aus 16 Mikrofonen?

Das hängt von der Schallfrequenz, dem Durchmesser des Arrays und dem Signal-Rausch-Verhältnis ab. Höhere Frequenzen und größere Arrays lokalisieren schärfer. Dieser Proof of Concept weist etwa 2° im Azimut aus; jede solche Angabe ist zusammen mit den Bedingungen zu lesen, unter denen sie gemessen wurde.

Worin unterscheiden sich Delay-and-Sum- und MVDR-Beamforming?

Delay-and-Sum wendet feste Verzögerungen an und addiert die Kanäle; das Verfahren ist einfach und robust, hat aber feste Nebenkeulen, sodass eine laute Quelle eine leise verdecken kann. MVDR (Capon) passt seine Gewichte an das gemessene Schallfeld an, um Störquellen zu unterdrücken; das verbessert die Trennung, erfordert aber das Schätzen und Invertieren einer Kovarianzmatrix.

Ist das akustische Radar ein Produkt, das man kaufen kann?

Nein. Es ist ein Proof of Concept, kein zertifiziertes Produkt und kein Serienprodukt. Die Architektur kann als Ausgangspunkt für ein kundenspezifisches Design im Bereich akustische Sensorik oder FPGA-Signalverarbeitung dienen.

Zurück zu den Projekten Starten Sie Ihr Projekt