Einzelphotonenkamera ermöglicht Videowiedergabe auf jeder Zeitskala

Forscher im Bereich computergestützte Bildgebung an der University of Toronto haben mit ihrer einzigartigen Kamera ein merkwürdiges Signal eingefangen. Bei Laborexperimenten mit der Kamera, einer Single-Photon Avalanche Diode (SPAD), nahm die Toronto Computational Imaging Group ein unerklärliches 80-Kilohertz-Flimmern (kHz) wahr.

Mithilfe ihres leistungsstarken freilaufenden Bildsensors erkannten sie jedes einzelne Photon, wenn es von verschiedenen Lichtquellen eintraf, und zeichneten seine genaue Ankunftszeit auf, auf eine Billionstel Sekunde genau. Nachdem alle Daten jedes einzelnen Pixels erfasst worden waren, wendete das Team einen Algorithmus an, mit dem es Videos erstellen konnte, die das Licht in jedem beliebigen Moment über einen extremen Zeitraum von Sekunden bis hin zu Pikosekunden rekonstruierten.

Das Team der University of Toronto verwendete MATLAB^®, um die Zeitstempeldaten der einzelnen Photonen zu erfassen und die beweglichen Komponenten in ihren Aufbauten für ihre Bildgebungstechnik zu steuern, die die Gruppe als „Mikroskop für Zeit“ bezeichnete.

Die Einzelpixel-SPAD verfügt über einen 60 x 60 Millimeter großen Erfassungskopf mit einem winzigen Sensor in der Mitte. Als die SPAD ein seltsames 80-kHz-Signal entdeckte, fragten sich die Forscher zunächst, ob es sich lediglich um ein Artefakt gehandelt hatte. Bei näherer Betrachtung entdeckte das Team die Quelle.

„Es stellte sich heraus, dass wir im Labor T8-LED-Ersatzlampen als Ersatz für Leuchtstofflampen haben. Diese flackern tatsächlich mit 80 Kilohertz“, sagte Kutulakos. „Wir wussten nicht einmal, dass das passierte.“

Auf der jüngsten International Conference on Computer Vision (ICCV) in Paris wurde der Forschungsbericht des Teams über passive Ultrabreitband-Einzelphotonenbildgebung mit einem prestigeträchtigen Preis ausgezeichnet, den nur zwei von Tausenden von Arbeiten erhielten, die Computer Vision-Experten aus aller Welt eingereicht hatten.

Zu den potenziellen Anwendungsgebieten ihrer Technik zählen neuartige 3D-Bildgebungs- und Lidarsysteme sowie die wissenschaftliche Bildgebung – etwa zur Erfassung biologischer Ereignisse über mehrere Zeitskalen hinweg oder zur astronomischen Beobachtung kurzer Lichtimpulse, die mit schnellen Radioblitzen zusammenfallen.

Milliarden von Bildern pro Sekunde

Einzelphotonen-Avalanche-Dioden sind erst im letzten Jahrzehnt in größerem Umfang handelsüblich verfügbar geworden. Aufgrund der hohen Kosten des Geräts hätten nur sehr wenige Informatik- und Computer-Vision-Labore Zugriff darauf, bemerkte Kutulakos. Jüngste Sensorentwicklungen haben das Team der University of Toronto dazu veranlasst, neue Fragen zu Problemen zu stellen, mit denen sich Wissenschaftler in anderen Bereichen schon seit Jahrzehnten beschäftigen.

So setzten etwa auf Gammastrahlenastronomie spezialisierte Astronomen Detektoren ein, um einzelne Teilchen zu erfassen und mit einem Zeitstempel zu versehen. Doch diese Astronomen waren mehr an der periodischen Beleuchtung durch veränderliche Sterne interessiert als an der genauen zeitabhängigen Funktion, die die Helligkeit der Sterne beschreibt, da dies die physikalische Voraussetzung sei, erklärte Kutulakos.

Im Labor der Toronto Computational Imaging Group verwendeten der Postdoc Sotiris Nousias und der Doktorand Mian Wei erstmals eine SPAD, um Zeitinformationen für Photonen von Leuchtdioden zu erfassen.

„Wir ließen die LEDs flackern und schauten uns den Ausgabestream an“, sagte Nousias. „Wir beobachteten, dass der Stream tatsächlich das gleiche Muster aufwies wie das Flackern und versuchten dann, die mathematische Verbindung herauszufinden. Das war unsere Inspiration für das Projekt.“

Nousias und Wei, gemeinsame Erstautoren des ICCV-Papiers, fragten sich, welche Informationen sie erhalten könnten, wenn sie Zugriff auf alle Photonen hätten. Wissenschaftler neigen dazu, SPADs auf spezielle synchronisierte Weise zu betreiben. Stattdessen betrieb das Team den Sensor im asynchronen Modus. Von dort aus versuchten die Forscher, diskrete Photonenankünfte mit einer zugrunde liegenden kontinuierlichen Funktion zu verknüpfen, die die zeitlich variierende Lichtintensität beschreibt.

Zoomen durch die Zeit

Wei schätzte, dass die Integration jeder neuen Komponente ohne Zugriff auf die technische Computersoftware Tage bis Wochen dauern könnte. „Eine doppelte Überprüfung, ob die Komponenten wie vorgesehen funktionieren, würde noch mehr Zeit in Anspruch nehmen“, sagte er.

„Aufgrund unserer Setups können wir sagen: ‚Okay, ich habe diese neue Windows^®-Maschine. Ich nehme den Code, der vorher lief, und portiere ihn dann'“, fuhr Wei fort. „Jetzt kann jemand anderes ihren Code verwenden und das System ebenfalls ausführen.“

Dynamische Bildgebungsmöglichkeiten

Die Forscher hoffen, dass ihr Durchbruch zu neuen Fortschritten inspiriert. Ein Bereich, der sich für die Erforschung eignet, ist Flash-Lidar, eine Technik, die ein hochauflösendes Tiefenbild aus einem diffusen gepulsten Laser statt aus einem scannenden gepulsten Laser erzeugt. Normalerweise wird dabei Licht in die Szene gesendet, die Zeit gemessen, die das Licht braucht, um zurückzukehren, und diese Zeitinformation wird zur Entfernungsmessung verwendet.

„Eine der Einschränkungen besteht darin, dass Sie Ihre Lichtquelle mit Ihrem System synchronisieren müssen, damit dieser Mechanismus funktioniert“, erklärte Wei. „Angesichts unserer Fähigkeit, Signale asynchron zu messen, möchten wir herausfinden, ob wir eine asynchrone Lichtquelle für Flash-Lidar nutzen könnten.“

In der Biologie können Ereignisse wie die Faltung oder Bindung von Proteinen in Zeiträumen von Nanosekunden bis Millisekunden erfolgen. Lindell sagte, das Team habe ihre Bildgebungstechniken mit Biologieexperten der Universität besprochen.

„Die Tatsache, dass diese Ereignisse in diesen Zeiträumen stattfinden, ist für uns interessant, und die Möglichkeit, sie auf eine Art und Weise zu beobachten, die den Menschen bislang nicht möglich war, ist verlockend“, sagte er.

Die rechnergestützte Neufokussierung könnte auch in anderen Wissenschaften Anwendung finden. Astrophysiker wollten verstehen, was die Ursachen für schnelle Radioblitze sind seit vor 20 Jahren erstmals ein Radioteleskop das Phänomen entdeckte. Diese mysteriösen Energiestöße ereignen sich überall am Himmel und dauern nur Millisekunden, aber jeder einzelne ist unglaublich kraftvoll. Eine rechnergestützte Neufokussierung könnte die Erkennung von FRBs im optischen Bereich ermöglichen.

„Wir wissen nicht, wann sie eintreten werden“, sagte Nousias. „Sie müssen den Himmel überwachen und dann im Nanosekundenbereich auf die Daten zurückgreifen, um sie zu beobachten. Jetzt haben wir das Werkzeug dafür.“

Kutulakos geht davon aus, dass die SPAD-Methode dabei helfen könnte, Probleme oder Defekte in technischen Maschinenbauteilen zu erkennen, die bei Standardinspektionen übersehen werden. Bei einem Motordefekt können Vibrationen ein Hinweis auf das Problem sein, die genaue Ursache lässt sich ohne weitere Informationen jedoch möglicherweise nicht ermitteln. Indem man eine Kamera auf den Motor richte und alle Daten sammle, könne man die Nadel im Heuhaufen finden, sagte er.

Die Gruppe arbeitet außerdem mit anderen Mikroelektronikforschern zusammen, um die Leistungsfähigkeit der Kameras zu erweitern. Mit einer Einzelpixelkamera kann das Team Videos von sich wiederholenden Bewegungen, wie etwa sich drehenden Ventilatorflügeln, erstellen. Für wirklich dynamische Ereignisse ist jedoch ein 2D-Sensor erforderlich.

Als nächstes will das Team an der Verbesserung seiner Technik arbeiten. Lindell merkte an, dass die Rekonstruktion der Signale nach wie vor relativ zeitaufwändig und rechnerisch ineffizient sei. Sie arbeiten daran, Ereignisse über alle Zeitskalen hinweg in Echtzeit zu erfassen.

„Ich denke, es werden unerwartete Ergebnisse herauskommen, wenn wir diese Kamera im Labor oder sogar draußen herumschwenken“, sagte Lindell. „Ich bin gespannt, was wir finden. Es wird eine neue Art sein, die Welt einzufangen.“