Exploring Machine Vision: NIR-Imaging

  • Abb. 1: Farbig bedrucktes Gewebe, links im VIS, rechts im NIR aufgenommen.Abb. 1: Farbig bedrucktes Gewebe, links im VIS, rechts im NIR aufgenommen.
  • Abb. 1: Farbig bedrucktes Gewebe, links im VIS, rechts im NIR aufgenommen.
  • Abb. 2: Wasser in einem opaken Kunststoffbehälter, links im VIS, rechts im NIR aufgenommen.
  • Abb. 3: Wassertröpfchen im Innern einer opaken Flasche, im NIR aufgenommen.
  • Abb. 4: Im NIR erscheint Wasser in einem Glas (links) dunkler als reiner Alkohol (rechts), während im Sichtbaren kein Kontrast auftritt.
  • Abb. 5: Reines Wasser (links) und reiner Alkohol (rechts) bei gleicher Schichtdicke, aufgenommen im Durchlicht bei 1.450 nm.
  • Abb. 6: Abhängigkeit zwischen dem mittleren Grauwert im Zentralbereich des Behälters in Abbildung 5 und dem Alkoholgehalt in einer wässrigen Lösung.

Bildverarbeitungslösungen für die Industrie arbeiten meist mit CCD- oder CMOS-Kameras im sichtbaren Spektralbereich (VIS) von etwa 400 nm bis etwa 700 nm. Bei längeren Wellenlängen, im Nahen Infrarot (NIR), haben viele Materialien deutlich andere optische Eigenschaften als im VIS. Schon zwischen etwa 1.000 nm und etwa 1.600 nm treten z. T. überraschende Effekte auf. Mittlerweile sind verhältnismäßig kostengünstige InGaAs-Kameras verfügbar, die diesen Spektralbereich für die IBV zugänglich machen und neue Anwendungsmöglichkeiten eröffnen.

Unterdrückung von Untergrundfarben

Viele Farben (aber nicht alle) absorbieren NIR-Strahlung nur geringfügig und wirken dann transparent oder streuen lediglich. Ein Beispiel zeigt Abbildung 1. Das Handtuch hat eine Farbgebung, die im VIS deutlich erkennbar und kontrastreich ist. Im NIR dagegen ist der Farbkontrast völlig verschwunden, nur die Textur des Gewebes ist noch erkennbar.

Wenn bedruckte Textilien auf Webfehler überprüft werden sollen, kann die Unterscheidung zwischen den gesuchten Fehlern und den Strukturen im Druck sehr schwierig und aufwendig werden. Durch die Bildaufnahme im NIR wird der Einfluss des Aufdrucks für viele Farben ausgeschaltet oder deutlich gemindert. Die Prüfmethode kann dann unabhängig vom jeweils aufgedruckten individuellen Muster ausgelegt werden und ist in der Anwendung entsprechend robust.

Blick durch opake Materialien

Das Streuvermögen vieler Materialien nimmt mit zunehmender Wellenlänge stark ab. „Undurchsichtige“ Kunststoffverpackungen absorbieren im VIS oft nur unwesentlich, wirken aber wegen der Streuung an eingearbeiteten Partikeln opak. Im NIR kann das Streuvermögen für dasselbe Material dann drastisch geringer sein. Abbildung 2 zeigt als Beispiel einen Kunststoffbehälter, der teilweise mit Wasser gefüllt ist. Im VIS ist der Füllstand nur schwer erkennbar, im NIR tritt die Grenzfläche dagegen deutlich hervor.

Eine elementare und weit verbreitete Aufgabe der IBV, die Füllstandskontrolle, kann im VIS bei diesem Behälter gar nicht gelöst werden.

Durch die Bildaufnahme im NIR lässt sich die Prüfgröße jedoch in einfacher Weise und mit völlig ausreichendem Kontrast problemlos herausarbeiten, so dass für die Bildauswertung die etablierten Verfahren aus der Füllstandskontrolle eingesetzt werden können. Generell kann man in allen Anwendungen, bei denen die Lichtstreuung den Kontrast verschlechtert, durch die Bildaufnahme im NIR auf eine deutliche Verbesserung hoffen. Je weiter die Bild gebende Wellenlänge ins NIR verschoben wird, desto stärker ist der Effekt. Das trifft für viele opake Kunststoffe zu, aber auch für geätztes oder sandgestrahltes Glas wie z. B. bei matten Glühbirnen. Die Verhältnisse sind im Detail jedoch komplex, denn das Streuvermögen hängt nicht nur von der Wellenlänge, sondern u. a. auch von der Partikelgröße und dem Brechungsindex ab. Ein Laborversuch ist daher unumgänglich und schafft schnell Klarheit. Weitere Unsicherheiten kommen durch die Wellenlängenabhängigkeit der Absorption hinzu.

Kontrastanhebung durch Absorption

Einige Materialien haben im NIR eine deutlich höhere Absorption als im VIS. Ein spektakuläres Beispiel ist Wasser, das im Sichtbaren in dünnen Schichten nahezu völlig transparent wirkt. Bei 560 nm beträgt der Absorptionskoeffizient etwa 0,05/m, bei 750 nm jedoch schon etwa 2,7/m, bei 1000 nm sind es 40/m, und bei 1500 nm bereits 2000/m. Im NIR bei 1500 nm hat ein 1 mm starker Wasserfilm dasselbe Absorptionsvermögen wie eine 40 m dicke Wasserschicht im Grünen bei 560 nm!

Im NIR entsteht daher oft schon bei dünnen Wasserschichten ein Kontrast, der mit den Methoden der IBV sicher und zuverlässig verwertet werden kann. Beispielsweise sind in Abbildung 3 in einer NIR-Aufnahme kleine Wassertröpfchen im Inneren eines opaken Gefäßes zu erkennen. Auf ähnliche Weise können Lösemittel oder organische Verunreinigungen auf Oberflächen sichtbar gemacht werden, wenn die Bildgebung in einem Wellenlängenbereich erfolgt, in dem die Absorption sehr hoch ist. Anders als im sichtbaren Spektralbereich treten im NIR bereits ausgeprägte Strukturen in den Absorptionsspektren auf, so dass die Wellenlänge der verwendeten Strahlung sorgfältig ausgewählt werden muss. Die Absorptionsbanden sind hier mit Breiten im Bereich von 50–100 nm jedoch noch nicht ausgesprochen schmalbandig. Die spektralen Anforderungen an die Beleuchtungsquellen können daher mit LEDs oder Interferenzfiltern erfüllt werden. Auch wenn sich der Aufwand damit in handhabbaren Grenzen hält, muss sichergestellt sein, dass die Beleuchtung spektral definiert bleibt und die Wellenlänge nicht zu stark driftet, denn innerhalb von 100 nm kann sich der Absorptionskoeffizient leicht um einen Faktor 5–10 ändern.

Die Wellenlängenabhängigkeit der Absorption kann zudem dazu führen, dass Kontraste zwischen Materialien entstehen, für die im VIS der Kontrast sehr gering ist. Abbildung 4 zeigt als Beispiel ein mit Wasser und ein mit reinem Alkohol gefülltes Glas. Im Sichtbaren erscheinen beide Flüssigkeiten „wasserklar“, im NIR führt die höhere Absorption von Wasser gegenüber Alkohol dazu, dass die Inhalte der beiden Gläser im Bild anhand des Grauwerts deutlich unterschieden werden können. Ein weiterer interessanter Aspekt wird ebenfalls deutlich: Anders als im Fernen Infrarot (FIR) ist Glas im NIR transparent. Mit einer InGaAs-Kamera kann man folglich durch Glasabdeckungen hindurch- und in Glasbehälter hineinschauen.

Materialerkennung und Chemometrie

Im NIR haben viele Materialien charakteristische Absorptionsspektren, die zur Identifikation von Substanzen und zur Konzentrationsbestimmung in Gemischen (Chemometrie) verwendet werden können. Aus der Laboranalytik ist dies seit langem bekannt. In der Regel wird dazu die Szene breitbandig beleuchtet und die remittierte Strahlung spektral zerlegt. Wenn zudem die Ortsauflösung im Sinne des „imaging“ erhalten bleiben soll, wird der technische Aufwand jedoch immens. Außerdem entsteht eine ungeheure Datenflut, denn für jeden Bildpunkt muss ein Spektrum mit einer Abtastung im Abstand von etwa 20 nm und einer Signaltiefe von wenigstens 10 bit, besser 12 bit, aufgenommen werden. Für den Spektralbereich von 900–1.700 nm, der mit den InGaAs-1-Kameras zugänglich ist, sind somit 41 Stützpunkte im Spektrum erforderlich. Während eine Standard-Industriekamera mit etwa 800 x 600 Pixeln und 8 bit tiefer Graustufenauflösung ca. 500 kB an Daten pro Bild erzeugt, sind es bei einem spektral auflösenden System bei gleicher Pixelauflösung bereits 25–30 MB, bei Abspeicherung des Signals in zwei Byte sogar 40 MB pro Bild.

Auch wenn die Pixelauflösung von kostengünstigen InGaAs-Kameras um den Faktor 5 geringer ist, müssen 5–8 MB pro Bild übertragen und ausgewertet werden. Hinzu kommt, dass die üblichen Verfahren der Aufbereitung und Klassifizierung der Spektraldaten im Vergleich zu den Standardmethoden der IBV sehr komplex sind und erheblichen Rechenaufwand erfordern. Es gibt also eine Reihe von Argumenten, die gegen eine einfache Übernahme der Methoden und Techniken aus der Laboranalytik in die IBV in der laufenden Produktion sprechen. Dennoch werden auch im industriellen Umfeld solche „spectral imaging“- Systeme im NIR bereits vereinzelt eingesetzt, z. B. für die Materialtrennung bei der Aufarbeitung von Kunststoffabfällen oder bei der Blisterkontrolle in der Pharmaindustrie zur Vermeidung von Untermischungen.

NIR-Imaging in industriellen Applikationen

Das wesentliche Potential des NIR-Imaging für Industrieanwendungen liegt wohl zunächst in einfacheren Verfahren. Oft genügt es, die Bildgebung nur in einem definierten, vorher sorgfältig ausgewählten Wellenlängenbereich durchzuführen, bspw. bei der Füllstandskontrolle in opaken Behältern. In anderen Fällen ist vielleicht nicht die volle spektrale Information erforderlich, sondern es genügen wenige Spektralkanäle. Auch im Sichtbaren wird in der konventionellen IBV eine Farbkamera eingesetzt, wenn aus dem Graustufenbild allein die gewünschten Merkmale nicht extrahiert werden können. Dabei stehen dann auch nur drei verhältnismäßig breitbandige Spektralkanäle zur Verfügung, die entweder getrennt ausgewertet oder so miteinander verknüpft werden, dass die Prüfmerkmale sicher herausgearbeitet werden können. Alle Verfahren, die aus der Farbbildverarbeitung bekannt sind, können in diesem Sinne auf das NIRImaging übertragen werden – bspw. wird in der Erdfernerkundung seit Jahrzehnten der sog. NDVI (Normalized Difference Vegetation Index) zur Abschätzung der Biomasse verwendet. Dazu wird die Differenz zwischen den Signalen in einem NIR-Band und in einem VIS-Band auf die Summe der beiden Signale normiert. Strukturell ist dieser Index nicht wesentlich verschieden von den CIE-Farbkoordinaten oder den RGB-Farbwerten im sichtbaren Spektralbereich.

NIR-Kameras mit Mosaik-Filtern vor dem Detektor oder mit Farbteilern – in Analogie zu den Bayer-Filter- und Drei-Chip-RGB-Kameras im VIS – sind als Serienkomponenten gar nicht und als Sonderanfertigungen nicht ohne weiteres verfügbar. Wenn nur wenige Spektralkanäle erforderlich sind, kann die spektrale Auflösung jedoch ohne großen Aufwand über die Beleuchtung realisiert werden. LED-Beleuchtungen oder breitbandige Lichtquellen mit optischen Filtern sind dazu gut geeignet. Zu diesem Zweck wurde in unserem Labor eine LED-Beleuchtungseinheit aufgebaut, die sequentiell Aufnahmen im Blauen, Grünen, Roten und im NIR mit einer konventionellen CCD-Kamera ermöglicht. Eine ähnliche Quelle, bestückt mit LEDs für vier Wellenlängen zwischen 1.000 nm und 1.600 nm, ist zur Zeit als Beleuchtungseinheit für das NIR-Imaging mit einer InGaAs-Kamera in der Erprobung. Die ersten Tests haben bereits gezeigt, dass auf diese Weise auch im NIR ausreichende Bestrahlungsstärken auf der Probe erreicht werden. Damit können im NIR-Bereich von 700 nm– 600 nm Signale an fünf Stützpunkten abgetastet und mit den Signalen im VIS-Bereich verknüpft werden.

Beispiel: Alkoholgehalt

Als Beispiel für einen einfachen Ansatz zeigt Abbildung 5 die Ergebnisse für die Untersuchung einer Alkohol- Wasser-Lösung mit Bildaufnahmen bei 1.450 nm. Das linke Teilbild ist eine Aufnahme im Durchlicht mit reinem Wasser im Probenbehälter, das rechte Teilbild eine Aufnahme mit reinem Alkohol. Der Alkoholgehalt wurde sukzessive erhöht und dabei die Schichtdicke im Behälter konstant gehalten. Aus dem zentralen Bereich des Behälters wurde dann der mittlere Grauwert in einer Kreisscheibe bestimmt. In Abbildung 6 sind die Ergebnisse als Funktion des Alkoholgehalts aufgetragen. Obwohl es sich um einen einfachen, schnell ausgeführten Test im Labor handelt und das verwendete Durchlichtfeld nicht auf Homogenität optimiert ist, kann bereits mit dieser simplen Vorgehensweise ein deutlicher Zusammenhang zwischen dem mittleren Grauwert in der NIR-Aufnahme und dem Alkoholgehalt festgestellt werden. Dieser Ansatz ist gewiss nicht zur Konzentrationsbestimmung mit einer Genauigkeit von wenigen Promille geeignet, eine Unterscheidung von 40 %igem und 80 %igem Alkohol erscheint bei Optimierung der Methode jedoch realistisch. Für manche Prüfaufgaben mag diese Genauigkeit ausreichen.

Technologie

Für die NIR-Aufnahmen in diesem Beitrag wurde eine ungekühlte InGaAs-Kamera Xeva XS mit 320 x 256 Pixeln und 30 μm Pixelpitch verwendet (freundlicherweise von der Firma LOT, Darmstadt, zur Verfügung gestellt). Die Kamera ist im Spektralbereich von 900–1.700 nm empfindlich (InGaAs-1). Sie gibt die Bilddaten über eine USB 2.0-Schnittstelle 14 bit tief aus. Die maximale Bildfrequenz wird mit 120 Hz angegeben. Zur Abbildung wurde ein Standard-Objektiv für die IBV eingesetzt, das nicht speziell für den NIR-Bereich optimiert ist. Kameras für den InGaAs- 2-Bereich von 1.300–2.600 nm sind ebenfalls verfügbar. Für die breitbandige Beleuchtung wurden Halogenlampen benutzt, bei den Aufnahmen in schmalen Wellenlängenbereichen dienten NIR-LEDs als Strahlungsquellen.

Ausblick

Im Spektralbereich zwischen 1.000 nm und 1.600 nm gibt es eine Reihe von Effekten, die der IBV weitere Anwendungen eröffnen. Als Detektoren für das NIR-Imaging kommen in diesem Spektralbereich nur InGaAs-Chips infrage, die nach wie vor auch bei geringen Pixelauflösungen erheblich teurer als CCD- oder CMOS-Sensoren sind. Andererseits gibt es viele Prüfaufgaben, bei denen guter Kontrast wichtiger ist als hohe Ortsauflösung. Für diese Zwecke sind mittlerweile kompakte ungekühlte InGaAs-Kameras verfügbar, die mit Frameraten von 60 Hz und mehr, Steuerung der Integrationszeit, Global Shutter und Triggermöglichkeit für die Bedürfnisse der IBV ausgelegt sind. Als Beleuchtungsquellen sind, wie im sichtbaren Spektralbereich, auch im NIR gepulste LED-Beleuchtungen geeignet, mit denen außerdem hinreichend schmalbandige spektrale Nachweiskanäle definiert werden können.

Die Strahlungsleistungen dieser Komponenten sind zwar ausreichend, aber geringer als im VIS, und die Bauteile sind teurer als ihre Pendants im sichtbaren Spektralbereich. Auch an dieser Stelle werden die Kosten für die Hardware somit deutlich höher als bei der klassischen IBV im VIS. Spezielle Objektive sind jedoch i. d. R. nicht erforderlich. Technisch erscheint das NIR-Imaging somit in diesem Spektralbereich auch im industriellen Umfeld handhabbar. Für eine Reihe von Prüfaufgaben sind die Kosten des NIR-Imaging auf dieser Basis zwar hoch, aber nicht prohibitiv, bspw. bei der Füllstandskontrolle oder bei der Prüfung auf Fremdkörper in opaken Behältern.

Über solche Anwendungen könnte sich das NIR-Imaging in den nächsten Jahren in der IBV etablieren. Ist jedoch die volle spektrale Auflösung an jedem Bildpunkt gewünscht, damit die Methoden der Laborspektroskopie auf die 100%-Kontrolle in der laufenden Produktion übertragen werden können, steigt der Aufwand erheblich. Wenn in diesem Zusammenhang nur ökonomische Gesichtspunkte entscheiden, wird bei solchen Prüfaufgaben der zusätzliche Nutzen nach gegenwärtigem Stand der Technik nur in Ausnahmefällen die Anwendung des NIR-Imaging rechtfertigen.

Kontakt Prof. Dr. Christoph Heckenkamp, Studiengang Optotechnik und Bildverarbeitung Hochschule Darmstadt – University of A pplied Sciences Tel.: 06151/16-8668 Fax: 06151/16-8900 heckenkamp@h-da.de www.fbmn.h-da.de

 

Jetzt registrieren!

Die neusten Informationen direkt per Newsletter.

To prevent automated spam submissions leave this field empty.