-
+86-551-62240026
- leonnn410@gmail.com
+86-551-62240026
2026-09-04
Obrazowanie hiperspektralne, pierwotnie stosowane w połowie lat 80. XX wieku do teledetekcji, w ciągu ostatnich dwudziestu lat rozszerzyło się na wiele dziedzin badawczych, szczególnie w rolnictwie i naukach o żywności, gdzie wykorzystuje się je do gromadzenia dodatkowych danych na temat właściwości wizualnych i chemicznych badanych obiektów. Obrazowanie hiperspektralne łączy tradycyjne obrazowanie z technologiami spektralnymi, takimi jak spektroskopia w podczerwieni, spektroskopia Ramana i fluorescencja, tworząc trójwymiarową strukturę danych zwaną hipersześcianem, która integruje dwuwymiarowe obrazowanie cyfrowe i wymiar widmowy danych. Każdy piksel jest powiązany z widmem odzwierciedlającym właściwości optyczne obszaru, który reprezentuje; chociaż widmo ma na nie wpływ sąsiednie piksele, może służyć jako unikalna cecha identyfikacji substancji. W dziedzinie oceny jakości owoców, warzyw i grzybów obrazowanie hiperspektralne stoi przed wyzwaniami, takimi jak dostępność danych i niezawodność modelu. Istniejącym badaniom w większości brakuje praktycznego zastosowania i należy zwrócić uwagę na odtwarzalność i przełożenie parametrów badawczych na parametry przemysłowe, aby uzyskać nieniszczącą ocenę jakości, ograniczyć marnotrawienie żywności i zapewnić bezpieczeństwo żywności.
Integracja sztucznej inteligencji i obrazowania hiperspektralnego ma kluczowe znaczenie. Algorytmy sztucznej inteligencji, głównie techniki uczenia maszynowego i głębokiego uczenia się, są w stanie wydajnie przetwarzać wielkowymiarowe i wielkoskalowe dane obrazowania hiperspektralnego, zapewniając dokładną ekstrakcję i klasyfikację cech. Wykazują wyjątkową wydajność w przetwarzaniu dużych zbiorów danych, odszumianiu, analizie w czasie rzeczywistym i poprawie dokładności zadań, co czyni je nieocenionymi w zastosowaniach zależnych od danych hiperspektralnych, takich jak rolnictwo i teledetekcja. W miarę postępu technologii sztucznej inteligencji jej integracja z obrazowaniem hiperspektralnym stanie się jeszcze ściślejsza, możliwe będzie przetwarzanie w czasie rzeczywistym, a połączenie z nowymi technologiami poszerzy zakres zastosowań i pobudzi innowacje w branży. Pomimo wyzwań związanych z danymi i obliczeniami perspektywy pozostają optymistyczne. W artykule szczegółowo omówiona zostanie kluczowa rola sztucznej inteligencji w zastosowaniu obrazowania hiperspektralnego, istniejące problemy i perspektywy przyszłego rozwoju.
Mechanizm obrazowania hiperspektralnego i problemy z nim związane
Obrazowanie hiperspektralne polega na przechwytywaniu i przetwarzaniu informacji widmowych, co pozwala przezwyciężyć ograniczenia tradycyjnego obrazowania, które gromadzi dane tylko w kilku pasmach widmowych. Proces rozpoczyna się od oświetlenia docelowej sceny źródłem światła. Po interakcji światła z materiałami w scenie czujnik hiperspektralny, wykorzystując elementy optyczne, takie jak pryzmat lub siatka dyfrakcyjna, rozkłada zebrane światło na różne długości fal, a następnie układ czujników rejestruje natężenie światła na każdej długości fali, tworząc w ten sposób hiperspektralną kostkę danych z bogatymi informacjami widmowymi, obejmującymi dwa wymiary przestrzenne i jeden wymiar widmowy. Metody gromadzenia danych obejmują skanowanie punktowe, skanowanie liniowe, skanowanie spektralne i kamery migawkowe. Po zebraniu danych wymagana jest kalibracja w celu skorygowania reakcji czujnika, oświetlenia i efektów atmosferycznych, a następnie zastosowanie zaawansowanych technik przetwarzania danych, takich jak rozkład widmowy, klasyfikacja, ekstrakcja cech i redukcja wymiarów.
Dane obrazowania hiperspektralnego charakteryzują się dużą wymiarowością i złożonością: każdy piksel zawiera setki pasm widmowych, co skutkuje ogromnymi zbiorami danych, dużymi wymaganiami obliczeniowymi i magazynowymi oraz problemem redundancji danych. Jednocześnie dane podlegają zakłóceniom szumowym i są wrażliwe na warunki środowiskowe, co wymaga skomplikowanych technik wstępnego przetwarzania, takich jak redukcja szumów, korekcja atmosferyczna i kalibracja. Sztuczna inteligencja może rozwiązać te problemy: jej technologie uczenia maszynowego i głębokiego uczenia się doskonale radzą sobie z przetwarzaniem złożonych danych, mogą automatycznie uczyć się cech widmowych, zmniejszając ilość ręcznego konstruowania cech, a także mają znaczące zalety w wielowymiarowym przetwarzaniu danych, odszumianiu, analizie w czasie rzeczywistym i poprawie dokładności zadań, odgrywając ważną rolę w analizie danych hiperspektralnych.
Rysunek 1. Schemat głównych elementów systemu obrazowania hiperspektralnego
Rodzaje obrazowania hiperspektralnego
Skanowanie punktowe: przechwytywany jest pojedynczy piksel, kamera stopniowo buduje obraz w miarę skanowania próbki, każdy piksel zawiera pełną informację widmową, rozdzielczość widmowa jest wysoka, ale pozyskiwanie obrazu zajmuje dużo czasu, co nie jest odpowiednie w przypadku scenariuszy szybkiego gromadzenia danych; Zwykle używany do laboratoryjnej analizy spektralnej.
Skanowanie liniowe: Pomiar linia po linii widma ciągłego, szeroko stosowany w przemysłowej kontroli i monitorowaniu jakości. Pomimo utraty światła spowodowanej szczeliną wejściową spektrometru, osiągana jest równowaga pomiędzy szybkością a rozdzielczością widmową, co jest odpowiednie do monitorowania i analizy w czasie rzeczywistym.
Spektroskopia z transformacją Fouriera: może mierzyć widmo ciągłe, łączy w sobie monochromatyczny czujnik obrazu i interferometr, strumień świetlny jest wyższy niż w przypadku systemów skanujących typu push-pull, wydajność i dokładność gromadzenia danych spektralnych jest wysoka, nadaje się do zastosowań o wysokich wymaganiach dotyczących czułości i dokładności, może pracować w szerokim zakresie długości fal, szeroko stosowany w takich obszarach, jak analiza chemiczna.
Skanowanie spektralne: pozwala zebrać wszystkie informacje przestrzenne przy określonych długościach fal, przetwarzanie odbywa się sekwencyjnie dla każdej długości fali. Chociaż gromadzenie pojedynczego obrazu jest stosunkowo szybkie, cały proces jest spowalniany przez konieczność zmiany długości fal. Odgrywa znaczącą rolę w zastosowaniach wymagających wysokiej rozdzielczości przestrzennej przy określonych długościach fal, takich jak mikroskopia fluorescencyjna, a także może być zoptymalizowany w celu skupienia się na określonych obszarach zainteresowania.
Kamery hiperspektralne: umożliwiają przechwytywanie hiperspektralnego wideo, nadają się do przechwytywania poruszających się obiektów. Gromadzenie danych jest szybkie i wydajne, ale rozdzielczość widmowa i przestrzenna jest ograniczona w porównaniu z innymi technologiami. Mają ważne zastosowania w obrazowaniu hiperspektralnym w czasie rzeczywistym, np. w diagnostyce medycznej.
Obrazowanie hiperspektralne o wysokiej rozdzielczości ma kluczowe znaczenie dla wykrywania zmian widmowych w złożonych obiektach, ale wysoki koszt istniejącego sprzętu o wysokiej rozdzielczości ogranicza jego zastosowanie i rozpowszechnianie. Niedrogie urządzenie opracowane przez Stewarta i innych badaczy otwiera nowy sposób rozwiązania tego problemu i wykazuje dobre wyniki w monitorowaniu środowiska mineralogicznego.
Tabela 1. Charakterystyka metod skaningowych stosowanych w obrazowaniu hiperspektralnym.
Synergistyczne oddziaływanie sztucznej inteligencji i obrazowania hiperspektralnego
Obrazowanie hiperspektralne zawiera setki pasm widmowych, dane są wielowymiarowe, a ponadto występują problemy związane z redundancją, szumem i „przekleństwem wymiarowości”, z którymi trudno sobie poradzić tradycyjnymi metodami analizy. Algorytmy sztucznej inteligencji, zwłaszcza modele uczenia maszynowego i głębokiego uczenia się, mogą skutecznie rozwiązać te problemy.
Algorytmy nadzorowanego uczenia się wykorzystują oznakowane dane do uczenia modeli klasyfikacji lub analizy, na przykład maszyny wektorów nośnych są odpowiednie do klasyfikowania danych wielowymiarowych i małych zbiorów szkoleniowych; losowe lasy są bardzo wytrzymałe i zdolne do przetwarzania zaszumionych danych; metoda k-najbliższych sąsiadów dokonuje klasyfikacji na podstawie bliskości widma pikseli do oznaczonych danych; sieci neuronowe, takie jak perceptrony wielowarstwowe, można wykorzystać do klasyfikacji piksel po pikselu.
Algorytmy uczenia się bez nadzoru są w stanie odkrywać ukryte wzorce w danych bez wcześniej zdefiniowanych etykiet, takich jak grupowanie k-średnich, analiza głównych składowych i inne; Splotowe sieci neuronowe i rekurencyjne sieci neuronowe między sieciami neuronowymi mogą uczyć się reprezentacji złożonych danych; Algorytmy uczenia się przez wzmacnianie są odpowiednie dla środowisk dynamicznych; do ślepej separacji źródła stosowana jest niezależna analiza składowych; Autoenkodery służą do nienadzorowanej ekstrakcji cech i redukcji wymiarowości. Istnieją również nowe metody, takie jak DiffSpectralNet, które integrują różne technologie w celu poprawy wydajności klasyfikacji.
Technologie głębokiego uczenia się wykorzystują głębokie sieci neuronowe do automatycznego uczenia się funkcji, unikając ręcznego konstruowania funkcji. Generacyjne sieci kontradyktoryjne mogą być wykorzystywane do zwiększania ilości danych i do innych celów. W splotowych sieciach neuronowych warstwy splotowe wyodrębniają cechy poprzez połączenia lokalnych pól recepcyjnych, a w połączeniu z technologiami takimi jak warstwy łączenia, poprawiają zdolność uogólniania modelu, wykazując znakomite wyniki podczas przetwarzania złożonych danych wielowymiarowych.
Rozkład widmowy często wykorzystuje nieujemną faktoryzację macierzy i techniki kodowania rzadkiego. Modele hybrydowe, które łączą informacje przestrzenne i widmowe, poprawiają wydajność zadań takich jak klasyfikacja, takich jak przestrzenno-spektralne splotowe sieci neuronowe i grafowe sieci splotowe. Algorytmy przetwarzania języka naturalnego pomagają także sztucznej inteligencji rozumieć i generować język, ułatwiając rozwój inteligentnych zadań z wielu dziedzin.
W praktycznych zastosowaniach kamery hiperspektralne wzmocnione sztuczną inteligencją mogą poprawić szybkość przetwarzania sygnału i odporność na szumy, zapewniając dokładną rekonstrukcję widmową. Algorytmy superrozdzielczości oparte na sztucznej inteligencji mogą zwiększyć rozdzielczość przestrzenną obrazów, ułatwiając precyzyjne mapowanie i wykrywanie. W zadaniach klasyfikacyjnych technologie uczenia maszynowego i głębokiego uczenia się są w stanie przetwarzać wielowymiarowe dane widmowe, realizując klasyfikację materiałów lub obiektów. Algorytmy AI mogą zachować kluczowe informacje podczas odszumiania, uzupełniać brakujące części podczas rekonstrukcji obrazu i wykorzystywać informacje widmowe do poprawy dokładności wykrywania obiektów i segmentacji obrazu, odgrywając ważną rolę w różnych dziedzinach.
Rysunek 3. a) Uproszczony schemat hiperspektralnej kamery z losowym kodowaniem szerokopasmowym, opartej na głębokim uczeniu: kamera działa w trybie aktywnym (na górze) lub w trybie pasywnym (na dole) w zależności od położenia kodowania spektralnego. b) Przegląd rekonstrukcji widmowej opartej na głębokiej sieci neuronowej: Głęboka sieć neuronowa przetwarza surowe dane z kamery monochromatycznej w celu wygenerowania zrekonstruowanej trójwymiarowej kostki danych hiperspektralnych. c, d) Profile widmowe wąskopasmowej wiązki laserowej: w przypadku c głęboka sieć neuronowa jest trenowana na danych „dokładnych”, a w przypadku d na danych „ogólnych”. e) Profile widmowe dwóch pików przy długościach fal 598,0 nm i 603,2 nm, odległość między pikami pokazano na czarno.
Tabela 2. Charakterystyka różnych algorytmów stosowanych w interakcji sztucznej inteligencji i obrazowania hiperspektralnego.
Zastosowanie synergistycznego oddziaływania sztucznej inteligencji i obrazowania hiperspektralnego w rolnictwie
Monitorowanie wzrostu upraw: Wykorzystując sztuczną inteligencję i obrazowanie hiperspektralne, można dokładnie analizować obrazy hiperspektralne upraw na różnych etapach wzrostu. Rozpoznając subtelne zmiany w charakterystyce spektralnej upraw, określa się ich stan zdrowotny, na przykład, czy zostały dotknięte szkodnikami i chorobami, czy występują niedobory składników odżywczych i tak dalej. Na przykład modele głębokiego uczenia się mogą analizować współczynnik odbicia widmowego liści roślin uprawnych na obrazach hiperspektralnych, rozróżniając liście zdrowe od chorych, pomagając rolnikom w podejmowaniu proaktywnych środków zapobiegawczych i kontrolnych w celu poprawy plonów i jakości plonów.
Ocena jakości produktów rolnych: przeprowadza się badania nieniszczące owoców, warzyw i innych produktów rolnych. W oparciu o unikalne odciski widmowe, w połączeniu z algorytmami sztucznej inteligencji, precyzyjnie określane są takie wskaźniki, jak dojrzałość, słodkość i jakość wewnętrzna produktów rolnych, co ułatwia sortowanie, selekcję i trafny marketing produktów rolnych.
Rysunek 4. Sztuczna inteligencja i obrazowanie hiperspektralne wykorzystane do analizy jakości żywności
Obszar teledetekcji
Klasyfikacja i monitoring pokrycia terenu: możliwe jest obrazowanie hiperspektralne dużych obszarów powierzchni Ziemi. Algorytmy sztucznej inteligencji przetwarzają dane, aby dokładnie rozróżnić różne rodzaje pokrycia terenu, takie jak lasy, użytki zielone, pola uprawne, zbiorniki wodne, struktury miejskie itp., a także umożliwiają śledzenie w czasie rzeczywistym zmian w użytkowaniu gruntów, takich jak ekspansja miast, wylesianie i zanikanie terenów podmokłych, zapewniając niezawodne wsparcie informacyjne dla zarządzania gruntami i ochrony środowiska.
Eksploracja zasobów mineralnych: Ponieważ różne minerały mają specyficzne właściwości absorpcji widmowej i współczynnika odbicia, połączenie sztucznej inteligencji i technologii obrazowania hiperspektralnego może zidentyfikować potencjalne strefy dystrybucji minerałów na obrazach teledetekcyjnych, zwiększając efektywność poszukiwań i zmniejszając koszty eksploracji.
Zakres monitoringu środowiska
Monitoring zanieczyszczeń wody: Analizując dane hiperspektralne zbiorników wodnych, sztuczna inteligencja jest w stanie określić rodzaje i stężenia zanieczyszczeń w wodzie, np. rozpoznać, czy zawartość metali ciężkich w wodzie przekracza ustalone normy, obecność zanieczyszczeń organicznych itp., zapewniając dynamiczny monitoring jakości środowiska wodnego.
Rysunek 5. System zdalnego obrazowania hiperspektralnego zamontowany na bezzałogowym statku powietrznym zwanym robotyczną meduzą, który może być wyposażony w siatkę do zbierania dużych tworzyw sztucznych lub mikroplastików z różnych powierzchni wody.
Analiza składu atmosfery: obrazowanie hiperspektralne rejestruje sygnatury widmowe różnych cząsteczek gazu w atmosferze i wykorzystuje algorytmy sztucznej inteligencji do określenia zawartości i rozmieszczenia gazów cieplarnianych, substancji zanieczyszczających i innych składników w atmosferze, co pomaga zwalczać zanieczyszczenie powietrza i badania nad zmianą klimatu.
Dziedzina medyczna
Diagnoza chorób: Na przykład w diagnostyce chorób skóry stosuje się obrazowanie hiperspektralne w celu uzyskania obrazów spektralnych dotkniętych obszarów skóry, modele sztucznej inteligencji analizują te obrazy, pomagając lekarzom określić rodzaj i ciężkość zmiany chorobowej itd., zwiększając dokładność i skuteczność diagnozy.
Rycina 9. Schemat hemodynamiki obwodowej zdrowego dorosłego w spoczynku, przedstawiający oksyhemoglobinę, hemoglobinę i nasycenie krwi tlenem.
Analiza histopatologiczna: Wykonuje się obrazowanie hiperspektralne przekrojów patologicznych w oparciu o algorytmy sztucznej inteligencji, wydobywa się z nich zawartą w nich informację spektralną, co pozwala rozpoznać cechy mikrostrukturalne, takie jak komórki nowotworowe i zajęte tkanki, stanowiąc podstawę odniesienia do precyzyjnego leczenia chorób.
Obszar przemysłowy
Kontrola jakości produktu: W branży produkcyjnej przeprowadza się obrazowanie hiperspektralne produktów na linii produkcyjnej, algorytmy sztucznej inteligencji mogą szybko wykryć defekty powierzchni produktu, wewnętrzne wady strukturalne i inne problemy z jakością, zapewniając zautomatyzowaną i bardzo dokładną kontrolę jakości.
Identyfikacja i analiza materiałów: W przypadku różnorodnych materiałów przemysłowych obrazowanie hiperspektralne w połączeniu ze sztuczną inteligencją pozwala szybko i dokładnie określić rodzaj i skład materiałów, a także ocenić zgodność ich cech z ustalonymi wymaganiami, co ułatwia dobór surowców i kontrolę jakości produktu.
Synergistyczne oddziaływanie sztucznej inteligencji i obrazowania hiperspektralnego oznacza znaczący postęp w technologiach przetwarzania danych i identyfikacji materiałów. Ponieważ technologie nieustannie ewoluują, ich skrzyżowanie może potencjalnie stymulować dalsze innowacje, stale poszerzając zakres ich zastosowania w scenariuszach badawczych i praktycznych. Przyszłość tej synergicznej interakcji ma potencjał zrewolucjonizowania wielu branż, przesuwając granice istniejących technologii, zapewniając dokładne, wydajne i wszechstronne rozwiązania nieosiągalne tradycyjnymi metodami oraz otwierając zupełnie nowe możliwości rozwoju i transformacji dla różnych branż.
