Zautomatyzowane przetwarzanie obrazu sprawdza się zawsze wtedy, gdy części trafiają na stację w sposób nieuporządkowany. Dotyczy to również sytuacji, gdy ich położenie ulega zmianie lub jest nieprecyzyjne. W takiej sytuacji robot musi najpierw ustalić, gdzie znajduje się element. Jeśli natomiast każdy element jest dostarczany posortowany i w prawidłowej pozycji, często wystarczy rozwiązanie mechaniczne, takie jak technika podawania lub prosty czujnik. W tym przewodniku dowiesz się czterech rzeczy: kiedy wizja maszynowa jest niezbędna, a kiedy zbędna, jakie komponenty są potrzebne oraz ile kosztuje taki system.
Zautomatyzowane przetwarzanie obrazu opłaca się w trzech przypadkach: gdy elementy są ułożone w sposób nieuporządkowany lub ich położenie się zmienia, gdy cechy charakterystyczne (kształt, kolor, położenie, powierzchnia) są zróżnicowane lub gdy wymagana jest kontrola wizualna. Jeśli spełniony jest choćby jeden z tych warunków, system wizyjny wykazuje swoje zalety. W przeciwnym razie rozwiązanie mechaniczne jest zazwyczaj tańsze.
Przetwarzanie obrazu jest odpowiedzią na niepewność. Gdy tylko maszyna musi wiedzieć, gdzie znajduje się część lub czy jest ona w porządku, potrzebuje informacji wizualnej. Kobot pobiera elementy z pudełka. W tym celu potrzebuje kamery, która określa pozycję i orientację. Właśnie w tym przypadku system wizyjny zastępuje ludzkie oko. Dopiero wtedy automatyzacja staje się w ogóle możliwa.
W przypadku już uporządkowanego podawania sytuacja się odwraca. Tam, gdzie części są posortowane, wyrównane i dostarczane w stałej jakości, przetwarzanie obrazu wnosi niewielką wartość dodaną. Wibrujący przenośnik spiralny lub mechaniczna szyna porządkująca ustawia każdą część w tej samej pozycji, całkowicie bez kamery, oprogramowania i kalibracji. Zasadą ogólną jest zatem: automatyzuj porządkowanie mechanicznie, o ile to możliwe. Przetwarzanie obrazu stosuj dopiero tam, gdzie nie da się tego porządku uzyskać mechanicznie.
Zautomatyzowane przetwarzanie obrazu jest zawsze konieczne, gdy proces musi radzić sobie z nieokreślonym położeniem elementów, zmiennymi cechami lub wizualnymi wymaganiami jakościowymi. W przypadku uporządkowanego, stałego podawania elementów alternatywa mechaniczna jest zazwyczaj bardziej niezawodna i tańsza.
Przetwarzanie obrazu przemysłowego (Machine Vision) to technologia, dzięki której maszyna rejestruje obrazy, analizuje je i na tej podstawie podejmuje decyzję. System wizyjny składa się z czterech głównych elementów: kamery z czujnikiem obrazu, obiektywu, oświetlenia oraz oprogramowania analizującego.
Przemysłowe przetwarzanie obrazu zawsze przebiega według tego samego schematu. Oświetlenie zapewnia określony kontrast. Obiektyw ostro odwzorowuje obrabiany element na czujniku obrazu. Kamera digitalizuje obraz. Oprogramowanie dokonuje jego analizy. Do analizy wykorzystuje się klasyczne metody rozpoznawania wzorców (rozpoznawanie krawędzi, analiza plam, dopasowywanie szablonów). W przypadkach wykraczających poza ustalone reguły coraz częściej stosuje się uczenie maszynowe.
Każdy element ma wpływ na wynik. Matryca o wysokiej rozdzielczości niewiele pomoże, jeśli obiektyw obrazuje nieostro lub oświetlenie rzuca cienie. Wybór kamery zależy od procesu:
| Typ kamery | Zasada działania | Typowe zastosowanie |
|---|---|---|
| Kamera matrycowa | Rejestruje kompletny obraz 2D w jednym ujęciu | Kontrola obecności, położenia i kompletności |
| Kamera liniowa | Skanuje poruszające się obiekty wiersz po wierszu | Materiały ciągłe, taśmy, produkty w rolkach, wysoka rozdzielczość |
| Inteligentna kamera | Kamera z wbudowanym procesorem i oprogramowaniem | Kompaktowe kontrole pojedynczych elementów bez zewnętrznego komputera |
| Czujnik wizyjny | Wstępnie skonfigurowany czujnik do konkretnego zadania | Odczyt kodów, wykrywanie obecności, proste sprawdzanie typu „tak/nie” |
Oprogramowanie jest prawdziwym motorem napędowym. To ono decyduje, czy system sprawdzi tylko jedną prostą cechę, czy też zinterpretuje złożoną scenę. Przegląd komponentów wizyjnych i kompletnych zestawów kamer znajdziesz na platformie handlowej Unchained Robotics.
Zautomatyzowane przetwarzanie obrazu w produkcji obejmuje pięć głównych zastosowań: kontrolę jakości, sterowanie robotami (bin picking i pick-and-place), identyfikację (kody kreskowe i kody 2D), kontrolę kompletności oraz wykrywanie błędów oparte na uczeniu głębokim. Wszystkie one mają jeden wspólny cel: wizualną decyzję w czasie rzeczywistym.
Przetwarzanie obrazu zastępuje lub uzupełnia kontrolę wzrokową wykonywaną przez człowieka. Wkracza do akcji tam, gdzie ta ostatnia jest zbyt powolna, zbyt kosztowna lub zbyt podatna na błędy. Najważniejsze zastosowania w szczegółach:
Przetwarzanie obrazu oparte na głębokim uczeniu się to obszar zastosowań charakteryzujący się największym wzrostem. Rozwiązuje ono zadania kontrolne, w których rozpoznawanie wzorców oparte na regułach zawodzi, ponieważ wady nie da się jednoznacznie zdefiniować wizualnie.
Zautomatyzowane przetwarzanie obrazu występuje w dwóch podstawowych formach. Wizja 2D rejestruje powierzchnię i kontur (położenie w osiach X i Y, kontrast, kod). Wizja 3D rejestruje dodatkowo wysokość (oś Z), a tym samym kształt, objętość i położenie w przestrzeni. Ogólna zasada: 2D dla cech płaskich, 3D do określania punktów chwytu.
Przetwarzanie obrazu w 2D wystarcza do wykonania zdecydowanej większości zadań kontrolnych. Często istotna cecha znajduje się w jednej płaszczyźnie, na przykład kod, krawędź, obszar koloru lub obecność obiektu. W takich przypadkach kamera płaskowa 2D zapewnia szybkie i ekonomiczne wyniki. Wizja 3D jest potrzebna tam, gdzie wysokość decyduje o sukcesie lub porażce. Dotyczy to sięgania do skrzynki, kontroli płaskości lub pomiaru objętości.
| Kryterium | Przetwarzanie obrazu 2D | Przetwarzanie obrazu 3D |
|---|---|---|
| Rejestrowane informacje | Powierzchnia, kontur, kontrast, kod | Dodatkowo: wysokość, kształt, objętość |
| Typowe zadania | Odczyt kodu, obecność, błędy wymiarowe w płaszczyźnie | Wybieranie elementów z pojemnika, punkt chwytania, płaskość, objętość |
| Wrażliwość na światło | Wysoka (decydujący jest kontrast) | Niska (decydująca jest geometria) |
| Wymagania obliczeniowe | Niskie, możliwość pracy w czasie rzeczywistym | Wyższe, konieczna jest obróbka chmury punktów |
| Koszty systemu | Od niskich do średnich | Od średnich do wysokich |
| Nakład związany z integracją | Niski | Wyższy (kalibracja, planowanie chwytu) |
W praktyce często łączy się oba te podejścia. System odczytuje kod za pomocą technologii 2D i określa punkt chwytu za pomocą technologii 3D. Ważne jest, aby wybór systemu dostosować do najtrudniejszego zadania, a nie do średniej.
W praktyce systemy przetwarzania obrazu zawodzą z powodu pięciu czynników zakłócających: zmiennego oświetlenia otoczenia, kurzu i zabrudzeń, przezroczystych lub błyszczących elementów, cieni oraz trudnych do rozpoznania elementów (ciemnych, małych, o podobnych kształtach). Wszystkie pięć czynników można w znacznym stopniu zneutralizować dzięki odpowiedniemu oświetleniu i optyce.
Przetwarzanie obrazu zależy od jakości obrazu. Najczęstszą przyczyną niestabilności systemów nie jest oprogramowanie, lecz złe lub niestabilne oświetlenie. Kto nie kontroluje oświetlenia otoczenia, otrzyma w słońcu inne wyniki niż w nocy. Dlatego ukierunkowane oświetlenie jest najważniejszym czynnikiem regulacyjnym:
Przezroczyste elementy (szkło, folia, przezroczyste tworzywo sztuczne) oraz powierzchnie silnie odbijające światło stanowią najtrudniejsze przypadki. Przepuszczają one światło lub odbijają je w sposób niekontrolowany. W takich sytuacjach pomocne jest oświetlenie przechodzące, filtry polaryzacyjne lub oświetlenie kopułowe. Hermetyczna obudowa chroni układ optyczny przed kurzem i zanieczyszczeniami. Najważniejsze przesłanie: system przetwarzania obrazu jest tak dobry, jak kontrola nad warunkami obrazowania.
Przetwarzanie obrazu opłaca się przede wszystkim w przypadku nieokreślonego położenia elementów. Jeśli części są dostarczane w uporządkowany sposób, stała technika podawania, system porządkowania, czujnik zbliżeniowy lub zwykłe odczytywanie kodów są często tańsze i bardziej niezawodne. Decyzja opiera się na czterech kryteriach: położeniu części, zróżnicowaniu cech, potrzebie kontroli wizualnej oraz liczbie sztuk.
Przetwarzanie obrazu kosztuje więcej niż rozwiązanie mechaniczne, zarówno pod względem zakupu, jak i konserwacji. Jest uzasadnione tylko wtedy, gdy potrzebna jest jego elastyczność. Poniższa macierz klasyfikuje alternatywy:
| Rozwiązanie | Odpowiednie, jeśli | Granica |
|---|---|---|
| Przetwarzanie obrazu | Nieznane położenie części, zróżnicowane cechy charakterystyczne, konieczna kontrola wizualna | Wyższe koszty, wrażliwość na światło i zanieczyszczenia |
| Technika podawania (przenośnik spiralny) | Części można mechanicznie ustawić w stałej pozycji | Tylko dla niewielkiej liczby, stałych typów części |
| System porządkowania (gniazdo, szyna) | Części są dostarczane już posortowane, o stałej geometrii | Brak konieczności radzenia sobie z chaosem lub wariantami |
| Czujnik zbliżeniowy | Czysta obecność lub pozycja w stałym miejscu | Brak informacji o kształcie lub jakości |
| Skaner kodów kreskowych | Wymagana jest jedynie identyfikacja, kod jest dostępny | Brak wykrywania położenia lub błędów |
Decyzja rzadko sprowadza się do wyboru „albo-albo”. Często najkorzystniejszym rozwiązaniem automatyzacyjnym jest połączenie: mechaniczne rozdzielanie elementów oraz prosty czujnik wizyjny do wykrywania pozostałej niepewności. Dopiero gdy nie da się zapewnić porządku mechanicznie, jedyną opcją staje się pełnoprawny system przetwarzania obrazu. W takich przypadkach obowiązuje zasada: albo automatyzacja z wykorzystaniem przetwarzania obrazu, albo wcale.
Koszt systemu przetwarzania obrazu różni się znacznie w zależności od stopnia złożoności. Zakres cenowy sięga od kilkuset euro za czujnik wizyjny do kilkudziesięciu tysięcy euro za system 3D do selekcji elementów z pojemników. To, jak szybko się zwróci, zależy od zaoszczędzonej pracy ręcznej i unikniętych braków, a nie wyłącznie od ceny kamery.
Wiele osób ocenia przetwarzanie obrazu na podstawie ceny kamery. To mylące. Największą część kosztów rzadko stanowią kamera i oprogramowanie, a raczej oświetlenie, integracja mechaniczna, kalibracja i inżynieria aplikacji. Poniższe przedziały cenowe są typowymi dla branży wartościami orientacyjnymi dotyczącymi sprzętu:
| Klasa systemu | Typowy przedział cenowy | Do czego nadaje się |
|---|---|---|
| Czujnik wizyjny | Od 300 do 2 000 euro | Odczyt kodów, wykrywanie obecności, proste sprawdzanie typu „tak/nie” |
| Inteligentna kamera | Od 1 500 do 8 000 euro | Kompaktowa kontrola 2D bez zewnętrznego komputera |
| Kompletny system 2D | Od 10 000 do 30 000 euro | Kamera, optyka, oświetlenie, analiza danych, integracja |
| System selekcji przedmiotów 3D | Od 30 000 do 80 000 euro | Pobieranie z pojemnika wraz z prowadzeniem robota |
Inwestycja zwraca się zazwyczaj dzięki oszczędnościom na kosztach osobowych. Jeśli system wizyjny zastępuje ręczną kontrolę wzrokową w trybie wielozmianowym, często zwraca się w ciągu jednego do dwóch lat. Do tego dochodzą oszczędności wynikające z uniknięcia braku i kosztów związanych z reklamacjami. Koszt wadliwych części w terenie szybko przewyższa cenę systemu. [WYMAGANY WKŁAD AUTORA: Czy firma Unchained Robotics podaje konkretny przedział cenowy lub czas zwrotu inwestycji dla gotowej do użycia komórki wizyjnej (np. MalocherBot z kamerą), który mógłby tu posłużyć jako miarodajny wskaźnik?]
Cena kamery stanowi najmniejszy element rachunku. O opłacalności systemu przetwarzania obrazu decydują oszczędności wynikające z wyeliminowania pracy ręcznej, uniknięcie braków produkcyjnych oraz nakłady związane z integracją, a nie sam sprzęt.
To właśnie przetwarzanie obrazu sprawia, że robot lub kobot staje się elastyczny. Zamiast ściśle zaprogramowanych pozycji system sięga tam, gdzie faktycznie znajduje się element. Technika ta nazywa się robotyką sterowaną wizją (Vision-guided Robotics) i wymaga trzech elementów: kamery, kalibracji „ręka-oko” oraz planowania chwytania.
Roboty bez systemu wizyjnego działają na ślepo. Poruszają się do ustalonych współrzędnych i zakładają, że każdy element znajduje się dokładnie w tym miejscu. Dopiero kamera pozwala uwolnić się od tego sztywnego powiązania. Kalibracja „ręka-oko” przekształca przy tym współrzędne obrazu z kamery na układ współrzędnych robota. W ten sposób punkt środkowy narzędzia (TCP), czyli środek narzędzia na chwytaku, precyzyjnie dociera do rozpoznanego punktu chwytu.
Dwa najczęstsze scenariusze:
Aby współpraca przebiegała sprawnie, kamera, chwytak i robot muszą być do siebie dopasowane. Który efektor końcowy pasuje do danego procesu, wyjaśnia artykuł poświęcony doborowi efektorów końcowych. A jeśli dopiero zaczynasz, podstawowe informacje znajdziesz w przeglądzie dotyczącym robotów współpracujących i ich obszarów zastosowań. Odpowiednie roboty kolaboracyjne i kamery znajdziesz w pakiecie na platformie handlowej Unchained Robotics.
Zautomatyzowane przetwarzanie obrazu (Machine Vision) to technologia, dzięki której maszyna rejestruje obrazy, analizuje je za pomocą oprogramowania i na tej podstawie podejmuje decyzję. System składający się z kamery, obiektywu, oświetlenia i oprogramowania analizującego rozpoznaje cechy takie jak położenie, kształt, kolor czy kody. W ten sposób steruje procesami, takimi jak kontrola jakości, sortowanie czy prowadzenie robota.
Przetwarzanie obrazu ma sens, gdy części dostarczane są w sposób nieuporządkowany, ich cechy są zróżnicowane lub proces wymaga kontroli wizualnej. Gdy maszyna musi wiedzieć, gdzie znajduje się dana część lub czy jest ona bezbłędna, tylko kamera dostarcza tej informacji. Jeśli natomiast części są dostarczane posortowane i w prawidłowej pozycji, zazwyczaj wystarcza alternatywne rozwiązanie mechaniczne.
Alternatywami dla przetwarzania obrazu są techniki podawania (przenośniki spiralne), mechaniczne systemy porządkowania (gniazda, szyny), czujniki zbliżeniowe do czystej kontroli obecności oraz skanery kodów kreskowych do identyfikacji. Rozwiązania te są tańsze i bardziej wytrzymałe. Działają one jednak tylko wtedy, gdy porządek części można ustalić mechanicznie i nie jest konieczne wizualne wykrywanie błędów.
Koszt przemysłowego systemu przetwarzania obrazu różni się w zależności od klasy. Cena czujnika wizyjnego wynosi od 300 do 2 000 euro. Kamera inteligentna kosztuje od 1 500 do 8 000 euro. Kompletny system 2D wraz z integracją kosztuje od 10 000 do 30 000 euro. System 3D do kompletacji z pojemników z sterowaniem robotem kosztuje od 30 000 do 80 000 euro. Największą część kosztów często stanowią oświetlenie i integracja, a nie sama kamera.
Przetwarzanie obrazu 2D rejestruje powierzchnię i kontur obiektu w jednej płaszczyźnie, czyli położenie, kontrast i kody. Przetwarzanie obrazu 3D rejestruje dodatkowo wysokość, a tym samym kształt, objętość i położenie w przestrzeni. Przetwarzanie 2D wystarcza do odczytu kodów i kontroli powierzchni płaskich. Przetwarzanie 3D jest potrzebne, gdy robot musi określić punkt chwytu w chaotycznie wypełnionym pojemniku.
System przetwarzania obrazu składa się z czterech podstawowych elementów: kamery z czujnikiem obrazu, obiektywu, oświetlenia oraz oprogramowania do analizy. Oświetlenie zapewnia kontrast. Obiektyw zapewnia ostry obraz. Czujnik obrazu digitalizuje obraz. Oprogramowanie dokonuje analizy za pomocą rozpoznawania wzorców lub uczenia maszynowego. W zależności od zadania dodaje się filtry, obudowę lub kamerę 3D.
Przetwarzanie obrazu działa w czasie rzeczywistym w zależności od systemu. Czujniki wizyjne i systemy 2D analizują obrazy w ciągu kilku milisekund. Dzięki temu nadążają za wysokimi częstotliwościami taktowania w produkcji. Systemy 3D wymagają więcej czasu obliczeniowego, ponieważ przetwarzają chmurę punktów. Jednak w przypadku selekcji z pojemnika nadal działają one zsynchronizowane z procesem.
Przetwarzanie obrazu przemysłowego obejmuje przede wszystkim kontrolę jakości, sterowanie robotami (bin picking i pick-and-place), identyfikację za pomocą kodów kreskowych i kodów 2D, kontrolę kompletności oraz wykrywanie błędów oparte na uczeniu głębokim. Wszystkie te zastosowania łączy jeden cel: szybkie i powtarzalne podejmowanie decyzji wizualnych. Dotyczy to sytuacji, w których wizualna kontrola przeprowadzana przez człowieka jest zbyt powolna lub podatna na błędy.