Termin „bin picking” oznacza zautomatyzowane pobieranie elementów z pojemnika. Robot rozpoznaje części ułożone w sposób nieuporządkowany w pojemniku, określa położenie i orientację każdego obiektu, a następnie wyjmuje je pojedynczo. Wąskim gardłem rzadko jest ramię robota, a raczej komputerowe przetwarzanie obrazu. Oblicza ono bezpieczny punkt chwytu na podstawie stosu przypadkowo ułożonych części. Niniejszy artykuł przedstawia trzy kwestie. Po pierwsze, jak działa proces przetwarzania obrazu 3D. Po drugie, czym różnią się systemy 2D, 3D i oparte na sztucznej inteligencji. Po trzecie, jak dokonać wyboru między dopasowaniem CAD a rozpoznawaniem obiektów przez sztuczną inteligencję.
Bin Picking (pobieranie z pojemnika) to zautomatyzowane identyfikowanie i pobieranie pojedynczych obiektów z nieuporządkowanego pojemnika przez robota. System kamer rejestruje zawartość pojemnika. Oprogramowanie określa położenie i orientację każdej części. Robot wyjmuje obiekty jeden po drugim.
Bin Picking przebiega zawsze według tej samej podstawowej sekwencji: rejestracja, rozpoznawanie, chwytanie, odkładanie. Różnica w stosunku do klasycznej manipulacji polega na braku uporządkowania. Części nie docierają pojedynczo i wyrównane na przenośniku taśmowym, lecz leżą przypadkowo jedna na drugiej w skrzyni siatkowej lub pudełku. Z technicznego punktu widzenia rozróżnia się trzy poziomy. W przypadku pobierania ustrukturyzowanego (Structured Picking) części leżą uporządkowane w warstwach. W przypadku pobierania częściowo ustrukturyzowanego leżą one w jednej płaszczyźnie, ale bez stałego położenia. W przypadku prawdziwego pobierania losowego (Random Bin Picking) są one ułożone chaotycznie. Właśnie w tym przypadku robot potrzebuje informacji obrazowej 3D zamiast zwykłego obrazu 2D.
Obiekty są przy tym zazwyczaj identyczne. W większości rzeczywistych zastosowań w pojemniku znajduje się jeden, ten sam typ części. Są to na przykład półfabrykaty odlewowe, śruby, elementy formowane wtryskowo lub towary zapakowane. Ułatwia to rozpoznawanie, ponieważ system szuka znanego obiektu zamiast dowolnych kształtów.
Wybieranie z pojemnika jest wymagające, ponieważ robot musi określić położenie każdej części w sześciu stopniach swobody. Obiekty zasłaniają się nawzajem, rzucają cienie i zmieniają orientację przy każdym uchwycie. Prawdziwym problemem jest wyznaczenie ruchu chwytania bez kolizji na podstawie statycznego obrazu.
Bin picking zazwyczaj kończy się niepowodzeniem z powodu pięciu powtarzających się przeszkód:
Punkt środkowy narzędzia (TCP), czyli zdefiniowany punkt roboczy chwytaka, musi przy tym wjechać do skrzynki bez kolizji. Błyszczące powierzchnie metalowe i krawędź pojemnika są częstymi przyczynami nieudanych prób chwytania. Właśnie dlatego jakość przetwarzania obrazu decyduje o sukcesie projektu. Udźwig i zasięg robota mają drugorzędne znaczenie.
W procesie „bin picking” wykorzystuje się trzy klasy przetwarzania obrazu. Kamery 2D dostarczają jedynie obraz powierzchniowy. Czujniki 3D generują chmurę punktów zawierającą informacje o głębokości. Systemy oparte na sztucznej inteligencji rozpoznają obiekty nawet bez dokładnego modelu. W przypadku prawdziwego chwytania z nieuporządkowanego zbioru informacje 3D są niezbędne. Sztuczna inteligencja rozszerza ich zastosowanie na trudne obiekty.
Kamera 2D wystarcza tylko wtedy, gdy elementy są płaskie i leżą oddzielnie w jednej płaszczyźnie, ponieważ brakuje jej informacji o wysokości. Gdy tylko elementy leżą jeden na drugim, system potrzebuje danych 3D. W tym celu przyjęły się cztery zasady działania czujników:
| Zasada działania czujnika | Sposób działania | Zalety | Słabe strony |
|---|---|---|---|
| Światło strukturalne | Rzuca wzór i mierzy jego zniekształcenie | Wysoka dokładność w bliskim zasięgu | Wrażliwe na światło zewnętrzne |
| Wizja stereoskopowa | Dwie kamery obliczają głębię na podstawie paralaksy | Solidne, pasywne, niedrogie | Słabsze wyniki w przypadku powierzchni o ubogiej teksturze |
| Czas przelotu (ToF) | Mierzy czas przelotu odbitego światła | Szybki, duży obszar roboczy | Niższa rozdzielczość szczegółów |
| Triangulacja laserowa | Linia laserowa oraz pomiar kąta | Bardzo precyzyjna, dobrze sprawdza się w przypadku metalu | Wolniejsze skanowanie, często z ruchem |
Chmura punktów jest produktem pośrednim każdego systemu 3D. Składa się z milionów punktów 3D i opisuje powierzchnię zawartości pojemnika. Na jej podstawie oprogramowanie oblicza położenie każdej części. Rozpoznawanie obiektów oparte na sztucznej inteligencji nakłada na nią kolejną warstwę. Zamiast porównywać elementy wyłącznie na podstawie danych geometrycznych, wykorzystuje ona wyszkolone modele. Dzięki temu wykrywa również ciemne, przezroczyste lub zmieniające się obiekty, z którymi klasyczne metody nie radzą sobie. Odpowiednie kamery 3D i systemy wizyjne znajdziesz w pakiecie na platformie handlowej Unchained Robotics.
Bin Picking przebiega w trzech wzajemnie powiązanych etapach: Perception (rejestrowanie i rozpoznawanie), Grasp Prediction (określanie punktu chwytu) oraz Robot Control (planowanie toru ruchu i wykonanie). Każdy etap musi zostać zakończony w ramach czasu cyklu, w przeciwnym razie przetwarzanie obrazu spowolni cały cykl.
Wybieranie elementów z pojemnika rozpoczyna się od etapu percepcji. Czujnik 3D generuje chmurę punktów pojemnika. Oprogramowanie odfiltrowuje punkty zakłócające oraz krawędź pojemnika, a następnie przeprowadza estymację pozycji. Estymacja pozycji oznacza określenie położenia i orientacji każdej rozpoznanej części w sześciu stopniach swobody. W tym miejscu rozróżnia się dopasowanie CAD (porównanie z zapisanym modelem 3D) od rozpoznawania obiektów opartego na sztucznej inteligencji (wyszkolony model zamiast dokładnej geometrii).
W ramach funkcji Grasp Prediction system oblicza na podstawie rozpoznanej pozycji konkretny, osiągalny punkt chwytu. Ocenia, która część jest wystarczająco swobodna, gdzie chwytak może bezpiecznie się zacisnąć oraz czy siła chwytu jest wystarczająca. W przypadku kilku potencjalnych elementów wybiera ten, który ma największą szansę powodzenia.
Moduł Robot Control realizuje chwyt. Planowanie ścieżki generuje trasę bez kolizji do skrzynki i z powrotem. System unikania kolizji sprawdza przy tym ścianki pojemnika, sąsiednie elementy oraz samego robota. Dopiero potem TCP przemieszcza się do punktu chwytu, wyjmuje element i umieszcza go we właściwej pozycji. W celu wykonania kolejnego pobrania cykl rozpoczyna się od nowa, często z nowym ujęciem. W rezultacie stos przesuwa się przy każdym ujęciu.
Cambrian Vision to oparty na sztucznej inteligencji system przetwarzania obrazu przeznaczony do trudnych obiektów. Należą do nich ciemne, błyszczące, półprzezroczyste lub o nietypowych kształtach elementy, które stanowią wyzwanie dla klasycznych systemów 3D. Rozwiązanie działa niezawodnie nawet przy słabym lub zmiennym oświetleniu.
Cambrian Vision wykorzystuje obrazowanie i uczenie maszynowe. Dzięki temu niezawodnie rozpoznaje i chwyta obiekty nawet w trudnych warunkach wizualnych. Właśnie w tym tkwi jego zaleta. Czarne, ciemne lub półprzezroczyste elementy stanowią wyzwanie dla wielu systemów 3D. Ten system przetwarza je stabilnie. W praktyce wykorzystuje on dwie kamery. Są one zazwyczaj zamontowane na ramieniu robota i rejestrują pojemnik w ruchu.
System wymaga pliku CAD elementu, na podstawie którego ustalana jest optymalna pozycja chwytu. Na tej podstawie obliczany jest model oparty na sztucznej inteligencji, który pozwala niezawodnie zlokalizować i chwycić element. Ma to kluczowe znaczenie dla projektowania systemu. Określa ono, ile czasu zajmie przygotowanie nowego elementu. Decyduje również o tym, jak dobrze system radzi sobie z odchyleniami w kształcie i rozmiarze.
Mech-Mind Mech-Eye to seria systemów wizyjnych 3D. Jest ona dostępna w kilku wariantach o różnych odległościach roboczych i polach widzenia. Kamery rozpoznają nawet małe, złożone lub bardzo szczegółowe elementy i są kompatybilne programowo z popularnymi markami robotów.
Mech-Mind Mech-Eye łączy w jednym urządzeniu dwie wbudowane kamery i zintegrowany moduł przetwarzania. Oprogramowanie analizuje zawartość pojemnika i określa położenie oraz orientację elementów. Następnie przekazuje robotowi punkty chwytu wraz z propozycją toru ruchu. Kluczową cechą jest właśnie ta szeroka kompatybilność oprogramowania. Ponieważ sterowanie współpracuje z systemami wielu producentów robotów, znacznie zmniejsza się nakład pracy związany z integracją.
Mech-Mind Mech-Eye najlepiej sprawdza się tam, gdzie części zmieniają się stosunkowo często. Dostępne warianty obejmują różne odległości robocze. Dzięki temu system można dostosować zarówno do małych, precyzyjnych części, jak i do dużych elementów umieszczonych w głębokich skrzyniach kratowych. Dzięki temu nadaje się do stanowisk pracy o zmiennym asortymencie części. System skonfigurowany sztywno pod kątem jednego obiektu byłby w takich warunkach zbyt mało elastyczny.
Roboty do pobierania z pojemników wyposażone w Cambrian Vision i Mech-Mind Mech-Eye rozwiązują ten sam problem z dwóch różnych perspektyw. Cambrian stawia na rozpoznawanie oparte na sztucznej inteligencji w przypadku obiektów trudnych do zidentyfikowania wizualnie. Mech-Mind stawia na elastyczny system kamer 3D o szerokiej kompatybilności z robotami, przeznaczony do pracy z różnymi częściami. Wybór zależy od zakresu części i ich powierzchni.
| Kryterium | Cambrian Vision | Mech-Mind Mech-Eye |
|---|---|---|
| Podejście | Przetwarzanie obrazu oparte na sztucznej inteligencji | Seria kamer wizyjnych 3D |
| Zalety | Ciemne, błyszczące, przezroczyste, nietypowe elementy | Zróżnicowany asortyment elementów, szeroki zakres rozmiarów |
| Konfiguracja kamer | Dwie kamery zamontowane na ramieniu robota | Dwie kamery, zintegrowane przetwarzanie obrazu |
| Odporność na światło | Również przy słabym, zmiennym oświetleniu | W zależności od wersji |
| Kompatybilność z robotami | Kompatybilność oprogramowania z większością głównych marek robotów | Oprogramowanie kompatybilne z większością głównych marek robotów |
| Idealny do | Powierzchnie wymagające wysokiej jakości optycznej | Często zmieniające się obiekty |
Cambrian Vision to najlepszy wybór, gdy głównym problemem jest powierzchnia. Dotyczy to błyszczących metalowych, czarnych lub przezroczystych elementów w słabym oświetleniu. Mech-Mind Mech-Eye to najlepszy wybór, gdy liczy się elastyczność i łatwa integracja z istniejącą flotą robotów. Oba rozwiązania stanowią solidną podstawę. Ostateczną decyzję należy podjąć na podstawie rzeczywistego elementu, najlepiej poprzez test wykonalności z wykorzystaniem własnych elementów.
W przypadku pobierania z pojemnika (Bin Picking) chwytak ma decydujący wpływ na szybkość pobierania. W ciasnym, pełnym pojemniku musi on dokonywać chwytu bez kolizji. Dominują trzy typy efektorów końcowych: chwytak próżniowy, chwytak równoległy dwupalczasty oraz chwytak magnetyczny. Wybór zależy od materiału, geometrii i dostępności elementu.
Efektor końcowy to narzędzie zamocowane na kołnierzu robota, w tym przypadku chwytak. Podczas sięgania do skrzynki najważniejsza jest smukła konstrukcja. Chwytak musi sięgać między ciasno ułożone elementy oraz do krawędzi pojemnika, nie przesuwając przy tym sąsiednich elementów.
| Chwytak | Zasada działania | Odpowiedni do | Ograniczenia |
|---|---|---|---|
| Chwytak próżniowy | Przyssawki, podciśnienie | Płaskie, szczelne, gładkie powierzchnie (karton, blachy, woreczki) | Elementy porowate, mocno wygięte lub ażurowane |
| Chwytak równoległy dwupalczasty | Połączenie kształtowe, dwie szczęki | Określone kształty, cylindry, sześciany, odlewy | Bardzo duże lub zaplątane elementy w ciasnym opakowaniu |
| Chwytak magnetyczny | Siła magnetyczna | Części metalowe ferromagnetyczne | Tylko materiały magnetyczne, możliwość chwytania wielu elementów jednocześnie |
Chwytaki próżniowe są standardem w logistyce, ponieważ są szybkie i lekkie. Chwytaki dwupalczaste dominują w produkcji określonych elementów. Chwytaki magnetyczne są bezkonkurencyjne w przypadku elementów stalowych, ale czasami niechcący przyciągają kilka elementów jednocześnie. W trudnych przypadkach niektóre komórki łączą kilka zasad chwytania w jednym systemie wymiennym. Odpowiednie efektory końcowe znajdziesz na platformie handlowej Unchained Robotics. Szczegółowe wskazówki dotyczące doboru chwytaków i efektorów końcowych znajdziesz w poradniku.
Bin Picking jest powszechnie stosowany w czterech branżach: produkcji, logistyce, rolnictwie i technice medycznej. W produkcji służy do zaopatrywania linii produkcyjnych w półfabrykaty. W logistyce służy do kompletacji i pakowania towarów do wysyłki. W rolnictwie i technice medycznej wykorzystuje się go do sortowania i rozdzielania elementów.
W produkcji technika „bin picking” najczęściej zajmuje się zasilaniem maszyn i linii montażowych. Dostarcza ona półfabrykaty odlewane, śruby lub elementy formowane wtryskowo bezpośrednio z pojemników dostawczych. Zwiększa to wykorzystanie mocy produkcyjnych zakładu i odciąża operatorów maszyn.
W logistyce system „Bin Picking” pobiera paczki, woreczki i pojedyncze artykuły z pojemników zbiorczych. Układa je w odpowiednim porządku do wysyłki lub dalszej obróbki. Zwiększa się tempo i dokładność procesu kompletacji, a zmniejsza się zakres ręcznej obsługi.
W rolnictwie technologia „Bin Picking” sortuje i organizuje produkty rolne oraz inne towary według wielkości lub stopnia dojrzałości. W technice medycznej i służbie zdrowia pobiera i transportuje materiały eksploatacyjne, tabletki lub drobne elementy zgodnie z wymogami higienicznymi. Wspólny mianownik jest zawsze ten sam. Tam, gdzie części przybywają w nieuporządkowanym stanie i są dalej przetwarzane pojedynczo, technologia „Bin Picking” zastępuje monotonną, ciężką pracę ręczną.
System „Bin Picking” składa się z robota, systemu wizyjnego 3D, chwytaka, oprogramowania oraz integracji. To powoduje, że inwestycja wykracza poza samą cenę robota. Decydujące znaczenie dla opłacalności mają czas cyklu i wskaźnik pobierania (Pick-Rate), czyli liczba udanych operacji chwytania na godzinę, które system jest w stanie niezawodnie wykonać.
Bin Picking opłaca się, gdy system zastępuje jedną lub więcej zmian monotonnej pracy związanej z pobieraniem elementów. Musi przy tym utrzymywać wysoką wydajność pobierania. Wydajność pobierania to odsetek udanych operacji pobierania w stosunku do wszystkich prób. Spada ona, gdy części się zaczepiają, rozpoznawanie staje się niepewne lub chwytak nie może się oprzeć o wnętrze skrzynki. Czas cyklu obejmuje podniesienie, rozpoznanie, ruch chwytania i odłożenie. W praktyce typowe czasy cyklu, w zależności od części i kamery, mieszczą się w zakresie kilku sekund na jeden chwyt.
Konkretne wskaźniki dla danego zastosowania zależą w dużym stopniu od części i komórki.
Kto nie chce samodzielnie zajmować się integracją, może skorzystać z gotowej komórki. MalocherBot firmy Unchained Robotics łączy robota, system wizyjny i chwytak w postaci wstępnie skonfigurowanej komórki automatyzacyjnej. System operacyjny robota LUNA typu „no-code” steruje przebiegiem procesu bez konieczności klasycznego programowania robota.
Projekty typu „bin picking” rzadko kończą się niepowodzeniem z powodu robota, a prawie zawsze z powodu przetwarzania obrazu, chwytaka lub samego elementu. Trzy najczęstsze przyczyny to powierzchnie odbijające światło, nieodpowiedni chwytak oraz szerszy niż zakładano zakres elementów.
Wybieranie z pojemnika przebiega niezawodnie, jeśli wcześniej wyjaśnisz cztery kwestie:
Cobot (robot współpracujący, który może pracować obok ludzi bez oddzielającej go bariery ochronnej) może przejąć zadanie pobierania elementów z pojemnika. Warunkiem jest, aby udźwig, zasięg i czas cyklu były odpowiednie. W przypadku ciężkich elementów lub wysokich częstotliwości taktowania lepszym wyborem jest klasyczny robot przemysłowy. Wybór cobotów znajdziesz na platformie handlowej. Najważniejszym czynnikiem pozostaje realistyczna ocena własnego elementu. To od niej zależy odpowiednia synergia między systemem wizyjnym, chwytakiem i robotem.
Bin Picking to zautomatyzowane pobieranie elementów z pojemnika. Robot wykorzystuje kamerę 3D do rozpoznawania elementów ułożonych w sposób nieuporządkowany w pojemniku. Określa on pozycję i orientację każdego elementu, a następnie pobiera je pojedynczo. Termin ten w języku niemieckim oznacza „pobieranie z pojemnika” lub „kompletację z pojemnika”.
Inwestycja obejmuje robota, system wizyjny 3D, chwytak, oprogramowanie oraz integrację i znacznie przewyższa samą cenę robota. [WYMAGANY WKŁAD AUTORA: konkretny przedział cenowy gotowej do użytku komórki do pobierania z pojemnika w firmie Unchained Robotics, np. cena podstawowego modelu MalocherBot.] Zwrot z inwestycji zależy od szybkości pobierania, czasu cyklu oraz liczby zastąpionych godzin pracy.
Do chwytania elementów w nieuporządkowanym układzie robot potrzebuje systemu kamer 3D, który generuje chmurę punktów zawartości pojemnika. Podstawą są: światło strukturalne, wizja stereoskopowa, pomiar czasu przelotu (ToF) lub triangulacja laserowa. W przypadku ciemnych, błyszczących lub przezroczystych elementów czysty pomiar 3D uzupełnia rozpoznawanie obiektów oparte na sztucznej inteligencji.
Dopasowywanie CAD porównuje chmurę punktów z zapisanym modelem 3D części i sprawdza się w przypadku znanych, niezmiennych elementów. Rozpoznawanie obiektów oparte na sztucznej inteligencji wykorzystuje wyszkolone modele. Rozpoznaje ono również zmienne, trudne optycznie lub odkształcalne elementy, dla których nie ma dokładnego modelu. Dopasowywanie CAD jest bardziej precyzyjne w przypadku znanych elementów, natomiast sztuczna inteligencja jest bardziej elastyczna w przypadku zmiennego asortymentu elementów.
Chwytaki próżniowe nadają się do płaskich, gładkich powierzchni, takich jak kartony lub blachy. Chwytaki równoległe z dwoma palcami nadają się do elementów o określonej geometrii, takich jak odlewy lub cylindry. Chwytaki magnetyczne nadają się do ferromagnetycznych elementów metalowych. Oprócz materiału decydujące znaczenie ma również kształt elementu. Chwytak musi być wystarczająco smukły, aby dotrzeć do elementu w pełnym pojemniku.
Kobot może wykonywać zadania typu „bin picking”, o ile udźwig, zasięg i wymagany czas cyklu mieszczą się w dopuszczalnych granicach. Jego zaletą jest możliwość pracy bez oddzielającej bariery ochronnej. W przypadku ciężkich elementów lub bardzo wysokich częstotliwości cyklu bardziej odpowiednim wyborem jest klasyczny robot przemysłowy o większej prędkości i udźwigu.
Szybkość mierzy się czasem cyklu na jeden chwyt oraz wskaźnikiem skuteczności (Pick-Rate), czyli odsetkiem udanych chwytów. Typowe czasy cyklu, w zależności od części, kamery i chwytaka, mieszczą się w zakresie kilku sekund na jeden pobór.
Technologia „bin picking” sprawdza się w czterech obszarach. W produkcji zasila maszyny i linie montażowe. W logistyce kompletuje i pakuje towary. W rolnictwie sortuje produkty. W technice medycznej rozdziela materiały eksploatacyjne. Wspólnym mianownikiem są części dostarczane w sposób nieuporządkowany, które są następnie przekazywane pojedynczo.