Jak kamera śledzi ruchome części maszyny

Ten wpis jest dla inżynierów, którzy budują lub oceniają monitoring maszyn z kamer, w tym specjalistów od systemów wizyjnych, oraz dla kierowników produkcji i utrzymania ruchu, którzy rozważają kamerę dla maszyn bez PLC ani złącza danych. Kamera skierowana na maszynę może rejestrować, kiedy maszyna pracuje, a kiedy stoi, bez podłączania czegokolwiek do maszyny. Nasz wpis o przestojach na maszynie bez PLC porównuje kamerę z czujnikiem prądu i kolumną sygnalizacyjną.

Wyjaśniamy tu, jak kamera śledzi ruchome części maszyny w monitoringu maszyn: jak definiuje się każdą część bez danych treningowych i śledzi ją na obrazie, jak odróżnia się ruch od szumu, czego kamera nie widzi i jak sprawdza się program śledzący. Inżynierowie znajdą tu metodę i jej ograniczenia, a kierownicy to, o co pytać dostawcę i jak uruchamia się monitoring maszyn: od trzech kadrów z kamery do czasu pracy, czasu postoju i rejestru postojów dla każdej zmiany.

Przykładem w całym wpisie jest monitorowana przez nas maszyna z trzema głowicami, które przesuwają się po prowadnicach. Dla każdej głowicy program 15 razy na sekundę ustala, gdzie głowica jest i czy się porusza. Gdy ruch się kończy, zapisuje, jak daleko i jak szybko głowica się przesunęła, w którym kierunku i jak długo. W ciągu zmiany te zapisy składają się na czas pracy, czas postoju i liczbę przejazdów na godzinę.

Od obrazu z kamery do wyników zmiany
Jak obraz z kamery zamienia się w wyniki zmiany. Po prawej sprawdzenie, czy ramka nadal jest na części.

Dlaczego detekcja ruchu nie wystarcza do monitoringu maszyn

Najprostsza metoda z kamerą to detekcja ruchu. Program przechowuje obraz sceny w spoczynku i w każdej nowej klatce zaznacza piksele, które się od niego różnią. Kamery monitoringu używają jej, aby rozpocząć nagrywanie. W przypadku maszyny odpowiada jednak na inne pytanie niż to, które zadaje monitoring maszyn: pokazuje, że w jakimś obszarze obrazu coś się zmieniło, a nie która część się poruszyła, jak daleko i w którym kierunku.

Dwie części w jednym obszarze dają jeden sygnał, podobnie jak część i otaczająca ją rama maszyny. Zmiana światła, cień albo wózek widłowy przejeżdżający obok maszyny także zmieniają piksele, a detektor liczy to jako ruch.

Monitoring maszyn potrzebuje pomiaru dla każdej części: jej położenia w każdej klatce, a z niego początku, końca i długości każdego ruchu. Trzeba więc śledzić samą część, a nie piksele, które zmieniają się wokół niej. Dalsza część wpisu opisuje, jak to zrobić.

Zdefiniowanie części bez danych treningowych

Zwykle obiekty na obrazie wyszukuje detektor wytrenowany na tysiącach opisanych zdjęć obiektów tego samego rodzaju. Dla części jednej maszyny takich zdjęć nie ma, a każda maszyna jest inna. Zamiast tego każdą część definiuje się raz, ręcznie, na jednej klatce z kamery: rysuje się ramkę wokół części i zaznacza na niej co najmniej pięć punktów. Nic nie jest trenowane, więc metoda nie potrzebuje zdjęć innych maszyn tego rodzaju.

Punkty muszą leżeć tam, gdzie powierzchnia ma szczegóły w dwóch kierunkach, na przykład w narożniku wspornika albo na łbie śruby. Na gładkiej farbie obraz wygląda tak samo, gdziekolwiek przesunie się punkt, a na prostej krawędzi wygląda tak samo, gdy punkt przesuwa się wzdłuż niej, więc żadnego z nich nie da się śledzić. Dlatego narzędzie do oznaczania przyciąga każde kliknięcie do pobliskiego miejsca ze szczegółami w dwóch kierunkach. Na naszej maszynie każda głowica ma od 8 do 15 punktów.

Trzy głowice zdefiniowane na jednej klatce
Klatka z kamery nad maszyną z ramką i punktami każdej głowicy, tak jak je zdefiniowano. Poniżej głowica z przerywanej ramki w powiększeniu.

W teorii dwa punkty wyznaczają położenie i kąt sztywnej części. Na obrazie z kamery punkty jednej części leżą jednak blisko siebie, więc błąd o ułamek piksela w jednym z nich daje duży błąd kąta. Dlatego program mierzy kąt tylko wtedy, gdy zostały co najmniej cztery punkty, i wymaga pięciu lub więcej, aby jeden zasłonięty punkt nie przerywał pomiaru.

Klatka, na której zaznaczono punkty, zostaje zapisana jako pierwszy widok wzorcowy części: tak część wygląda według osoby, która ją oznaczyła. Można dodać kolejne widoki części, o innej porze dnia albo w innym miejscu na prowadnicach. Program sprawdza na ich podstawie, czy ramka nadal jest na części.

Definicja obejmuje tylko to, co widzi kamera. Część bez narożników, na przykład gładka lakierowana osłona, nie daje punktom niczego, czego mogłyby się trzymać.

Śledzenie części z klatki na klatkę

Między dwiema klatkami każdy punkt jest śledzony metodą przepływu optycznego: program szuka niewielkiego przesunięcia, przy którym piksele wokół punktu w nowej klatce najlepiej pasują do pikseli wokół niego w poprzedniej. Zastosowana metoda Lucasa-Kanadego zakłada, że sąsiednie piksele poruszają się razem, co jest prawdą dla małego fragmentu sztywnej części. Znajduje tylko małe przesunięcia, dlatego najpierw działa na pomniejszonej kopii obrazu, w której duży ruch staje się mały, a potem dokładniej wyznacza wynik na pełnym obrazie.

Przepływ optyczny mówi, dokąd przesunęła się tekstura pod punktem, ale nie mówi, czy dopasowanie jest prawdziwe. Dlatego każdy punkt jest śledzony także wstecz, z nowej klatki do starej. Jeśli nie wróci na odległość mniejszą niż pół piksela od miejsca startu, w tej klatce zostaje pominięty.

Pozostałe punkty są następnie dopasowywane razem jako jedna sztywna bryła: program wyznacza przesunięcie i obrót, które najlepiej przenoszą je z miejsc, w których je zaznaczono, do miejsc, w których są teraz. Punkt, który nie zgadza się z resztą, bo zsunął się na ramę maszyny za częścią albo został zasłonięty, wraca tam, gdzie według pozostałych powinien być. Ramka jest związana z tym dopasowaniem. Zachowuje narysowany rozmiar, obraca się razem z częścią, a jej środek jest mierzonym położeniem.

Pięć fragmentów nagrania z kamery nad maszyną, z dwóch dni, między 08:04 a 17:00, przyspieszonych pięciokrotnie, ze śledzeniem głowic. Zielona ramka oznacza ruch, pomarańczowa spoczynek, a linia za ramką to jej tor z ostatnich chwil.

Dopasowanie wszystkich punktów do klatki, na której je zaznaczono, nie pozwala błędom się sumować. Przesuwanie ramki o średnie przesunięcie z każdej klatki sprawia natomiast, że mały błąd z każdej klatki narasta, aż ramka i jej własne punkty rozchodzą się o kilkadziesiąt pikseli.

Śledzone punkty nie wiedzą, na czym leżą. Dlatego program w każdej klatce porównuje też obraz pod ramką z widokami wzorcowymi części. Jeśli nic do nich nie pasuje, szuka części na obrazie, a po pięciu sekundach bez dopasowania oznacza ją jako niepotwierdzoną i przenosi ramkę tam, gdzie ją znalazł.

Odróżnianie ruchu od szumu

Nawet stojąca część nie pozostaje dokładnie na tym samym pikselu. Szum obrazu, zmiany światła i kompresja wideo przesuwają jej zmierzone położenie o kilka setnych piksela z klatki na klatkę. Prosta reguła, według której część porusza się, gdy jej położenie zmieni się w jednej klatce o więcej niż ustaloną wartość, wymaga wyboru: przy wysokim progu nie zauważy części, która przesuwa się bardzo powoli, a przy niskim reaguje na szum.

Program zamiast tego sumuje ruch części klatka po klatce i porównuje sumę z szumem. Szum raz wskazuje w jedną stronę, raz w drugą, więc jego suma rośnie powoli, proporcjonalnie do pierwiastka z liczby klatek. Prawdziwy ruch w każdej klatce wskazuje w tę samą stronę, więc jego suma rośnie proporcjonalnie do liczby klatek. Część uznaje się za poruszającą się, gdy suma przekroczy czterokrotność rozrzutu, jaki dałby sam szum w tej liczbie klatek. Bardzo powolny ruch przekracza ten próg po odpowiedniej liczbie klatek, szum nie. Poziom szumu jest mierzony na bieżąco, z tego, jak bardzo punkty części różnią się między sobą.

Część znów jest w spoczynku, gdy jej ruch z ostatnich dwóch sekund nie wykracza poza to, co dałby sam szum, więc ruch kończą dwie sekundy spoczynku.

Ruch sumowany a próg szumu
Głowica 3 przez siedem sekund, pomiar. Oś pionowa pokazuje, o ile łącznie przesunęła się głowica od ostatniego wyzerowania sumy, w pikselach, na skali, na której każda linia siatki oznacza dziesięć razy więcej niż poprzednia. W spoczynku suma pozostaje poniżej progu szumu i co dwie sekundy liczy się od nowa. Gdy głowica zaczyna przejazd, suma od razu przekracza próg.

Jeszcze jedna reguła chroni przed bardzo niskim szumem. Gdy szum jest bardzo niski, próg też jest bardzo niski i trącenie o ułamek piksela może rozpocząć ruch. Punkty, które leżą na nieruchomym fragmencie maszyny, mogą wtedy zapisać dziesiątki drobnych ruchów w każdej półgodzinie.

Dlatego ruch liczy się dopiero wtedy, gdy część w najdalszym punkcie przesunęła się o 2 piksele analizowanego obrazu, tak aby przejazd tam i z powrotem też się liczył. Usuwa to większość drgań, a nie usuwa niczego, co człowiek nazwałby ruchem: prawdziwe przejazdy głowic mają od 60 do 100 pikseli.

Wyniki są w pikselach obrazu. Ile milimetrów na maszynie przypada na jeden piksel, zależy od odległości kamery i obiektywu i nie jest tu mierzone.

Czego kamera nie pokazuje

Kamera widzi tylko to, co jest na obrazie, i tylko tak wyraźnie, jak pozwala obraz. Oto ograniczenia, z którymi się zetknęliśmy:

  • Część, która między dwiema klatkami przesunie się dalej, niż sięga przepływ optyczny, na chwilę się gubi i trzeba ją odnaleźć na obrazie. Części maszyn zwykle poruszają się dość wolno, rzucane lub wymachiwane przedmioty nie.
  • Gdy coś stoi przed częścią, kamera nie wie, czy część się poruszyła.
  • Druga część, która wygląda tak samo, na przykład identyczna głowica na tej samej prowadnicy, może zostać wzięta za śledzoną część.
  • Przy słabym świetle, o zmierzchu albo w nocy, części trudniej rozpoznać, a łatwiej pomylić je z podobnymi.
  • Pomiary są w pikselach. Przeliczenie na milimetry wymaga odległości kamery i obiektywu, jak w naszym kalkulatorze obiektywu kamery.
  • Gdy maszyna stoi z powodu spoza kadru, na przykład zajętej suwnicy albo braku materiału, kamera rejestruje postój, ale nie jego przyczynę.

Jak sprawdzić program śledzący

Programu śledzącego nie da się ocenić na podstawie jego własnych wyników, bo jego własne sprawdzenie może wypaść pomyślnie, gdy ramka jest w złym miejscu. Trzeba go porównać z czymś, czego sam nie wytworzył.

Nasz program porównujemy z odniesieniem, które od niego nie zależy. Druga, prostsza metoda śledzi każdą część w każdej klatce bez żadnej z reguł programu i pomija klatki, co do których nie ma pewności. Potem człowiek sprawdza na oko tylko kilka klatek dla każdej części, wybranych tam, gdzie błędy są najbardziej prawdopodobne: w spoczynku, przy największych przesunięciach i na początku ruchów. Nikt nie musi ręcznie oznaczać każdej klatki. Prosta miara tego, gdzie zmieniły się piksele w obszarze każdej głowicy, także wyznaczana bez programu, pokazuje, kiedy ramka zgłasza spoczynek, a głowica się porusza.

Przy każdym monitoringu z kamer warto zadać trzy pytania:

  • Czy system informuje, kiedy nie ma pewności, czy zawsze podaje liczbę?
  • Czy sprawdzono go z odniesieniem, którego sam nie wytworzył, na podobnych maszynach?
  • Czego nie widzi i skąd będzie wiadomo, że tak się stało?

Porównanie trzech metod z kamerą

Są trzy typowe sposoby śledzenia maszyny kamerą: detekcja ruchu, wbudowana w większość rejestratorów wideo; detektor wytrenowany na opisanych zdjęciach, z programem, który łączy jego ramki z klatki na klatkę; oraz program śledzący części, taki jak nasz, opisany w tym wpisie.

NrCechaDetekcja ruchuWytrenowany detektor z programem śledzącymNasz program śledzący części
1Która część się poruszyła i jak dalekoNie; pokazuje tylko, że w obszarze zmieniły się pikseleTak, dla rodzajów obiektów, na których go wytrenowanoTak, dla każdej części nazwanej na maszynie
2Zdjęcia do treninguNiepotrzebneWiele opisanych zdjęć każdego rodzaju obiektuNiepotrzebne; jedna klatka, ramka i co najmniej pięć punktów na część
3Powolne, małe ruchyPomijane albo mylone z szumemTrudne do odróżnienia od drgań samej ramkiSumowane i porównywane ze zmierzonym szumem
4Informuje o braku pewnościNiePodaje stopień pewności dla każdej ramkiOznacza część jako niepotwierdzoną po pięciu sekundach bez dopasowania
5Potrzebny komputerZwykle wbudowana w kamerę lub rejestratorZwykle z kartą graficznąZwykły komputer

Detekcja ruchu wystarcza, aby zobaczyć, że coś się poruszyło. Aby zmierzyć, która część się poruszyła, jak daleko i kiedy się zatrzymała, na maszynie, dla której nikt nie wytrenował detektora, każdą część trzeba zdefiniować i śledzić osobno.

Od śledzenia do wyników zmiany

Każdy ruch zapisany przez program ma początek, koniec i długość. Zsumowane w ciągu zmiany dają czas pracy, czas postoju i liczbę przejazdów na godzinę dla każdej części. Każdy postój trafia do rejestru postojów z godziną, czasem trwania i nagraniem maszyny z czasu postoju. Z tego wynikają dostępność i OEE, jak w naszym kalkulatorze OEE.

Uruchomienie monitoringu maszyn z kamerą
Jak w pięciu krokach uruchamia się monitoring maszyn z kamerą. Pasek zmiany w kroku 5 jest ilustracją.

Pomiar warto zacząć od jednej maszyny, która jest wąskim gardłem, bo to od niej zależy, ile zakład wyprodukuje. Kamera przy niej pokazuje, na co idzie jej czas i który postój warto usunąć najpierw. Ile warte jest usprawnienie, zależy od kosztu godziny tej maszyny; nasz wpis o 13 minutach na zmianę wylicza to na przykładzie.

W ramach usługi monitoring maszyn przygotowujemy dla maszyn bez interfejsu danych czas pracy i postoju na każdej zmianie oraz rejestr postojów z godziną, czasem trwania i nagraniem.

Źródła

  1. Shi, J., Tomasi, C. (1993). Good Features to Track. Technical Report TR 93-1399, Cornell University. https://users.cs.duke.edu/~tomasi/papers/shi/TR_93-1399_Cornell.pdf
  2. OpenCV (2026). Optical Flow. OpenCV 4.13.0 documentation, tutorials. https://docs.opencv.org/4.x/d4/dee/tutorial_optical_flow.html

Wyślij zapytanie

Prosimy przesłać trzy kadry bez ludzi z kamery, która widzi maszynę, na kontakt@blixild.com albo krótko opisać maszynę poniżej, a poprosimy o kadry. Pierwszy krok jest bezpłatny: odpowiadamy, czy z tego widoku da się odczytać pracę i postój maszyny.

Odpowiadamy w ciągu jednego dnia roboczego.

kontakt@blixild.com

Wysłanie formularza oznacza zgodę na kontakt w sprawie zapytania.

← Wróć na blog