Sterowanie dotykiem i gestami - przegląd technologii

Sterowanie dotykiem i gestami - przegląd technologii

Sterowanie dotykiem bądź gestami – i to zarówno prostymi machnięciami ręki, jak i rozbudowanymi sekwencjami ruchów obu rąk – przestało już być domeną twórców science fiction, szturmem wdzierając się do naszego codziennego życia. W ślad za rosnącym trendem poprawy ergonomii obsługi urządzeń i systemów elektronicznych idzie także rozwój czujników, modułów i oprogramowania wspierającego detekcję i rozpoznawanie gestów. Niemały udział ma w tym przypadku sztuczna inteligencja, o której chyba każdy z nas słyszy (w samych tylko środkach masowego przekazu) przynajmniej kilka razy dziennie. W artykule przyglądamy się współczesnym rozwiązaniom przeznaczonym do sterowania dotykiem i gestami w różnych gałęziach techniki.

Kawałek historii, czyli krótko o historii interfejsów dotykowych i HMI opartych na gestach

Sterowanie urządzeniami elektronicznymi przez bezpośrednie wskazywanie konkretnych punktów na ekranie było marzeniem pierwszych użytkowników komputerów. Już w latach 50. XX wieku inżynierowie z MIT opracowali prototyp świetlnego pióra, które zostało chętnie zaadaptowane do coraz popularniejszych systemów marki IBM, Amiga i innych. Jego działanie było bajecznie proste: wskaźnik zbliżony kształtem i rozmiarami do długopisu (fotografia 1) był wyposażony w końcówkę z fotodetektorem, którą użytkownik przykładał do monitora CRT. Podczas przemiatania obrazu wiązka elektronów sukcesywnie rozświetlała luminofor w kolejnych partiach ekranu, a gdy trafiała na czujnik – ten ostatni dawał odpowiedni sygnał z powrotem do komputera. W ten sposób, znając aktualną pozycję plamki światła (X, Y) można było precyzyjnie wskazać położenie świetlnego pióra.

Fotografia 1. Świetlne pióro używane do obsługi komputera IBM – końcówka lat 60. XX wieku (https://t.ly/PrMIi)

Co ciekawe, już wtedy użytkownicy zaczęli zgłaszać problemy natury ergonomicznej, a nawet zdrowotnej, wynikające z długotrwałego trzymania pióra w wyjątkowo nieergonomicznej pozycji: kończyna górna, zwłaszcza pozbawiona odpowiedniego podparcia, szybko ulegała przemęczeniu, co manifestowało się nawet przypadłością nazywaną mianem „gorilla arm”. Świetlne pióra z czasem praktycznie całkowicie ustąpiły innym, znacznie wygodniejszym w użytku urządzeniom wskazującym: myszom komputerowym i trackballom. Dopiero po latach zaczęły się powoli upowszechniać inne technologie obsługi interfejsów graficznych. I choć ekrany dotykowe są już od około dwóch dekad standardowym rozwiązaniem stosowanym w telefonach komórkowych, tabletach i wielu innych urządzeniach mobilnych (a także ubieralnych), to w przypadku „pecetów” czy laptopów stanowią one mimo wszystko technologię dużo mniej popularną – chyba w głównej mierze właśnie ze względów ergonomicznych. Panele dotykowe królują jednak nie tylko w elektronice konsumenckiej – coraz większy odsetek aparatury pomiarowej (głównie oscyloskopów i analizatorów widma), a także znakomita większość urządzeń medycznych, wyposażonych w różnej wielkości ekrany graficzne, mogą (lub muszą, z braku innych rodzajów interfejsu użytkownika) być sterowane właśnie za pomocą dotyku.

Fotografia 2. Bateria umywalkowa z bezdotykowym czujnikiem (https://t.ly/CfZRb)

Z czasem popularność zaczęły zyskiwać także rozmaite technologie umożliwiające sterowanie urządzeniami elektroniczni z zupełnym pominięciem fizycznego kontaktu – czyli za pomocą mniej lub bardziej złożonych gestów. Do dziś prawdopodobnie największym rynkiem prostych czujników zbliżeniowych pozostają dyspensery mydła i środków do dezynfekcji rąk czy też bezdotykowe baterie umywalkowe, ale coraz głośniej mówi się o nadchodzącej rewolucji w obsłudze instalacji pokładowych w samochodach osobowych (fotografia 3). A teraz ciekawostka: prognozy biznesowe wskazują, że globalny rynek technologii rozpoznawania gestów w aplikacjach motoryzacyjnych już w 2020 roku był wyceniany na niecały miliard dolarów, a w roku 2030 będzie dobijał do 4,5 miliarda! Nie dziwi zatem, że przeglądając strony internetowe producentów półprzewodników co rusz natrafiamy na infografiki kuszące nas wymyślnymi systemami sterowania wyposażeniem pokładowym za pomocą ruchów ręki.

Fotografia 3. Przykład sterowania osprzętem pokładowym pojazdu za pomocą gestów (https://t.ly/R37am)

Ekspresowy przegląd technologii wyświetlaczy dotykowych

Przez kilka dekad rozwoju ekranów graficznych – równolegle z dopracowywaniem istniejących i poszukiwaniem nowych metod wyświetlania obrazu – powstawał także szereg technologii pozwalających na precyzyjną i szybką detekcję dotyku. Pokrótce omówimy najważniejsze z nich, zwracając uwagę na aspekty implementacyjne oraz zalety i wady, rozpatrywane z użytkowego punktu widzenia.

Touchpanele rezystancyjne

Technologia rezystancyjna opiera się na pomiarze zmian oporności pomiędzy elektrodami, połączonymi galwanicznie z dwiema warstwami przewodzącymi. Te ostatnie są przezroczyste (wykonane z tlenku indu i cyny, ITO) i umieszczone w niewielkiej odległości od siebie, pozostają „domyślnie” rozdzielone przez warstwę elementów dystansowych w postaci niewidocznych gołym okiem „kropek”. Naciśnięcie warstwy elastycznej powoduje jej ugięcie i zwarcie z powłoką ITO umieszczoną na sztywnym podłożu panelu (rysunek 1).

Rysunek 1. Ilustracja zasady działania rezystancyjnego panelu dotykowego (https://t.ly/c_wBi)

Rezystancja może być zmierzona na kilka sposobów, a najczęściej spotykane są połączenia 4- oraz 5-przewodowe (rysunek 2b). W konfiguracji 4-przewodowej elektrody paskowe umieszcza się na wszystkich czterech krawędziach ekranu, przy czym elementy poziome są połączone elektrycznie z jedną z warstw ITO, zaś pionowe – z drugą.

Rysunek 2. Porównanie układów elektrod w panelach rezystancyjnych. a) 5-elektrodowy, b) 4-elektrodowy (https://t.ly/c_wBi)

W procesie odczytu najpierw zasila się pierwszą warstwę poprzez przyłożenie napięcia pomiędzy należące do niej elektrody, a następnie odczytuje się napięcie w punkcie dotyku, używając pozostałych (niezasilonych) elektrod niczym… suwaka potencjometru. W wyniku pomiaru otrzymujemy wartość napięcia, która – po uwzględnieniu współczynników kalibracyjnych – pozwala na dokładne określenie pozycji w osi prostopadłej do zasilonych elektrod. Następnie procedura jest wykonywana analogicznie na drugiej warstwie, tj. po funkcjonalnej zamianie zestawów elektrod. W ten sposób można określić położenie punktu styku obu warstw ITO – do realizacji pomiaru wystarczy zatem… odpowiedni multiplekser oraz przetwornik ADC. Nic nie stoi oczywiście na przeszkodzie, by uprościć sobie pracę i zastosować scalony kontroler – przykład takiego rozwiązania można zobaczyć na rysunku 3.

Rysunek 3. Przykładowa implementacja kontrolera 4-przewodowego, rezystancyjnego panelu dotykowego przy użyciu układu AD7873 (https://t.ly/pqtLw)

Nieco inaczej wygląda sprawa w przypadku paneli 5-przewodowych (rysunek 2a). Tutaj odczyt jest dokonywany po zasileniu par sąsiadujących elektrod: w celu odczytu w osi X napięcie jest przykładane między elektrody lewe (np. potencjał masy), a prawe (np. potencjał zasilania), a w drugiej fazie – pomiędzy elektrody górne, a dolne.

Odczyt jest dokonywany z piątej elektrody oznaczonej jako „Sense” na rysunku 2a i podłączonej do górnej warstwy ITO. Co ciekawe, aby umożliwić dokładne określenie położenia punktu kontaktowego, konieczne jest dodanie specjalnych ścieżek pomiędzy elektrody leżące przy danej krawędzi wyświetlacza, a których celem jest linearyzacja gradientu napięcia na obszarze całego touchpanelu. Z tego też względu ekrany dotykowe z 5-przewodowym panelem dotykowym są trudniejsze do wyprodukowania, ale oferują istotną zaletę: okazują się bowiem mniej wrażliwe na uszkodzenia struktury ITO, co znakomicie podnosi ich niezawodność względem wersji 4-przewodowej.

Technologia rezystancyjna (ogólnie) jest ponadto odporna na zanieczyszczenia stałe i wodę (krople znajdujące się na powierzchni panelu), umożliwia także obsługę za pomocą rękawiczek lub dowolnych przedmiotów pozbawionych ostrych krawędzi (np. rysika lub tępej końcówki długopisu). Do wad należy natomiast zaliczyć mniejszą czułość na dotyk i nieco gorszą widoczność w silnym świetle słonecznym (z uwagi na złożoną strukturę touchpanelu, tłumiącą w widocznym stopniu światło emitowane przez wyświetlacz).

Patrząc na schematy pokazane na rysunku 2 nietrudno dojść do słusznego wniosku, że klasyczna technologia rezystancyjna uniemożliwia realizację funkcji multi-touch. Tak jest w istocie – dotknięcie ekranu w dwóch lub kilku punktach jednocześnie zaburzy pomiar i spowoduje wygenerowanie fałszywych, „pośrednich” wyników. Warto jednak dodać, że istnieją sposoby obejścia tego problemu – wymagają one jednak podziału warstw ITO na mniejsze pola, co niebywale komplikuje przemiatanie ekranu i wymusza znaczną rozbudowę sprzętową kontrolera. Widać to doskonale na fotografii 4, pokazującej przykładowe sterowniki panelu multi-touch – imponująco duże złącza krawędziowe to jedyny sposób na podłączenie obszernego zestawu elektrod, biegnących od touchpanelu w zintegrowanej z nim taśmie FPC.

Fotografia 4. Przykładowe moduły kontrolerów wielodotykowych paneli rezystancyjnych (https://t.ly/-iA-r)

Panele pojemnościowe

Wśród dotykowych paneli pojemnościowych także można wyróżnić dwie główne technologie, tym razem jednak różniące się od siebie w znacznie większym stopniu, niż miało to miejsce w opisanych wcześniej konstrukcjach rezystancyjnych. Powierzchniowe panele pojemnościowe, w skrócie: SCT (ang. Surface Capacitive Touch) mają konstrukcję zdecydowanie najprostszą w swojej klasie, stąd ich najpowszechniejsze zastosowania to większe ekrany dotykowe o ograniczonych wymogach w zakresie rozdzielczości i dokładności lokalizacji punktów dotykowych. Ich konstrukcja opiera się na pojedynczej, jednolitej warstwie przewodzącej, wyposażonej w ścieżki linearyzujące na bazie srebra i podłączonej do czterech elektrod, znajdujących się w rogach ekranu (rysunek 4).

Rysunek 4. Budowa powierzchniowego panelu pojemnościowego (SCT). Źródło: https://t.ly/u2BiQ

Przyłożenie napięcia przemiennego do narożnych elektrod powoduje wytworzenie pola elektrostatycznego. Przewody doprowadzone do poszczególnych punktów nie są jednak ze sobą zwarte: kontroler wytwarza cztery przebiegi o identycznej fazie, częstotliwości i amplitudzie. Przyłożenie palca lub rysika przewodzącego (trzymanego przez użytkownika) powoduje zaburzenie równowagi pola, przez co do poszczególnych elektrod dopływa prąd o nieco różniących się natężeniach – amplituda poszczególnych prądów jest bowiem proporcjonalna do odległości punktu kontaktowego od danej elektrody (rysunek 5). Jak nietrudno się domyślić, z uwagi na zastosowanie pojedynczej warstwy i tylko czterech elektrod pracujących niejako „wespół w zespół”, nie da się zrealizować w ten sposób panelu zdolnego do rozróżnienia wielu punktów dotykowych jednocześnie. Innym problemem jest wymóg relatywnie stabilnej masy, stanowiącej odniesienie dla układu pojemności: ekran-użytkownik-ziemia. Z tego też względu ekrany w technologii SCT lepiej nadają się do instalacji stacjonarnych (np. infokiosków), niż do urządzeń przenośnych.

Rysunek 5. Zasada działania powierzchniowego panelu pojemnościowego (https://t.ly/FoJO6)

Diametralnie inne możliwości daje – znacznie bardziej rozbudowana – technologia pojemnościowych paneli projekcyjnych (rysunek 6). W tym przypadku stosowane są dwie warstwy elektrod, ułożonych w układzie macierzowym (X-Y), przemiatanym kolejno przez sterownik.

Rysunek 6. Budowa projekcyjnego panelu pojemnościowego (https://t.ly/WoyDH)

Gwoli ścisłości należy dodać, że istnieją dwie główne odmiany techniki projekcyjnej. Pierwsza z nich opiera się na pomiarze pojemności własnej danej elektrody, czyli – innymi słowy – odczyt jest dokonywany w odniesieniu do masy urządzenia. Przyłożenie palca do ekranu w danym miejscu zwiększa widzianą przez kontroler dotyku pojemność, zatem położenie punktu kontaktowego jest wyznaczane na drodze poszukiwania maksimum pojemności (a ściślej rzecz ujmując: największej zmiany względem pojemności bazowej).

Druga metoda polega na pomiarze pojemności pomiędzy dwiema sąsiadującymi elektrodami. W tym przypadku dotknięcie ekranu powoduje „zabranie” części ładunku przez pojemność reprezentowaną przez ciało użytkownika – kontroler musi zatem poszukiwać pary elektrod o pojemności niższej niż pojemność bazowa.

Niezależnie od zastosowanej odmiany technologii, projekcyjne panele pojemnościowe należą do najczulszych i najbardziej responsywnych. Mało tego – ze względu na zastosowany układ macierzowy elektrod umożliwiają one realizację funkcji multi-touch, choć taka implementacja nie zawsze jest trywialna. Kontroler musi bowiem uwzględnić zjawisko „duchów”, czyli artefaktów spowodowanych „rzutowaniem” punktów dotyku w dwóch ortogonalnych kierunkach (rysunek 7) – problem dotyczy na szczęście tylko matryc działających w oparciu o technologię pomiaru pojemności własnej, gdyż w przypadku paneli mierzących pojemność wzajemną takie zjawisko nie występuje.

Rysunek 7. Wyjaśnienie procesu powstawania artefaktów podczas obsługi funkcji multi-touch w projekcyjnych panelach pojemnościowych z technologią odczytu pojemności własnej elektrod (https://t.ly/u2BiQ)

Warto w tym miejscu dodać, że technologia projekcyjna jest stosowana z powodzeniem nie tylko w budowie paneli dotykowych współpracujących z ekranami graficznymi. Z równym powodzeniem można ją również zastosować do budowy touchpadów – w tej realizacji jest ona zresztą diametralnie prostsza, cały układ może bowiem bazować na odpowiednio zaprojektowanej płytce drukowanej. Doskonałym przykładem takiej implementacji jest zestaw ewaluacyjny marki Microchip o nazwie DM160219 (fotografia 5).

Fotografia 5. Zestaw ewaluacyjny DM160219 firmy Microchip (https://t.ly/2xDGU)

Ten sam producent przygotował także zestaw o numerze DM160211, przeznaczony do eksperymentów z kontrolerem dotyku opartym na mikrokontrolerze PIC16F707 i pozwalający nie tylko na efektowne rysowanie dowolnych kształtów w czasie rzeczywistym (w specjalnie przygotowanej aplikacji demonstracyjnej), ale także na odczyt i wizualizację (w różnych trybach) parametrów odczytywanych z procesora znajdującego się na płytce (rysunek 8).

Rysunek 8. Widok okna aplikacji współpracującej z zestawem DM160211 (https://t.ly/nYn5b)

Zdolność do rozpoznawania dotyku wielopunktowego (a więc także wsparcie obsługi gestów) oraz doskonała szybkość, responsywność i precyzja działania paneli projekcyjnych spowodowała, że technologia ta bezsprzecznie zdominowała najbardziej wymagające (pod względem doświadczeń użytkownika) obszary aplikacyjne elektroniki konsumenckiej – głównie rynek urządzeń mobilnych, w tym smartfonów i tabletów.

Akustyczna technologia powierzchniowa

Panele dotykowe można budować także w oparciu o powierzchniową falę akustyczną (ang. Surface Acoustic Wave, SAW), tzw. falę Rayleigha – propagującą praktycznie tylko na powierzchni oraz na niewielkim obszarze w głąb materiału. W praktyce stosowane są fale ultradźwiękowe o częstotliwości rzędu 5 MHz – stosunkowo łatwe do wygenerowania i odebrania za pomocą przetworników piezoelektrycznych. Na krawędziach ekranu montowane są podłużne reflektory akustyczne, zaś w narożnikach – dwie pary przetworników (po jednym nadawczym i odbiorczym, osobno dla osi X oraz Y – patrz rysunek 9).

Rysunek 9. Zasada działania ekranu dotykowego wykonanego w technologii SAW (https://t.ly/YjU3U)

Fale propagują – za sprawą umieszczonych pod kątem 45° reflektorów – najpierw w osi równoległej do kierunku drgań, a następnie prostopadle do niej, przez całą powierzchnię panelu, aż do przeciwległego zestawu reflektorów. Tam ulegają odbiciu w stronę przetwornika odbiorczego, przy czym – co jest niezwykle ważne dla działania tej technologii – fale odbite od początku reflektora rozpoczynają i kończą swój bieg wcześniej, niż te odbite od jego końca. W ten sposób odległość w danej osi jest mapowana w domenie czasu – a zatem dotknięcie panelu palcem lub miękkim przedmiotem, powodujące częściowe, lokalne stłumienie amplitudy drgań, będzie widoczne w sygnale płynącym z przetwornika odbiorczego jako chwilowy „zapad” w amplitudzie napięcia.

Fotografia 6. Zestaw ewaluacyjny DM160211 firmy Microchip (https://t.ly/irwvL)

Panele zbudowane na bazie technologii SAW mają szereg zalet – zapewniają doskonałą przezierność (jedynym elementem, który znajduje się przed właściwym wyświetlaczem, jest po prostu… szyba), odporne na zarysowania i uderzenia (zależnie tylko od wytrzymałości szkła), relatywnie proste w konstrukcji, niezawodne i skalowalne, przez co mogą być stosowane zarówno w niewielkich, kilkucalowych ekranach, jak i sporych wyświetlaczach o przekątnej na poziomie kilkudziesięciu cali. Wysoka odporność środowiskowa i mechaniczna pozwala na stosowanie dotykowych paneli akustycznych w aplikacjach outdoorowych (fotografia 7).

Fotografia 7. Przemysłowy ekran dotykowy z panelem wykonanym w technologii SAW (https://t.ly/0l1C2)

Panele dotykowe na podczerwień

Ostatnia z technologii dotykowych, których nie mogło zabraknąć w niniejszym artykule, jest zdecydowanie najprostsza do zrozumienia, a zarazem… najbardziej złożona pod względem konstrukcyjnym. Mowa o panelach opartych na dwuwymiarowych kurtynach wiązek podczerwieni (rysunek 10).

Rysunek 10. Zasada działania optycznego panelu dotykowego (https://t.ly/foqGe)

Zasada działania jest banalnie prosta – zbliżenie palca na odległość wystarczającą do przerwania wiązek światła powoduje, że określone fotodetektory, zamontowane na krawędziach ramki (fotografia 8), są przesłaniane. Przerwanie danej bariery optycznej jest jednoznacznym wskazaniem współrzędnej w osi X lub Y.

Fotografia 8. Ramka z rzędami zamontowanych naprzemiennie fotoelementów i diod LED IR (https://t.ly/iRJgp)

Opisywana technologia z powodzeniem obsługuje funkcję multi-touch, a ponadto idealnie nadaje się do realizacji ogromnych paneli o przekątnych na poziomie nawet 150 cali (!). Dlatego też duże infokioski (fotografia 9), interaktywne instalacje rozrywkowe czy edukacyjne oraz wszelkiego rodzaju inne rozwiązania wymagające wykrywania dotyku na sporej powierzchni są oparte właśnie na technologii kurtyn IR.

Fotografia 9. Przykładowa aplikacja podczerwonego panelu dotykowego (https://t.ly/7h73k)

Mało tego – optoelektroniczna rama może być z niebywałą łatwością zamontowana do dowolnego ekranu wielkoformatowego, przez co producenci i integratorzy systemów zyskują ogromne pole do popisu pod względem wyboru dostawcy i modelu wyświetlacza (fotografia 10).

Fotografia 10. Montaż kurtyny IR do istniejącego ekranu (https://t.ly/JWx3z)

A jakie są wady paneli dotykowych IR? Podstawowa i zarazem największa wada wynika wprost z samej technologii: uzyskanie relatywnie wysokiej rozdzielczości wymaga stosowania setek, a nawet tysięcy fotoelementów i diod LED, montowanych na długich i dość rozbudowanych płytkach drukowanych. To wprost idealny przepis na drogą technologię, która jest równie skalowalna, co wrażliwa na ceny i liczbę zastosowanych komponentów.

Systemy detekcji gestów

Zróżnicowanie stosowanych w praktyce technologii wykrywania gestów jest jeszcze większe, niż w przypadku opisanych wcześniej paneli dotykowych. Scharakteryzujmy zatem – w telegraficznym skrócie – dostępne opcje.

Techniki optyczne

Rozwiązania optoelektroniczne zdecydowanie królują wśród wszystkich znanych technik detekcji i rozpoznawania gestów. Najprostszą realizację można wykonać z użyciem zwykłego transoptora odbiciowego i odpowiedniego oprogramowania – w ten sposób można z powodzeniem wykrywać nie tylko sam fakt zbliżenia/oddalenia dłoni do/od czujnika, ale także (choć bardziej jakościowo, niż ilościowo) określać jej odległość od sensora.

Praca z zasilaniem emitera (diody nadawczej IR) prądem stałym zdecydowanie nie byłaby najlepszą opcją, a to ze względu na znaczną podatność na zmienność warunków oświetlenia zewnętrznego, nawet przy zastosowaniu skutecznego filtru optycznego na pasmo podczerwieni. Zdecydowanie lepiej zastosować światło modulowane – a skoro tak, to (prawie) nic nie stoi na przeszkodzie, by do wykrywania światła odbitego od dłoni zastosować scalony odbiornik podczerwieni, spotykany powszechnie w systemach zdalnego sterowania IR. Jeśli wzbogacimy go o dwa, załączane naprzemiennie emitery, uzyskamy możliwość wykrywania przybliżonej odległości, ale także… kierunku przesuwania dłoni w jednej osi. Dokładnie tak działa jeden z modułów marki SparkFun – ZX Gesture Sensor (fotografia 11).

Fotografia 11. Moduł czujnika gestów na bazie nadajników IR i scalonego odbiornika podczerwieni (https://t.ly/HyFW2)

Na przestrzeni ostatniej dekady znacznie większą popularność zdobyły scalone czujniki zbliżeniowe, wyposażane często w funkcje pomiaru natężenia i koloru światła otoczenia. Przykładem mogą być miniaturowe sensory APDS-9960 marki Avago (fotografia 12) – ponieważ jednak na łamach EP niejednokrotnie prezentowaliśmy już hybrydowe rozwiązania czujników ALS, sensorów zbliżeniowych i detektorów koloru oraz gestów, zainteresowanych Czytelników zachęcamy do zapoznania się ze stosownymi materiałami archiwalnymi, znajdującymi się na portalu https://ep.com.pl.

Fotografia 12. Scalone czujniki zbliżeniowe, ALS, RGB oraz gestów – APDS-9960 marki Avago (https://t.ly/lAsRx)

Upowszechnienie kompaktowych dalmierzy o konstrukcji opartej na laserach VCSEL oraz detektorach SPAD spowodowało znaczny wzrost udziału „prawdziwych” czujników odległości (zdolnych do określenia rzeczywistej odległości obiektu wyrażonej w milimetrach) w systemach detekcji gestów. O ile jednak najprostsze układy dToF dobrze nadają się tylko do rozpoznawania ruchów wykonywanych w osi optycznej czujnika (bliżej/dalej), to już matrycowe sensory dają znacznie większe możliwości. Szczególne zasługi w upowszechnianiu tej technologii optoelektronicznej ma firma ST Microelectronics, której najnowszy czujnik – VL53L8CX (fotografia 13) – oferuje aż 64-polowy detektor SPAD (matryca 8×8), umożliwiający rozpoznawanie szeregu złożonych sekwencji ruchu dłoni, we wszystkich trzech płaszczyznach.

Fotografia 13. 64-polowy sensor dToF marki ST Microelectronics (https://t.ly/2SjtH)

Coraz więcej doniesień prasowych dotyczy także stosowania jeszcze bardziej złożonych detektorów głębi, czyli kamer iToF. Technologia ta – jakkolwiek najbardziej obiecująca pod względem możliwości obrazowania trójwymiarowego – okazuje się jednak wciąż dość droga i relatywnie mało popularna. Należy jednak spodziewać się stopniowego spadku cen i wzrostu rozdzielczości, co – w połączeniu z ekspansją metod sztucznej inteligencji i przetwarzania brzegowego – z pewnością doprowadzi do znacznego rozszerzenia praktycznych aplikacji kamer iToF. Zwłaszcza, że już teraz dostępne są relatywnie kompaktowe moduły o coraz większych możliwościach (fotografia 14).

Fotografia 14. Przykład komercyjnego modułu kamery iToF (https://t.ly/NsYtA)

Co ciekawe, na długo przed wprowadzeniem na rynek pierwszych kamer 3D dostępne były (i to w przystępnych, nawet dla użytkowników prywatnych, cenach detalicznych) inne systemy obrazowania trójwymiarowego. Do sztandarowych przykładów należy sensor Kinect, który na pewien czas zrewolucjonizował nie tylko sposób myślenia o grach komputerowych, ale także trafił do licznych projektów badawczych w zakresie informatyki (wizyjne śledzenie ruchu), medycyny (komputerowe wspomaganie chirurgii) czy przemysłu. W tym przypadku jednak nie mieliśmy już do czynienia z „prostym”, pojedynczym czujnikiem scalonym, a ze złożoną platformą zawierającą dwie kamery oraz projektor światła strukturalnego, współpracujący z detektorem obrazu IR (fotografia 15).

Fotografia 15. Wnętrze czujnika Microsoft Xbox 360 Kinect (https://t.ly/fGJh5)

W tym miejscu warto dodać, że producenci modułów OEM także nie próżnują i maksymalnie eksploatują dostępne technologie – nawet te o znacznie dłuższej historii. Przykładem mogą być miniaturowe kamery marki PixelArt, współpracujące z wyspecjalizowanymi procesorami obrazu i rozpoznające gesty na podstawie dwuwymiarowego obrazu IR (fotografia 16).

Fotografia 16. Przykładowy moduł przeznaczony do rozpoznawania gestów na drodze obróbki obrazu z miniaturowej kamery IR (https://t.ly/uE81c)

Techniki pojemnościowe

Dopracowanie technik niezawodnej detekcji dotyku za pomocą układów elektrod wpłynęło na wzrost popularności interfejsów HMI opartych na przyciskach, pokrętłach czy suwakach (fotografia 17), realizowanych bez ani jednego elementu mechanicznego. Wystarczy przymocować odpowiednio zaprojektowaną płytkę drukowaną do wewnętrznej powierzchni obudowy – metoda prosta, skuteczna, niezwykle estetyczna i tania w implementacji. Interfejsy dotykowe, pracujące bez powiązania z jakimikolwiek wyświetlaczami, zostały dopracowane do granic technicznych możliwości i na stałe zadomowiły się rynku elektroniki konsumenckiej, medycznej, w sprzęcie RTV i AGD oraz wielu innych obszarach technologii.

Fotografia 17. Pojemnościowe interfejsy dotykowe oparte na PCB oraz przeznaczone do ich obsługi kontrolery scalone z oferty firmy Azoteq (https://t.ly/e4GNY)

Rozwinięcie znanych wcześniej sposobów detekcji dotyku – głównie w kierunku dalszego zwiększania czułości, ulepszania metod redukcji zakłóceń i artefaktów oraz odpowiedniego przetwarzania danych płynących z przetworników pojemności – doprowadziło do opracowania rozwiązań umożliwiających bezdotykowe sterowanie urządzeniami elektronicznymi. Rozwiązania te opierają się na detekcji zaburzeń pola elektrycznego, które generowane jest w sposób zbliżony do tego, który zaprezentowaliśmy przy okazji opisu powierzchniowych paneli dotykowych (rysunki 11a i 11b).

Rysunek 11. Układ linii sił pola elektrycznego wokół pojemnościowego czujnika gestów: a) pole niezaburzone, b) pole zaburzone przez zbliżoną dłoń użytkownika (https://t.ly/gO0_D)

Firma Microchip wprowadziła do swojej oferty zaawansowane, wielokanałowe układy do rozpoznawania gestów, bazujące na autorskiej technologii GestIC. W zależności od rodzaju implementacji i warunków eksploatacyjnych, zasięg detekcji rozciąga się od kilkunastu do nawet 200 mm, czyli… dogania pod tym względem rozwiązania oparte na czujnikach optoelektronicznych. Co ważne – wciąż bez konieczności wykonywania jakichkolwiek dodatkowych otworów i okien optycznych w obudowie. Przykładowo – czułość układu MGC3130 (rysunek 12) dochodzi do 1 fF, szybkość odczytów – do 200 pozycji/sekundę, zaś rozdzielczość przestrzenna – aż do zawrotnej wartości 150 dpi (!).

Rysunek 12. Schemat blokowy układu MGC3130 firmy Microchip (https://t.ly/EUTir)

A to wciąż nie wszystko – układ MXG3141 powstał z myślą o rozbudowie istniejących systemów, opartych na ekranach pojemnościowych, o funkcję rozpoznawania trójwymiarowych gestów. Elektrody touchpanelu są współdzielone przez dwa układy: wspomniany MXG3141 oraz właściwy kontroler dotyku 2D (rysunek 13).

Rysunek 13. Współpraca układu MXG3141 z kompatybilnymi kontrolerami dotykowych ekranów pojemnościowych (https://t.ly/wIcyb)

Techniki mikrofalowe

W ostatnich latach da się zauważyć znaczący rozwój technik mikrofalowych w paśmie 60 GHz. Miniaturowe radary FMCW (z modulowaną częstotliwościowo falą ciągłą) stały się niezwykle intensywnie eksploatowanym obszarem technologii, zwłaszcza w branży motoryzacyjnej oraz automatyce budynkowej. Możliwość bezdotykowego pomiaru nawet niewielkich przemieszczeń umożliwia sprawną detekcję gestów, co więcej – podobnie, jak w przypadku systemów pojemnościowych – bez konieczności wyprowadzania jakichkolwiek elementów poza obudowę urządzenia.

Czujniki radarowe mają jednak także dodatkowe przewagi nad sensorami pojemnościowymi – nie są bowiem uzależnione od sprzężenia z ziemią, przez co detekcja może odbywać się z równym powodzeniem w dowolnej implementacji, a ponadto okazują się nieporównanie mniejsze – przykładowy, zintegrowany czujnik radarowy 60 GHz marki Infineon (model BGT60TR13C – fotografia 18) ma wymiary zaledwie 6,5×5,0×0,9 mm², a w odróżnieniu od układów bazujących na polu elektrycznym, nie wymaga żadnych dodatkowych elementów peryferyjnych. Anteny są już bowiem wbudowane w sam układ – w tym przypadku są to trzy anteny odbiorcze (ustawione na kształt litery „L”, co pozwala na pomiar ruchów w dwóch wzajemnie ortogonalnych osiach) oraz jedną nadawczą.

Fotografia 18. Radar mikrofalowy BGT60TR13C marki Infineon (https://t.ly/5Dyo2)

Podsumowanie

W artykule dokonaliśmy ekspresowego przeglądu dostępnych na rynku technologii dotykowego oraz bezdotykowego sterowania urządzeniami elektronicznymi. Świadomie pominęliśmy przy tym szereg bardziej niszowych rozwiązań – gwoli ścisłości należy bowiem dodać, że w literaturze naukowej oraz na stronach producentów można natrafić na rozliczne przykłady mało popularnych technik, np. w zakresie ultradźwiękowej detekcji gestów czy też indukcyjnych klawiatur dotykowych.

Branża interfejsów HMI – oprócz wszechobecnych trendów miniaturyzacji i redukcji poboru mocy – podlega także powszechnej ekspansji AI. O ile jednak w wielu przypadkach zaprzęganie sztucznej inteligencji do realizacji określonych zadań bywa po prostu przerostem formy nad treścią albo zwyczajnym chwytem marketingowym, to w zakresie rozpoznawania trójwymiarowych gestów (na podstawie dość ograniczonych danych sensorycznych) użycie AI jest jak najbardziej na miejscu. Zwłaszcza, jeżeli uwzględnimy istotny fakt, o którym nie wolno zapominać projektantom interfejsów użytkownika: nawet najlepsza technologia stanie się źródłem irytacji, jeżeli nie zostanie dopracowana i solidnie przetestowana w najmniej sprzyjających warunkach otoczenia. Wszak czy ktokolwiek chciałby używać sprzętu, w którym obsługa za pomocą gestów przypominałaby trudną grę zręcznościową o niejasnych zasadach?

inż. Przemysław Musz, EP

Artykuł ukazał się w
Elektronika Praktyczna
styczeń 2025
Elektronika Praktyczna Plus lipiec - grudzień 2012

Elektronika Praktyczna Plus

Monograficzne wydania specjalne

Elektronik luty 2025

Elektronik

Magazyn elektroniki profesjonalnej

Raspberry Pi 2015

Raspberry Pi

Wykorzystaj wszystkie możliwości wyjątkowego minikomputera

Świat Radio styczeń - luty 2025

Świat Radio

Magazyn krótkofalowców i amatorów CB

Automatyka, Podzespoły, Aplikacje styczeń - luty 2025

Automatyka, Podzespoły, Aplikacje

Technika i rynek systemów automatyki

Elektronika Praktyczna luty 2025

Elektronika Praktyczna

Międzynarodowy magazyn elektroników konstruktorów

Elektronika dla Wszystkich luty 2025

Elektronika dla Wszystkich

Interesująca elektronika dla pasjonatów