Pokroky v počítačovom videní poháňajú autonómiu dopravy

Vízia je silný ľudský zmyslový vstup. Umožňuje komplexné úlohy a procesy, ktoré považujeme za samozrejmosť. S nárastom AoT™ (Autonómia vecí) v rôznych aplikáciách od dopravy a poľnohospodárstva až po robotiku a medicínu sa úloha kamier, výpočtovej techniky a strojového učenia pri poskytovaní ľudského videnia a poznania stáva dôležitou. Počítačové videnie ako akademická disciplína sa rozbehlo v 1960. rokoch XNUMX. storočia, predovšetkým na univerzitách zaoberajúcich sa vznikajúcou oblasťou umelej inteligencie (AI) a strojového učenia. V nasledujúcich štyroch desaťročiach dramaticky napredoval, keďže došlo k významnému pokroku v oblasti polovodičových a výpočtových technológií. Nedávne pokroky v oblasti hlbokého učenia a umelej inteligencie ešte viac zrýchlili aplikáciu počítačového videnia s cieľom poskytnúť vnímanie a poznanie prostredia v reálnom čase s nízkou latenciou, čo umožňuje autonómiu, bezpečnosť a efektivitu v rôznych aplikáciách. Doprava je jednou z oblastí, ktorá výrazne profituje.

LiDAR (Light Detection and Ranging) je aktívny optický zobrazovací prístup, ktorý využíva lasery na určenie 3D prostredia okolo objektu. Je to jedna z technológií, ktoré sa riešenia počítačového videnia (ktoré sa spoliehajú čisto na okolité svetlo a na 3D vnímanie nepoužívajú lasery) snažia narušiť. Spoločnou témou je, že ľudskí vodiči nepotrebujú LiDAR na vnímanie hĺbky, a teda ani stroje. Súčasné komerčné funkcie autonómneho riadenia L3 (úplná autonómia v špecifických geografických a poveternostných podmienkach, pričom vodič je pripravený prevziať kontrolu v priebehu niekoľkých sekúnd) produkty dnes použite LiDAR. Techniky založené na čisto vízii ešte stále nedokázali komerčne ponúknuť túto schopnosť.

REKLAMA

teslaTSLA
je dominantným zástancom používania pasívneho počítačového videnia založeného na kamere na zabezpečenie autonómie osobného vozidla. Počas nedávneho podujatia AI Day spoločnosti Elon Musk a jeho inžinieri poskytli pôsobivú prezentáciu jeho AI, správy dát a výpočtových schopností, ktoré podporujú okrem iných iniciatív aj funkciu Full Self Driving (FSD) na viacerých modeloch Tesla. FSD vyžaduje, aby sa ľudský vodič neustále zapájal do úlohy riadenia (čo je v súlade s autonómiou L2). V súčasnosti je táto možnosť dostupná na 160,000 8 vozidlách zakúpených zákazníkmi v USA a Kanade. Sada 360 kamier na každom vozidle poskytuje 75° mapu obsadenosti. Údaje z kamery (a ďalšie) z týchto vozidiel sa používajú na trénovanie ich neurónovej siete (ktorá využíva automatické označovanie) na rozpoznávanie objektov, vykresľovanie potenciálnych trajektórií vozidiel, výber tých optimálnych a aktiváciu príslušných kontrolných akcií. Za posledných 12 mesiacov sa vyskytlo približne 1 7 aktualizácií neurónovej siete (približne 4 aktualizácia každých XNUMX minút), pretože sa neustále zhromažďujú nové údaje a zisťujú sa chyby v označovaní alebo manévre. Vyškolená sieť vykonáva plánovacie a kontrolné činnosti prostredníctvom zabudovanej redundantnej architektúry účelovej výpočtovej elektroniky. Tesla očakáva, že FSD nakoniec povedie k autonómnym vozidlám (AV), ktoré poskytujú úplnú autonómiu v určitých doménach prevádzkového dizajnu bez potreby zapojenia ľudského vodiča (tiež označovaného ako autonómia LXNUMX).

Ďalšie spoločnosti ako Phiar, Helm.ai a NODAR tiež sledujú cestu počítačového videnia. NODAR si kladie za cieľ výrazne rozšíriť zobrazovací rozsah a 3D vnímanie systémov stereo kamier tým, že sa pomocou patentovaných algoritmov strojového učenia naučí prispôsobiť sa nesprávnemu nastaveniu kamery a účinkom vibrácií. Nedávno vyzbierala 12 miliónov dolárov na výrobu svojho vlajkového produktu Hammerhead™, ktorý využíva „bežné“ fotoaparáty automobilovej triedy a štandardné výpočtové platformy.

Okrem ceny a veľkosti je častým argumentom proti používaniu LiDAR aj to, že má obmedzený dosah a rozlíšenie v porovnaní s kamerami. Napríklad dnes sú dostupné LiDARy s dosahom 200 m a 5-10 M bodov/sekundu (PPS podobné rozlíšenie). Vo vzdialenosti 200 m malé prekážky, ako sú tehly alebo úlomky pneumatík, zaznamenajú veľmi málo bodov (možno 2-3 vo vertikálnom a 3-5 v horizontálnom smere), čo sťažuje rozpoznávanie objektov. Veci sú ešte hrubšie na dlhších vzdialenostiach. Na porovnanie, štandardné megapixelové kamery s frekvenciou 30 Hz dokážu generovať 30 miliónov pixelov za sekundu, čo umožňuje vynikajúce rozpoznanie objektov aj na veľké vzdialenosti. Pokročilejšie fotoaparáty (12 M pixelov) to môžu ešte zvýšiť. Otázkou je, ako využiť tieto obrovské údaje a vytvoriť použiteľné vnímanie s oneskorením na úrovni milisekúnd, nízkou spotrebou energie a zhoršenými svetelnými podmienkami.

REKLAMA

Recogni, spoločnosť so sídlom v Kalifornii, sa snaží tento problém vyriešiť. Podľa generálneho riaditeľa Marka Bolitha je jej poslaním „poskytujú nadľudské vizuálne vnímanie pre plne autonómne vozidlá.“ Spoločnosť bola založená v roku 2017, k dnešnému dňu vyzbierala 75 miliónov dolárov a má 70 zamestnancov. RK Anand, absolvent Juniper Networks, je jedným zo spoluzakladateľov a produktovým riaditeľom. Verí, že používanie kamier s vyšším rozlíšením, s dynamickým rozsahom > 120 dB, ktoré bežia pri vysokých snímkových frekvenciách (napríklad OnSemi, Sony a Omnivision), poskytuje údaje potrebné na vytvorenie 3D informácií s vysokým rozlíšením, ktoré sú rozhodujúce pre realizáciu AV. Umožňujú to:

1. Na mieru navrhnuté ASIC na efektívne spracovanie údajov a vytváranie presných 3D máp prostredia auta s vysokým rozlíšením. Sú vyrobené 7 nm procesom TSMC s veľkosťou čipu 100 mm² a pracujú na frekvencii 1 GHz.
2. Proprietárne algoritmy strojového učenia na spracovanie miliónov údajových bodov offline na vytvorenie trénovanej neurónovej siete, ktorá potom môže efektívne fungovať a neustále sa učiť. Táto sieť poskytuje vnímanie a zahŕňa klasifikáciu a detekciu objektov, sémantickú segmentáciu, detekciu jazdných pruhov, dopravné značky a rozpoznávanie semaforov.
3. Minimalizácia ukladania mimo čipu a operácií násobenia, ktoré sú náročné na energiu a vytvárajú vysokú latenciu. Dizajn ASIC spoločnosti Recogni je optimalizovaný pre logaritmickú matematiku a používa sčítanie. Ďalšie efektívnosti sa dosahujú optimálnym zoskupovaním váh v trénovanej neurónovej sieti.

Počas tréningovej fázy sa komerčný LiDAR používa ako základná pravda na trénovanie údajov stereo kamery s vysokým rozlíšením a vysokým dynamickým rozsahom, aby sa extrahovali informácie o hĺbke a aby bola odolná voči vychýleniu a účinkom vibrácií. Podľa pána Ananda je ich implementácia strojového učenia taká efektívna, že dokáže extrapolovať odhady hĺbky nad rámec tréningových rozsahov poskytovaných kalibračným LiDAR (ktorý poskytuje základnú pravdu do rozsahu 100 m).

REKLAMA

Vyššie uvedené tréningové údaje sa uskutočnili cez deň pomocou stereo páru 8.3-megapixelových kamier s frekvenciou 30 Hz (~ 0.5 B pixelov za sekundu). Demonštruje schopnosť trénovanej siete extrahovať 3D informácie zo scény nad rozsah 100 m, s ktorým bola trénovaná. Riešenie Recogni môže tiež extrapolovať svoje učenie s dennými údajmi na nočný výkon (obrázok 2).

REKLAMA

Podľa pána Ananda sú údaje o rozsahu presné s presnosťou 5 % (pri dlhých rozsahoch) a blízko 2 % (pri kratších rozsahoch). Riešenie poskytuje 1000 6 TOPS (bilión operácií za sekundu) s latenciou 25 ms a spotrebou energie 40 W (10 TOPS/W), čo je v tomto odvetví na čele. Konkurenti používajúci celočíselnú matematiku sú v tejto metrike > 1-krát nižší. Riešenie Recogni je v súčasnosti v testoch u viacerých dodávateľov automobilového priemyslu Tier XNUMX.

Prorokovať ("predpovedanie a videnie, kde je akcia"), so sídlom vo Francúzsku, používa svoje kamery založené na udalostiach pre AV, pokročilé asistenčné systémy pre vodičov (ADAS), priemyselnú automatizáciu, spotrebiteľské aplikácie a zdravotnú starostlivosť. Spoločnosť bola založená v roku 2014 Spoločnosť nedávno uzavrela svoje financovanie z kola C vo výške 50 miliónov USD, pričom k dnešnému dňu sa celkovo vyzbieralo 127 miliónov dolárov. Jedným z investorov je Xiaomi, popredný výrobca mobilných telefónov. Cieľom Prophesee je napodobniť ľudské videnie, v ktorom receptory v sietnici reagujú na dynamické informácie. Ľudský mozog sa sústreďuje na spracovanie zmien v scéne (najmä pri šoférovaní). Základnou myšlienkou je použitie architektúr kamier a pixelov, ktoré detegujú zmeny intenzity svetla nad prahom (udalosť) a poskytujú iba tieto údaje do výpočtového zásobníka na ďalšie spracovanie. Pixely pracujú asynchrónne (nie sú orámované ako v bežných CMOS kamerách) a oveľa vyššími rýchlosťami, pretože nemusia integrovať fotóny ako v konvenčnom frame-based fotoaparáte a čakať, kým to dokončí celý rám pred čítaním dát. Výhody sú významné – nižšia dátová šírka pásma, latencia rozhodovania, úložisko a spotreba energie. Prvý komerčne využívaný VGA snímač videnia založený na udalostiach sa vyznačoval vysokým dynamickým rozsahom (>120 dB), nízkou spotrebou energie (26 mW na úrovni snímača alebo 3 nW/udalosť). Na trh bola uvedená aj verzia HD (High Definition) (vyvinutá spoločne so spoločnosťou Sony) so špičkovou veľkosťou pixelov (< 5 μm).

REKLAMA

Tieto senzory tvoria jadro snímacej platformy Metavision®, ktorá využíva AI na poskytovanie inteligentného a efektívneho vnímania pre aplikácie autonómie a je hodnotená viacerými spoločnosťami v dopravnom priestore. Okrem vnímania AV a ADAS smerom dopredu sa spoločnosť Prophesee aktívne zapája do monitorovania vodiča v kabíne pre aplikácie L2 a L3, pozri obrázok 4:

Automobilové príležitosti sú lukratívne, ale cykly návrhu sú dlhé. Za posledné dva roky zaznamenala spoločnosť Prophesee značný záujem a trakciu v oblasti strojového videnia pre priemyselné aplikácie. Patrí medzi ne vysokorýchlostné počítanie, kontrola povrchu a monitorovanie vibrácií.

REKLAMA

Prophesee nedávno oznámila spoluprácu s poprednými vývojármi systémov strojového videnia na využitie príležitostí v oblasti priemyselnej automatizácie, robotiky, automobilového priemyslu a internetu vecí (Internet of Things). Ďalšími okamžitými príležitosťami sú korekcia rozmazania obrazu pre mobilné telefóny a aplikácie AR/VR. Tieto používajú snímače menšieho formátu ako tie, ktoré sa používajú na dlhodobé ADAS/AV príležitosti, spotrebúvajú ešte nižšiu energiu a pracujú s výrazne nižšou latenciou.

Izrael je popredným inovátorom v oblasti špičkových technológií s významnými rizikovými investíciami a aktívnym štartovacím prostredím. Od roku 2015 došlo k investíciám v technologickom sektore okolo 70 miliárd USD. Časť z toho je v oblasti počítačového videnia. Mobileye stál v čele tejto revolúcie v roku 1999, keď Amnon Shashua, popredný výskumník AI na Hebrejskej univerzite, založil spoločnosť, aby sa zamerala na vnímanie pomocou kamery pre ADAS a AV. Spoločnosť požiadala o IPO v roku 2014 a bola získaná spoločnosťou IntelINTC
v roku 2017 za 15 miliárd dolárov. Dnes je ľahko popredným hráčom v oblasti počítačového videnia a AV oblasti av poslednej dobe oznámila svoj zámer podať žiadosť o IPO a stať sa nezávislým subjektom. Mobileye mala tržby 1.4 miliardy USD ročne a mierne straty (75 miliónov USD). Poskytuje možnosti počítačového videnia 50 výrobcom OEM automobilov, ktorí ho nasadzujú na 800 modelov áut pre možnosti ADAS. V budúcnosti majú v úmysle viesť autonómiu vozidiel L4 (nie je potrebný žiadny ovládač) s využitím tejto expertízy počítačového videnia a schopností LiDAR založených na kremíkovej fotonikovej platforme Intel. Ocenenie Mobileye sa odhaduje na ~ 50 miliárd dolárov, keď sa konečne dostanú na verejnosť.

REKLAMA

Champel Capital, so sídlom v Jeruzaleme, je v popredí investícií do spoločností vyvíjajúcich produkty založené na počítačovom videní pre rôzne aplikácie od dopravy a poľnohospodárstva až po bezpečnosť a ochranu. Amir Weitman je spoluzakladateľ a riadiaci partner a svoju rizikovú spoločnosť založil v roku 2017. Prvý fond investoval 20 miliónov dolárov do 14 spoločností. Jednou z ich investícií bola spoločnosť Innoviz, ktorá sa v roku 2018 stala verejnou fúziou SPAC a stala sa jednorožcom LiDAR. Pod vedením Omera Keilafa (ktorý pochádzal z technologickej jednotky Spravodajského zboru Izraelských obranných síl), spoločnosť je dnes lídrom v nasadzovaní LiDAR pre ADAS a AV, s viacerými dizajnovými víťazstvami v BMW a Volkswagen.

Druhý fond Champel Capital (Impact Deep Tech Fund II) bol spustený v januári 2022 a k dnešnému dňu vyzbieral 30 miliónov USD (cieľom je 100 miliónov USD do konca roka 2022). Dominantné zameranie je na počítačové videnie s 12 miliónmi dolárov nasadenými v piatich spoločnostiach. Tri z nich využívajú počítačové videnie na dopravu a robotiku.

TankU, so sídlom v Haife, začala svoju činnosť v roku 2018 a získala finančné prostriedky vo výške 10 miliónov USD. Dan Valdhorn je generálnym riaditeľom a je absolventom jednotky 8200, elitnej high-tech skupiny v rámci izraelských obranných síl, ktorá je zodpovedná za signálne spravodajstvo a dešifrovanie kódu. Produkty SaaS (Software as a Service) od TankU automatizujú a zabezpečujú procesy v komplexných vonkajších prostrediach pri servise vozidiel a vodičov. Tieto produkty používajú majitelia vozových parkov, súkromných áut, čerpacích staníc a elektrických nabíjacích staníc, aby zabránili krádežiam a podvodom pri automatizovaných finančných transakciách. Služby v oblasti pohonných hmôt generujú približne 2 40 800 $ v globálnych príjmoch ročne, z čoho majitelia súkromných a úžitkových vozidiel spotrebujú 100 % alebo XNUMX miliárd USD. Maloobchodníci a majitelia vozových parkov prichádzajú o približne XNUMX miliárd USD ročne v dôsledku krádeží a podvodov (napríklad používaním flotilovej palivovej karty pre neoprávnené súkromné ​​vozidlá). Podvody CNP (karta nie je prítomná) a manipulácia/krádež paliva sú ďalšími zdrojmi strát, najmä pri použití ukradnutých údajov o karte v mobilných aplikáciách na platby.

REKLAMA

Produkt spoločnosti TUfuel umožňuje zabezpečenú platbu jedným klepnutím, blokuje väčšinu typov podvodov a upozorňuje zákazníkov, keď majú podozrenie na podvod. Robí to na základe nástroja AI vyškoleného na údajoch z existujúcich CCTV v týchto zariadeniach a digitálnych transakčných údajoch (vrátane POS a iných koncových údajov). Parametre ako trajektória a dynamika vozidla, ID vozidla, čas jazdy, dojazd, čas tankovania, množstvo paliva, história paliva a správanie vodiča sú niektoré atribúty, ktoré sa monitorujú s cieľom odhaliť podvod. Tieto údaje tiež pomáhajú maloobchodníkom optimalizovať prevádzku stránok, zvyšovať lojalitu zákazníkov a nasadzovať marketingové nástroje založené na vízii. Podľa generálneho riaditeľa Dana Valdhorna ich riešenie deteguje 70 % vozového parku, 90 % kreditných kariet a 70 % podvodov súvisiacich s manipuláciou.

Sonol je spoločnosť poskytujúca energetické služby, ktorá vlastní a prevádzkuje sieť 240 staníc a obchodov so zmiešaným tovarom po celom Izraeli. TUfuel je nasadený na ich stránkach a preukázal zvýšenú bezpečnosť, prevenciu podvodov a lojalitu zákazníkov. Skúšky produktov prebiehajú v USA v spolupráci s popredným svetovým dodávateľom čerpacích staníc a vybavenia obchodov. Podobné iniciatívy prebiehajú aj v Afrike a Európe.

REKLAMA

So sídlom v Tel Avive ITC bola založená v roku 2019 akademikmi strojového učenia z Ben-Gurion University. ITC vytvára produkty SaaS, ktoré "merajte dopravný tok, predpovedajte zápchy a zmiernite ich pomocou inteligentnej manipulácie so semaformi - skôr, ako sa začnú vytvárať zápchy." Podobne ako TankU využíva údaje z bežne dostupných kamier (už nainštalovaných na mnohých dopravných križovatkách) na získavanie aktuálnych dopravných údajov. Analyzujú sa údaje z tisícok kamier po celom meste a parametre ako typ vozidla, rýchlosť, smer pohybu a poradie typov vozidiel (nákladné vs. autá) sa extrahujú pomocou patentovaných algoritmov AI. Simulácie predpovedajú tok premávky a potenciálne situácie v dopravnej zápche až 30 minút vopred. Pomocou týchto výsledkov sa nastavujú semafory, aby sa plynula premávka a zabránilo sa zápcham.

Školenie systému AI trvá jeden mesiac vizuálnych údajov v typickom meste a zahŕňa kombináciu učenia pod dohľadom a bez dozoru. Riešenie ITC je už nasadené v Tel-Avive (v roku 25 sa umiestnilo na 2020. mieste v najviac preťažených mestách sveta) s tisíckami kamier rozmiestnených na stovkách križovatiek riadených semaformi. Systém ITC v súčasnosti spravuje 75 XNUMX vozidiel, pričom sa očakáva, že bude naďalej rásť. Spoločnosť inštaluje a podobná schopnosť v Luxembursko a začína pokusy vo veľkých mestách USA. Globálne jeho riešenie spravuje 300,000 XNUMX vozidiel s prevádzkovými miestami v Izraeli, USA, Brazílii a Austrálii. Dvir Kenig, technický riaditeľ, je zanietený riešením tohto problému – vrátiť ľuďom osobný čas, znížiť skleníkové plyny, zvýšiť celkovú produktivitu a čo je najdôležitejšie, znížiť nehodovosť na preplnených križovatkách. Podľa pána Keniga, "Naše nasadenia demonštrujú 30% zníženie dopravných zápch, čím sa znižuje neproduktívny čas jazdy, stres, spotreba paliva a znečistenie."

REKLAMA

Vnútorná robotika bol založená v spoločnosti 2018 a nedávno získala finančné prostriedky vo výške 18 miliónov dolárov. Spoločnosť so sídlom neďaleko Tel-Avivu v Izraeli vyvíja a predáva riešenia autonómnych dronov pre vnútornú bezpečnosť, bezpečnosť a monitorovanie údržby. Generálny riaditeľ a spoluzakladateľ, Doron Ben-David, má významné skúsenosti v oblasti robotiky a letectva nazbierané v IAI.IAI
(hlavný dodávateľ v oblasti obrany) a MAFAT (pokročilá výskumná organizácia v rámci izraelského ministerstva obrany), ktorá je podobná DARPA v Spojených štátoch. Rastúce investície do inteligentných budov a komerčných bezpečnostných trhov vyvolávajú potrebu autonómnych systémov, ktoré môžu využívať počítačové videnie a iné senzorické vstupy v malých a veľkých vnútorných komerčných priestoroch (kancelárie, dátové centrá, sklady a maloobchodné priestory). Indoor Robotics sa zameriava na tento trh pomocou vnútorných dronov vybavených bežne dostupnými kamerami a tepelnými a infračervenými senzormi dosahu.

Ofir Bar-Levav je obchodným riaditeľom. Vysvetľuje, že nedostatok GPS bráni vnútorným dronom lokalizovať sa vo vnútri budov (zvyčajne je GPS odmietnuté alebo nepresné). Okrem toho chýbali pohodlné a efektívne riešenia dokovania a napájania. Indoor Robotics to rieši pomocou štyroch kamier namontovaných na drone (hore, dole, vľavo, vpravo) a jednoduchých senzorov dosahu, ktoré presne mapujú vnútorný priestor a jeho obsah. Údaje z kamier (kamery poskytujú lokalizačné a mapovacie údaje) a tepelné senzory (tiež namontované na drone) analyzuje systém AI, aby odhalil potenciálne problémy so zabezpečením, bezpečnosťou a údržbou a upozornil zákazníka. Drony sa poháňajú samy prostredníctvom „dokovacej dosky“ namontovanej na strope, ktorá šetrí cennú podlahovú plochu a umožňuje zhromažďovanie údajov počas nabíjania. Finančné výhody automatizácie týchto svetských procesov, kde je ľudská práca zložitá a nákladná z hľadiska náboru, udržania a školenia, sú evidentné. Používanie leteckých dronov vs. pozemných robotov má tiež významné výhody z hľadiska kapitálových a prevádzkových nákladov, lepšieho využitia podlahovej plochy, slobody pohybu bez prekážok a efektívnosti snímania údajov z kamery. Podľa pána Bar-Levava bude TAM (Total Addressable Market) spoločnosti Indoor Robotics v oblasti vnútorných inteligentných bezpečnostných systémov do roku 80 predstavovať 2026 miliárd USD. Medzi kľúčové miesta zákazníkov dnes patria sklady, dátové centrá a kancelárske areály popredných svetových korporácií.

REKLAMA

Počítačové videnie predstavuje revolúciu v hre autonómie – v automatizácii pohybu, bezpečnosti, inteligentnom monitorovaní budov, odhaľovaní podvodov a riadení premávky. Sila polovodičov a AI sú silné aktivátory. Akonáhle počítače zvládnu túto neuveriteľnú zmyslovú modalitu škálovateľným spôsobom, možnosti sú nekonečné.