NTT a Tokijská univerzita vyvinuli prvú optickú počítačovú AI na svete pomocou algoritmu inšpirovaného ľudským mozgom

Spolupráca napreduje v praktickej aplikácii vysokorýchlostnej AI s nízkou spotrebou energie založenej na optických výpočtoch

TOKIO–(BUSINESS WIRE)–#TechforGood-NTT Corporation (Prezident a generálny riaditeľ: Akira Shimada, „NTT“) a Tokijská univerzita (Bunkyo-ku, Tokio, prezident: Teruo Fujii) navrhli nový algoritmus učenia inšpirovaný spracovaním informácií v mozgu, ktorý je vhodný pre viacvrstvové umelé neurónové siete (DNN) využívajúce analógové operácie. Tento prelom povedie k zníženiu spotreby energie a času výpočtu pre AI. Výsledky tohto vývoja boli publikované v britskom vedeckom časopise Nature Communications 26. decembra^th.

Výskumníci dosiahli prvú demonštráciu efektívne vykonávaného optického učenia DNN na svete aplikáciou algoritmu na DNN, ktorý využíva optické analógové výpočty, od ktorých sa očakáva, že umožnia vysokorýchlostné zariadenia strojového učenia s nízkou spotrebou energie. Okrem toho dosiahli celosvetovo najvyšší výkon viacvrstvovej umelej neurónovej siete, ktorá využíva analógové operácie.

V minulosti sa učiace sa výpočty s vysokou záťažou vykonávali digitálnymi výpočtami, ale tento výsledok dokazuje, že je možné zlepšiť efektivitu učiacej sa časti použitím analógových výpočtov. V technológii hlbokej neurónovej siete (DNN) sa rekurentná neurónová sieť nazývaná počítanie hlbokých nádrží vypočítava za predpokladu, že optický impulz ako neurón a nelineárny optický kruh ako neurónová sieť s rekurzívnymi spojeniami. Opätovným privedením výstupného signálu do rovnakého optického obvodu sa sieť umelo prehĺbi.

Technológia DNN umožňuje pokročilú umelú inteligenciu (AI), ako je strojový preklad, autonómne riadenie a robotika. V súčasnosti sa potrebný výkon a výpočtový čas zvyšuje rýchlosťou, ktorá prevyšuje rast výkonu digitálnych počítačov. Očakáva sa, že technológia DNN, ktorá využíva výpočty analógových signálov (analógové operácie), bude metódou realizácie vysoko účinných a vysokorýchlostných výpočtov podobných neurónovej sieti mozgu. Spolupráca medzi NTT a Tokijskou univerzitou vyvinula nový algoritmus vhodný pre analógovú prevádzku DNN, ktorý nepredpokladá pochopenie parametrov učenia zahrnutých v DNN.

Navrhovaná metóda sa učí zmenou parametrov učenia na základe finálnej vrstvy siete a nelineárnou náhodnou transformáciou chyby požadovaného výstupného signálu (chybového signálu). Tento výpočet uľahčuje implementáciu analógových výpočtov vo veciach, ako sú optické obvody. Môže byť tiež použitý nielen ako model pre fyzickú implementáciu, ale aj ako špičkový model používaný v aplikáciách, ako je strojový preklad a rôzne modely AI, vrátane modelu DNN. Očakáva sa, že tento výskum prispeje k riešeniu vznikajúcich problémov spojených s výpočtovou technikou AI, vrátane spotreby energie a predĺženia času výpočtu.

Okrem preskúmania použiteľnosti metódy navrhovanej v tomto dokumente na špecifické problémy bude NTT podporovať aj rozsiahlu a malú integráciu optického hardvéru s cieľom vytvoriť vysokorýchlostnú a nízkoenergetickú optickú výpočtovú platformu pre budúce optické systémy. siete.

Podpora pre tento výskum:

JST/CREST podporila časť týchto výsledkov výskumu.

Publikácia časopisu:

Časopis: Nature Communications (Online verzia：26. decembra)

Názov článku: Hlboké fyzické učenie s biologicky inšpirovanou tréningovou metódou: Bezgradientový prístup pre fyzický hardvér

Autori: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto a Kohei Nakajima

Vysvetlenie terminológie:

1. Optický obvod: Obvod, v ktorom sú kremíkové alebo kremenné optické vlnovody integrované do kremíkového plátku pomocou technológie výroby elektronických obvodov. V komunikácii sa vetvenie a zlučovanie optických komunikačných ciest uskutočňuje optickou interferenciou, multiplexovaním/demultiplexovaním vlnových dĺžok a pod.
2. Metóda backpropagation (BP): Najčastejšie používaný algoritmus učenia v hlbokom učení. Gradienty váh (parametrov) v sieti sa získajú pri spätnom šírení chybového signálu a váhy sa aktualizujú tak, aby sa chyba zmenšila. Keďže proces spätného šírenia vyžaduje transpozíciu váhovej matice sieťového modelu a nelineárnu diferenciáciu, je ťažké ho implementovať na analógové obvody, vrátane mozgu živého organizmu.
3. Analógové výpočty: Počítač, ktorý vyjadruje skutočné hodnoty pomocou fyzikálnych veličín ako je intenzita a fáza svetla a smer a intenzita magnetických spinov a vykonáva výpočty zmenou týchto fyzikálnych veličín podľa fyzikálnych zákonov.
4. Metóda priamej spätnej väzby (DFA): Metóda pseudovýpočtu chybového signálu každej vrstvy vykonaním nelineárnej náhodnej transformácie na chybovom signáli konečnej vrstvy. Keďže nevyžaduje diferenciálne informácie o modeli siete a dá sa vypočítať iba paralelnou náhodnou transformáciou, je kompatibilný s analógovým výpočtom.
5. Reservoir computing: Typ rekurentnej neurónovej siete s rekurentnými spojeniami v skrytej vrstve. Je charakterizovaná náhodne fixovanými spojeniami v medzivrstve nazývanej rezervoárová vrstva. Pri výpočte hlbokých nádrží sa spracovanie informácií vykonáva spojením vrstiev nádrží vo viacerých vrstvách.

NTT a logo NTT sú registrované ochranné známky alebo ochranné známky spoločnosti NIPPON TELEGRAPH AND TELEPHONE CORPORATION a/alebo jej pridružených spoločností. Všetky ostatné uvedené názvy produktov sú ochrannými známkami ich príslušných vlastníkov. © 2023 NIPPON TELEGRAPH AND TELEFON CORPORATION

Kontakty

Stephen Russell

Wireside Communications®

Pre NTT

+ 1-804 362 - 7484

[chránené e-mailom]