Sammenlignende analyse: Raven Protocol v / s konventionelle metoder

Hvordan Raven Protocol adskiller sig fra andre dybe læringsfordelingsmetoder og rammer.

Raven Protocol blev bygget på at anerkende den begrænsede ressourcetilgængelighed omkring, opbygningen af ​​en tilgængelig og bæredygtig arkitektur til enhver forretningsmodel. Specifikt for de enkeltpersoner og virksomheder, der ønsker at udnytte kraften i kunstig intelligens og maskinlæring. Kommer lige til punktet, er Deep Learning den mest avancerede og stadig for det meste upartede form for maskinlæring, som mange er bange for at anvende på grund af den enkle manglende tilgængelighed af, vent på det ... Compute Power.

Deep Neural Networks har åbnet nye gateways til billedgenkendelse, naturlig sprogbehandling, talegenkendelse og til computervision. Deep Learning 'overlever' på en række data, og trækker derefter en million parametre på dem for at identificere struktur og mønstre. Det bliver unødvendigt at sige, at dette bliver en beregningsintensiv proces. Der er udført forskellige eksperimenter med henblik på at optimere ydelsen i beregningerne og på at fremskynde processen med at træne en DNN. Og disse eksperimenter har fundet to fremtrædende optimeringer - Distribueret træning og parallelisering af netværk, der markant (ca. * 40 gange) reducerer tiden det tager at træne en model. Med tilgængeligheden af ​​den interne CPU-GPU-beregningskraft har resultaterne derudover været hidtil fantastiske.

Men overvej den manglende tilgængelighed eller beregne-efterspørgsel, der er svært at imødekomme, ligesom kravet om GPU-tilgængelighed, eller et meget stort krav, der kræver mere end en GPU. Dette kræver innovative metoder til at optimere DL-træning.

Traditionelle metoder involverer Data- og modelparallelisme, der delvist slukker den efterspørgsel med distribuerede systemer.

Dataparallelisme

Fig. 1.0. Dataparallelisme i konventionel distributionsmetode

Dataparallelisme søges i distribueret træning, da data ikke kan findes i en enkelt maskine og også for at opnå hurtigere træning. Således bliver data skåret i mindre bidder, der kan bruges på forskellige maskiner (ref. Fig. 1.0). Til dette replikeres modellen på disse systemer. Disse modelreplikater trænes individuelt med Data Shards (Bn), og derefter samles vægterne på Parameter (/ Master) Serveren for at få den endelige model. Denne metode viste sig at indeholde en masse forsinkelse i den samlede udførelse.

Modelparallelisme

Forskere var kommet med endnu en metode til at overvinde begrænsningerne i dataparallalisme ved at splitte modelarkitekturen over intranettet. Denne distributionsmetode kaldes Model Parallelism, hvor datasættet opbevares i et system eller et lager, der er tilgængeligt på tværs af maskiner, hvor arkitektursplitter holdes klar til at blive trænet.

Fig. 1.1. Modelparallelisme i konventionel distributionsmetode

Men selv med denne metode skal hvert system, der deltager i træningen, være udstyret med sofistikerede computereessourcer såsom avancerede GPU'er. Og har således sin egen begrænsning med hensyn til skalerbarhed, der bliver en flaskehals, der skaber latenstid i netværket (ref. Fig. 1.1).

Distribueret træning i Raven

Raven Protocol bruger Distribueret Træning af Deep Learning-modeller ved hjælp af et delt netværk af Compute Power i et blockchain-miljø. Manglen på tilgængeligheden af ​​økonomisk forsyning med rigelig computerkraft til enkeltpersoner og virksomheder til at udføre den ressourceintensive DL-uddannelse frembragte dette koncept om at indsamle beregne ressourcer fra den villige offentlighed.

Raven tager både Data- og modelparalleliseringsmetoder for at danne en anden distributionsmodel

Dette er dybest set, crowd-sourcing af computerkraft, fra en så lav kilde som en Smartphone i lommen eller en pc på dine skriveborde. Når den er sat på en blockchain, giver dette ekstra sikkerhed og anonymitet, mens du distribuerer træningen på flere enheder over internettet. Dette bringer også nye indtægtsmuligheder til de bidragydere og partnere, der kommer frem og vokser økosystemet i form af en konstant indtægtskilde fra sådanne DL-træninger.

Og for at forblive tro mod det oprindelige mål med Raven Protocol, at optimere og fremskynde træning af DNN'er, var på dagsordenen. Og vi har fundet en alternativ løsning på dette problem.

Dynamisk grafberegning

Alle rammer fungerer på tensorer og er bygget på beregningsgrafen som en retningsgivet acyklisk graf. I de fleste af de nuværende og populære dybe læringsrammer, herunder Tensorflow (før ivrig udførelse), er beregningsgrafen statisk. Imidlertid er rammer som PyTorch dynamiske, hvilket giver forskere og udviklere meget flere muligheder for at fikle med deres kreativitet og fantasi.

En væsentlig forskel mellem statisk og dynamisk beregningsgraf er, at i førstnævnte er modeloptimeringen forudindstillet, og dataene erstatter pladsholderens tensorer. Hvorimod i sidstnævnte udføres knudepunkterne i et netværk uden behov for nogen pladsholder-tensorer. Dynamisk beregning har en meget markant fordel i tilfælde som sprogmodellering, hvor formen af ​​tensorer er varierende i løbet af træningen. Fordelen ved en dynamisk graf er dens samtidighed, og den er robust nok til at håndtere bidragyderens tilføjelse eller sletning, hvilket gør hele Raven-træningen bæredygtig.

Raven er således i stand til at fjerne problemer med forsinkelse og skalerbarhed med begge fremgangsmåder. Derfor distribuerer træningen af ​​ethvert dybere neuralt netværk og deres større datasæt ved at slippe af med den ekstra afhængighed af modelreplikationen. Data er også afskåret i mindre uddrag.

Faktisk er modellen intakt ved hovednoden, og den tunge løft distribueres i de mindste uddrag af dataundersæt over netværket af bidragydere. De resulterende gradienter, efter beregningerne, der sker ved noden / bidragyderens ender, sendes tilbage til Master Node.

Dette skaber masser af forskelle, da det er lettere for beregninger at passere fra maskine til maskine i stedet for at oprette flere kopier af en kompliceret model.

Et flertal af det menneskelige publikum glemmer stadig den omfattende kamp, ​​som en lille del af AI-samfundet står overfor, for at gøre AI til en let og tilgængelig affære for alle. Dette stammer fra erkendelsen af, at AI er her og vil blive en del af vores liv på måder, som vi måske endnu ikke fathom. Regelmæssige AI-virksomheder eller virksomheder, der søger at implementere AI i deres systemer, stræber efter at få nye måder til at forbedre livet med AI, befinder sig på et forkrøplet stadium for fuldt ud at udforske deres ideer. Raven sigter mod at hjælpe et sådant sæt enkeltpersoner og virksomheder til fuldt ud at udnytte potentialet i AI økonomisk.