6 områder af AI og maskinlæring for at se nøje

For mere AI-nyheder og analyse, tilmeld dig mit nyhedsbrev her.

Destillering af en generelt accepteret definition af, hvad der kvalificerer sig som kunstig intelligens (AI), er blevet et genoplivet emne for debat i nyere tid. Nogle har omdirigeret AI til "kognitiv computing" eller "maskineintelligens", mens andre forkert ombytter AI med "maskinlæring". Dette er delvis fordi AI ikke er en teknologi. Det er faktisk et bredt felt bestående af mange discipliner, der spænder fra robotik til maskinlæring. Det ultimative mål for AI, som de fleste af os bekræfter, er at bygge maskiner, der er i stand til at udføre opgaver og kognitive funktioner, der ellers kun er inden for omfanget af menneskelig intelligens. For at komme dertil skal maskiner være i stand til at lære disse muligheder automatisk i stedet for at have hver af dem eksplicit programmeret fra ende til anden.

Det er forbløffende, hvor meget fremskridt AI's felt har opnået i de sidste 10 år, lige fra selvkørende biler til talegenkendelse og syntese. På baggrund af dette er AI blevet et samtaleemne i flere og flere virksomheder og husholdninger, der er kommet til at se AI som en teknologi, der ikke er yderligere 20 år væk, men som noget, der påvirker deres liv i dag. Faktisk rapporterer den populære presse om AI næsten hver dag, og teknologigiganter, en efter en, formulerer deres betydelige langsigtede AI-strategier. Mens flere investorer og etablerede selskaber er ivrige efter at forstå, hvordan man kan fange værdi i denne nye verden, skraber flertallet stadig på hovedet for at finde ud af, hvad alt dette betyder. I mellemtiden kæmper regeringerne med konsekvenserne af automatisering i samfundet (se Obamas farvel-adresse).

I betragtning af at AI vil påvirke hele økonomien, repræsenterer aktører i disse samtaler hele fordeling af intentioner, niveauer af forståelse og grader af erfaring med at opbygge eller bruge AI-systemer. Som sådan er det vigtigt, at en diskussion om AI - inklusive spørgsmål, konklusioner og henstillinger deraf - er baseret på data og virkelighed, ikke formodning. Det er alt for let (og til tider spændende!) At vildt ekstrapolere implikationerne af resultater fra offentliggjorte meddelelser fra presse eller teknisk presse, spekulative kommentarer og tankeeksperimenter.

Her er seks områder af AI, der er især bemærkelsesværdige i deres evne til at påvirke fremtiden for digitale produkter og tjenester. Jeg beskriver, hvad de er, hvorfor de er vigtige, hvordan de bruges i dag og inkluderer en liste (på ingen måde udtømmende) over virksomheder og forskere, der arbejder med disse teknologier.

 Tilmeld dig her, så det lander lige i din indbakke.

1. Forstærkningslæring (RL)

RL er et paradigme for læring ved prøve-og-fejl inspireret af den måde mennesker lærer nye opgaver på. I en typisk RL-opsætning får en agent til opgave at observere sin aktuelle tilstand i et digitalt miljø og tage handlinger, der maksimerer periodiseringen af ​​en langvarig belønning, den er indstillet. Agenten modtager feedback fra miljøet som et resultat af hver handling, så den ved, om handlingen fremmes eller hindrede dens fremskridt. En RL-agent skal derfor afbalancere udforskningen af ​​sit miljø for at finde optimale strategier for at opnå belønning med at udnytte den bedste strategi, den har fundet for at nå det ønskede mål. Denne fremgangsmåde blev gjort populær af Google DeepMind i deres arbejde med Atari-spil og Go. Et eksempel på, at RL arbejder i den virkelige verden, er opgaven med at optimere energieffektivitet til afkøling af Google-datacentre. Her opnåede et RL-system en reduktion på 40% i køleomkostninger. En vigtig naturlig fordel ved at bruge RL-agenter i miljøer, der kan simuleres (f.eks. Videospil) er, at træningsdata kan genereres i troves og til meget lave omkostninger. Dette står i skarp kontrast til overvågede dybe læringsopgaver, der ofte kræver træningsdata, der er dyre og vanskelige at skaffe fra den virkelige verden.

  • Anvendelser: Flere agenter, der lærer i deres eget tilfælde af et miljø med en delt model eller ved at interagere og lære fra hinanden i det samme miljø, lære at navigere i 3D-miljøer som labyrinter eller bygader til autonom kørsel, omvendt forstærkningslæring for at rekapitulere observerede opførsler ved at lære målet for en opgave (f.eks. at lære at drive eller give ikke-spiller videospilkarakterer menneskelig opførsel).
  • Hovedforskere: Pieter Abbeel (OpenAI), David Silver, Nando de Freitas, Raia Hadsell, Marc Bellemare (Google DeepMind), Carl Rasmussen (Cambridge), Rich Sutton (Alberta), John Shawe-Taylor (UCL) og andre.
  • Virksomheder: Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba / Microsoft, NVIDIA, Mobileye, OpenAI.

2. Generative modeller

I modsætning til diskriminerende modeller, der bruges til klassificerings- eller regressionsopgaver, lærer generative modeller en sandsynlighedsfordeling over træningseksempler. Ved sampling fra denne højdimensionelle distribution frembringer generative modeller nye eksempler, der ligner træningsdataene. Dette betyder for eksempel, at en generativ model, der er trænet på rigtige billeder af ansigter, kan udsende nye syntetiske billeder af lignende ansigter. For flere detaljer om, hvordan disse modeller fungerer, se Ian Goodfellow's fantastiske NIPS 2016-undervisningsskrivning. Arkitekturen, han introducerede, generative adversarial netværk (GAN'er), er især hot lige nu i forskningsverdenen, fordi de tilbyder en vej mod uovervåget læring. Med GAN'er er der to neurale netværk: en generator, der tager tilfældig støj som input og har til opgave at syntetisere indhold (f.eks. Et billede), og en diskriminator, der har lært, hvordan virkelige billeder ser ud, og som har til opgave at identificere, om billeder er oprettet af generatoren er reelle eller falske. Modstandstræning kan betragtes som et spil, hvor generatoren iterativt skal lære at skabe billeder fra støj, så diskrimineringen ikke længere kan skelne genererede billeder fra virkelige billeder. Denne ramme udvides til at omfatte mange datamodaliteter og opgaver.

  • Anvendelser: Simulere mulige fremtider for en tidsserie (f.eks. Til planlægning af opgaver i forstærkningslæring); superopløsning af billeder; gendanne 3D-struktur fra et 2D-billede; generalisering fra små mærkede datasæt; opgaver, hvor et input kan give flere korrekte output (f.eks. forudsigelse af den næste ramme i et vide0; oprettelse af naturligt sprog i samtale-grænseflader (f.eks. bots); kryptografi; semi-overvåget læring, når ikke alle labels er tilgængelige; kunstnerisk stiloverførsel, syntese af musik og stemme; billedmaleri.
  • Virksomheder: Twitter Cortex, Adobe, Apple, Prisma, Jukedeck *, Creative.ai, Gluru *, Mapillary *, Unbabel.
  • Hovedforskere: Ian Goodfellow (OpenAI), Yann LeCun og Soumith Chintala (Facebook AI Research), Shakir Mohamed og Aäron van den Oord (Google DeepMind), Alyosha Efros (Berkeley) og mange andre.

3. Netværk med hukommelse

For at AI-systemer skal generalisere i forskellige miljøer i den virkelige verden, ligesom vi gør, skal de være i stand til løbende at lære nye opgaver og huske, hvordan de udfører dem alle i fremtiden. Traditionelle neurale netværk er imidlertid typisk ude af stand til sådan sekventiel opgaveindlæring uden at glemme. Denne mangel kaldes katastrofal glemme. Det forekommer, fordi vægtene i et netværk, der er vigtige at løse til opgave A, ændres, når netværket derefter trænes til at løse til opgave B.

Der er dog flere kraftfulde arkitekturer, der kan give neurale netværk med forskellig grad af hukommelse. Disse inkluderer hukommelsesnetværk på kort sigt (en tilbagevendende neurale netværksvariant), der er i stand til at behandle og forudsige tidsserier, DeepMinds differentierbare neurale computer, der kombinerer neurale netværk og hukommelsessystemer for at lære af og navigere i komplekse datastrukturer på egen hånd, den elastiske vægtkonsolideringsalgoritme, der bremser indlæringen på bestemte vægte afhængigt af, hvor vigtige de er for tidligere set opgaver, og progressive neurale netværk, der lærer laterale forbindelser mellem opgiftsspecifikke modeller for at udtrække nyttige funktioner fra tidligere lærte netværk til en ny opgave.

  • Anvendelser: Læringsagenter, der kan generalisere til nye miljøer; Robotarmkontrolopgaver; autonome køretøjer; forudsigelse af tidsserier (f.eks. finansielle markeder, video, IoT); naturlig sprogforståelse og næste ord forudsigelse.
  • Virksomheder: Google DeepMind, NNaisense (?), SwiftKey / Microsoft Research, Facebook AI Research.
  • Hovedforskere: Alex Graves, Raia Hadsell, Koray Kavukcuoglu (Google DeepMind), Jürgen Schmidhuber (IDSIA), Geoffrey Hinton (Google Brain / Toronto), James Weston, Sumit Chopra, Antoine Bordes (FAIR).

4. Læring af mindre data og opbygning af mindre modeller

Dyb indlæringsmodeller er bemærkelsesværdige for at kræve enorme mængder af træningsdata for at nå de mest moderne præstationer. For eksempel indeholder ImageNet Challenge Visual Recognition Challenge, som holdene udfordrer deres billedgenkendelsesmodeller på, 1,2 millioner træningsbilleder, der er håndmærket med 1000 objektkategorier. Uden uddannelsesdata i stor skala konvergerer dybe læringsmodeller ikke deres optimale indstillinger og fungerer ikke godt på komplekse opgaver som talegenkendelse eller maskinoversættelse. Dette datakrav vokser kun, når et enkelt neuralt netværk bruges til at løse et problem ende til ende; det vil sige at tage rå lydoptagelser af tale som input og udsende teksttranskriptioner af talen. Dette er i modsætning til at bruge flere netværk, der hver leverer mellemrepræsentationer (f.eks. Rå tale-lydindgang → fonemer → ord → teksttranskriptudgang; eller rå pixels fra et kamera, der er kortlagt direkte til styrekommandoer). Hvis vi ønsker, at AI-systemer skal løse opgaver, hvor træningsdata er særligt udfordrende, dyre, følsomme eller tidskrævende at skaffe, er det vigtigt at udvikle modeller, der kan lære optimale løsninger fra mindre eksempler (dvs. en eller nul-shot-læring). Ved træning i små datasæt inkluderer udfordringer overfitting, vanskeligheder med at håndtere outliers, forskelle i datafordelingen mellem træning og test. En alternativ tilgang er at forbedre indlæring af en ny opgave ved at overføre viden til en maskinlæringsmodel erhvervet fra en tidligere opgave ved hjælp af processer, der samlet kaldes transfer learning.

Et relateret problem er at opbygge mindre dyb læringsarkitekturer med avanceret ydelse ved hjælp af et lignende antal eller betydeligt mindre parametre. Fordelene vil omfatte mere effektiv distribueret træning, fordi data skal kommunikeres mellem servere, mindre båndbredde for at eksportere en ny model fra skyen til en kantenhed og forbedret gennemførlighed i distribution til hardware med begrænset hukommelse.

  • Anvendelser: Træning af lave netværk ved at lære at efterligne ydelsen til dybe netværk, der oprindeligt blev trænet på store mærkede træningsdata; arkitekturer med færre parametre, men tilsvarende ydelse til dybe modeller (f.eks. SqueezeNet); maskine oversættelse.
  • Virksomheder: Geometric Intelligence / Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI.
  • Primære forskere: Zoubin Ghahramani (Cambridge), Yoshua Bengio (Montreal), Josh Tenenbaum (MIT), Brendan Lake (NYU), Oriol Vinyals (Google DeepMind), Sebastian Riedel (UCL).

5. Hardware til træning og inferens

En vigtig katalysator for fremskridt i AI er genanvendelse af grafikbehandlingsenheder (GPU'er) til uddannelse af store neurale netværksmodeller. I modsætning til central processorenhed (CPU'er), der beregner på rækkefølge, tilbyder GPU'er en massivt parallel arkitektur, der kan håndtere flere opgaver samtidigt. I betragtning af at neurale netværk skal behandle enorme mængder (ofte højdimensionelle data), er træning på GPU'er meget hurtigere end med CPU'er. Dette er grunden til, at GPU'er med sandhed er blevet skovle til guldrush lige siden offentliggørelsen af ​​AlexNet i 2012 - det første neurale netværk implementeret på en GPU. NVIDIA fører fortsat anklagen ind i 2017, foran Intel, Qualcomm, AMD og for nylig Google.

GPU'er blev imidlertid ikke specialbygget til træning eller inferens; de blev oprettet til at gengive grafik til videospil. GPU'er har høj beregningsnøjagtighed, som ikke altid er nødvendig og lider af hukommelse båndbredde og problemer med datagennemstrømning. Dette har åbnet spillereglen for en ny race af startups og projekter inden for store virksomheder som Google til at designe og producere silicium specielt til højdimensionelle applikationer til maskinlæring. Forbedringer, der er lovet af nye chipkonstruktioner inkluderer større hukommelsesbåndbredde, beregning på grafer i stedet for vektorer (GPU'er) eller skalarer (CPU'er), højere beregningstæthed, effektivitet og ydelse pr. Watt. Dette er spændende på grund af de klare accelererende afkast, som AI-systemer leverer til deres ejere og brugere: hurtigere og mere effektiv modeluddannelse → bedre brugeroplevelse → bruger engagerer sig med produktet mere → skaber større datasæt → forbedrer modelydelsen gennem optimering. Således er dem, der er i stand til at træne hurtigere og implementere AI-modeller, der er beregnet og energieffektive, en betydelig fordel.

  • Anvendelser: hurtigere træning af modeller (især på grafer); energi og dataeffektivitet ved forudsigelser; kørsel af AI-systemer i kanten (IoT-enheder); altid lytter IoT-enheder; sky infrastruktur som en tjeneste; autonome køretøjer, droner og robotik.
  • Virksomheder: Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex
  • Hovedforskere:?

6. Simuleringsmiljøer

Som omtalt tidligere er det ofte udfordrende at generere træningsdata til AI-systemer. Derudover skal AI'er generalisere til mange situationer, hvis de skal være nyttige for os i den virkelige verden. Som sådan vil udvikling af digitale miljøer, der simulerer den virkelige verdens fysik og adfærd, give os testbed til at måle og træne en AI's generelle intelligens. Disse miljøer præsenterer rå pixels til en AI, der derefter tager handlinger for at løse for de mål, de er blevet sat (eller lært). Træning i disse simuleringsmiljøer kan hjælpe os med at forstå, hvordan AI-systemer lærer, hvordan vi kan forbedre dem, men også give os modeller, der potentielt kan overføres til applikationer i den virkelige verden.

  • Anvendelser: At lære at køre; fremstilling; industrielt design; spiludvikling; smarte byer.
  • Virksomheder: Usandsynlig, Unity 3D, Microsoft (Minecraft), Google DeepMind / Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard
  • Forskere: Andrea Vedaldi (Oxford)

Tilmeld dig mit nyhedsbrev, der dækker AI-nyheder og -analyse fra techverdenen, forskningslaboratoriet og det private / offentlige virksomhedsmarked.

Kom ind ved vores næste London.AI mødes den 3. marts for at høre om disse emner! Tak til Alexandre Flamant for korrekturlæsning af dette stykke.

Jeg ville meget gerne høre dine tanker *. Kommentar nedenfor eller ring mig på Twitter (@nathanbenaich).