Utilizzate l'apprendimento automatico per accelerare il ritorno sull'investimento per la IA

Sintesi

Il desiderio crescente di ottenere un valore aziendale dall'intelligenza artificiale (IA) ha creato un vuoto tra la domanda per competenza nella scienza dei dati e l'offerta di scienziati dei dati. La piattaforma di apprendimento automatico automatizzato (AUTOML) di DataRobot, eseguita su architettura Intel®, affronta questa sfida automatizzando molti dei compiti necessari per sviluppare applicazioni IA e di apprendimento automatico.

Gli utenti di DataRobot possono costruire modelli predittivi precisi e trasparenti in pochi minuti. Gli esperti della scienza dei dati possono lavorare in modo più efficiente. Gli utenti aziendali possono creare modelli di apprendimento automatico solidi applicando la loro competenza dei processi aziendali e dei dati commerciali. Le organizzazioni possono applicare l'IA a importanti sfide aziendali e possono posizionarsi in un'ottima situazione per l'emergente economia degli algoritmi.

Ottimizzata per le ultime tecnologie Intel, la soluzione AutoML di DataRobot offre prestazioni senza precedenti, capacità di memoria e la scalabilità necessaria per creare, formare e implementare modelli di apprendimento automatico su infrastrutture familiari e a costi convenienti. Utilizzando i processori scalabili Intel® Xeon® di seconda generazione e la memoria persistente Intel® Optane™, le organizzazioni possono formare modelli su set di dati fino a 100 GB. Sui test di benchmark, un sistema con la memoria persistente Intel Optane è stato formato nello stesso tempo di un sistema solo DRAM, a seconda delle dimensioni del set di dati e del metodo di formazione. Secondo le stime, il sistema con memoria persistente Intel Optane formerebbe un set di dati fino a 1,33 volte più grande allo stesso costo di memoria rispetto a un sistema solo DRAM.¹

Sfida aziendale: risolvere la carenza di competenze nel campo della scienza dei dati

Le organizzazioni di tutte le dimensioni sono ansiose di applicare l'IA alle loro sfide più difficili e alle loro opportunità più promettenti. Molto riconoscono che l'apprendimento automatico e l'IA sono strumenti potenti per ottenere un vantaggio competitivo, derivando nuove informazioni dai loro accumuli di dati. È previsto che il mercato IA globale, valutato a 20,67 miliardi di dollari nel 2018, crescerà a 202,57 miliardi di dollari entro il 2026, un tasso di crescita annuale cumulativo dal 2019 del 33,1%.²

La crescente domanda per soluzioni IA ha portato a notevoli carenze del talento IA. Secondo un rapporto di gennaio 2020 di TalentSeer, la domanda per persone con competenze nel campo dell'IA è cresciuto del 74% in ciascuno dei quattro anni precedenti.³ In un sondaggio Gartner di 3,000 CIO industriali da 89 nazioni, il 54% ha identificato la carenza di competenze come la sfida più grande per l'IA⁴.

Oltre alla carenza di esperti della scienza dei dati, lo sviluppo dell'apprendimento automatico è spesso ostacolato da attività complesse, tediose e che richiedono tempo. Di conseguenza, gli scienziati dei dati passano tempo prezioso completando queste attività, piuttosto di sfruttare a pieno le loro competenze. Inoltre, molte persone con una conoscenza dei dati aziendali non hanno le competenze per creare modelli di apprendimento automatico. Questi problemi rallentano lo sviluppo dell'IA e impediscono alle aziende di implementare l'IA in maniera rapida e estensiva, in base alle esigenze aziendali.

Panoramica della soluzione: apprendimento automatico automatizzato con DataRobot e Intel

DataRobot utilizza l'apprendimento automatico automatizzato (AutoML) per affrontare la carenza di competenze nel settore IA. La soluzione di DataRobot automatizza e sostituisce la maggior parte del tedioso lavoro manuale necessario per i processi di scienza dei dati tradizionali. Consente agli utenti di qualsiasi livello di competenza di sviluppare, testare, modellare e implementare rapidamente algoritmi di apprendimento automatico, utilizzando le migliori pratiche e misure per contribuire a evitare l'errore umano.

Con DataRobot, gli utenti di un'azienda possono aggiungere alla loro conoscenza dei dati aziendali per generare modelli di apprendimento automatico avanzati, senza bisogno di scrivere codice o capire gli aspetti più intricati di specifici algoritmi. Gli scienziati dei dati possono applicare la loro competenza unica in maniera produttiva, selezionando e perfezionando i modelli. Le organizzazioni possono creare rapidamente modelli di apprendimento automatico e possono acquisire maggior valore dai dati aziendali. La seconda immagine mostra l'interfaccia utente grafica (GUI) della soluzione di DataRobot.

DataRobot utilizza l'apprendimento automatico e le tecnologie Intel per analizzare enormi volumi di dati e catturare rapporti, tendenze e modelli che potrebbero essere troppo sottili per essere rivelati da analisi e intelligenza aziendale. Gli utenti inseriscono i dati rilevanti e selezionano la variabile che vogliono prefigurare. DataRobot seleziona gli algoritmi più adeguati e ottimizza la rielaborazione dei dati, l'ingegneria delle funzionalità e l'ottimizzazione dei parametri per ogni algoritmo. Crea e forma centinaia di modelli predittivi, assegna voti e punteggi ai modelli e consiglia il miglior modello da implementare per l'obiettivo di previsione e per i dati. Invece di passare settimane o mesi a sviluppare e testare pochi modelli creati manualmente, gli utenti possono costruire ed esplorare centinaia di modelli e implementare il migliore, il tutto entro ore.

DataRobot è progettato per essere trasparente, così che gli utenti possono capire e spiegare come sono stati creati i modelli e perché hanno offerto quelle previsioni. Le visualizzazioni integrate mostrano quali tipi di dati hanno il massimo impatti su un modello, fornendo informazioni su come variabili individuali influiscono sulla compagnia. Questa soluzione utilizza le prestazioni, la scalabilità e la capacità di memoria delle tecnologie Intel per costruire, formare e valutare modelli di apprendimento automatico, oltre a gestire grandi set di dati e di casi di utilizzo.

Generare informazioni e valore con AutoML

Diversi settori stanno utilizzando la soluzione AutoML di DataRobot per creare modelli predittivi che aumentino le competenze umane, migliorino il processo decisionale basato sui dati, migliorino l'efficienza e altro ancora. Ecco alcuni esempi:

• Le compagnie di assicurazione si concentrano su aree che vanno dalla sottoscrizione al marketing. Utilizzano informazioni ottenute grazie all'apprendimento automatico per ottimizzare gli algoritmi dei prezzi, migliorare la valutazione dei rischi e ridurre i reclami fraudolenti.
• Le compagnie di tecnologia finanziaria possono prevedere le operazioni di carta di credito fraudolente e stanno creando nuovi prodotti di investimento. Stanno rafforzando la sicurezza Blockchain rivelando comportamenti anomali all'interno della catena e aumentando la velocità di risposta del marketing grazie a un sistema di target migliorato.
• I rivenditori stanno ottenendo nuove informazioni sui modelli di spesa dei clienti e sui comportamenti di shopping su tutti i livelli. Applicano queste informazioni per allineare in modo migliore il mix di prodotto, promozioni, messaggistica e scelte di media per selezionare il prodotto giusto nel posto giusto al momento giusto.
• I produttori stanno facendo i prossimi passi nell'automatizzazione di fabbrica e nell'ottimizzazione della catena di fornitura, contribuendo ai guadagni di produttività, risparmi dei costi e miglioramenti di qualità. Utilizzando la manutenzione predittiva e i flussi di dati in tempo reale da risorse collegate, stanno ottimizzando i costi e l'uptime mantenendo le risorse prima di qualunque malfunzionamento. Stanno incorporando i modelli di apprendimento automatico nel design dei prodotti intelligente di nuova generazione.
• Le agenzie del settore pubblico stanno utilizzando modelli di apprendimento automatico con dati in tempo reale per prevedere potenziali attività terroristiche, attività fraudolenti e minacce alla sicurezza informatica. Le soluzioni di apprendimento automatico scalabili sono un fattore chiave per la funzionalità delle città intelligenti, in grado di contribuire alla sicurezza pubblica, l'efficienza del traffico e altro ancora.
• Le organizzazioni sanitarie stanno supportando il giudizio dei team di assistenza clinica con modelli di apprendimento automatico che segnalano i pazienti ad alto rischio di sviluppo di infezioni gravi o che potrebbero richiedere ricoveri costosi. Le compagnie farmaceutiche stanno ottimizzando la logistica delle spedizioni di farmaci, migliorando i costi di consegna e il supporto clienti.

Valore della soluzione: un percorso diretto verso un'azienda basata su IA

La soluzione AutoML di DataRobot e Intel modifica la velocità e il fattore economico dell'analisi predittiva e offre un percorso rapido verso il successo dell'IA. Questa piattaforma di livello industriale affronta la carenza di competenze rendendo gli scienziati dei dati più produttivi. Consente inoltre ai professionisti di dati con conoscenze dei dati e della compagnia di sviluppare e implementare rapidamente precisi modelli predittivi. Inoltre, soddisfa la necessità di molti utenti di DataRobot di sviluppare modelli su set di dati molto grandi. Le organizzazioni possono scalare i loro sforzi di apprendimento automatico per completare più progetti, per iterare e esplorare nuovi casi di utilizzo e per applicare la IA in modo più ampio per le loro compagnie. Possono democratizzare la IA e creare aziende basate su IA.

DataRobot è una soluzione completa che aggiunge valore a tutte le fasi fondamentali di sviluppo e implementazione di modelli di apprendimento automatico.

• Inserisci dati. DataRobot converte dati strutturati e non strutturati nel formato specifico richiesto da ogni algoritmo per prestazioni ottimali. Segue le migliori pratiche per la partizione dei dati.
• Crea funzionalità. DataRobot sviluppa nuove funzionalità partendo da funzionalità numeriche, categoriche e di testo già esistenti. Sa quali algoritmi traggono vantaggio da nuove funzionalità e quali no, generando solo funzionalità sensate per le caratteristiche dei dati.
• Esplora e seleziona algoritmi. DataRobot offre accesso a centinaia di algoritmi e alla pre-elaborazione adeguata per permettere agli utenti di testarli a confronto con i loro dati. Aiuta gli utenti a selezionare gli algoritmi giusti per i loro dati e per la loro sfida IA.
• Forma e perfeziona i modelli di apprendimento automatico. DataRobot forma modelli sulla base dei dati degli utenti, utilizzando l'ottimizzazione intelligente per ottimizzare gli iper-parametri più importanti per ogni algoritmo.
• Trova le combinazioni di algoritmi ottimali. I modelli di ensemble o blender di solito hanno migliori prestazioni di algoritmi individuali. DataRobot seleziona gli algoritmi ideali da mescolare e perfeziona il peso degli algoritmi all'interno di ogni modello di ensemble.
• Paragona i modelli. DataRobot costruisce e forma dozzine di modelli, confronta i risultati e classifica i modelli per precisione, velocità e la combinazione più efficiente. Gli utenti possono esplorare i modelli con la GUI intuitiva di DataRobot e possono scegliere con quali procedere.
• Costruisci la fiducia. Per garantire la trasparenza, DataRobot spiega le sue decisioni, mostrando quali funzionalità hanno l'impatto più grande sulla precisione del modello e i modelli progettati per ogni funzionalità. Offre spiegazioni per illustrare la logica dietro una specifica predizione.
• Implementa modelli pronti per la produzione. DataRobot produce modelli pronti per la produzione che gli utenti possono integrare con applicazioni aziendali con poche linee di codice. I modelli possono essere implementati per previsioni in tempo reale, implementazioni di batch, punteggi su Apache Hadoop, o altri metodi. Gli utenti possono sviluppare i propri modelli utilizzando R, Python, Apache Spark, MLlib, H2O e altri strumenti per poi chiamare la libreria DataRobot per attivarli.
• Monitora e gestisce. Dopo l'implementazione, DataRobot facilita il confronto delle predizioni con i risultati reali e forma un nuovo modello in base ai dati più recenti. DataRobot evidenzia proattivamente se le prestazioni di un modello deteriorano nel tempo.

Architettura delle soluzioni per l'apprendimento automatico automatizzato

Le potenti tecnologie Intel aiutano DataRobot a ottimizzare le prestazioni e al contempo automatizzare, formare e valutare multipli modelli di apprendimento automatico, implementando applicazioni IA su scala (vedere Figura 3).

Per ogni nuovo modello, DataRobot cerca all'interno della sua libreria in costante crescita di migliaia di modelli di apprendimento automatico open source.

Valuta possibili combinazioni di algoritmi, passaggi di pre-elaborazione e altri attributi per selezionare o costruire gli elementi più appropriato per un determinato set di dati e obiettivo di previsione. Forma i modelli migliori sui dati dell'utente e presenta i modelli con prestazioni migliori all'utente, così che possano essere valutati. I modelli implementati possono analizzare miliardi di combinazioni di dati per fornire nuove informazioni e scoprire dei segnali che potrebbero essere stati precedentemente nascosti da dati "rumorosi". La soluzione può essere implementata su un cloud privato o su un cloud Amazon Web Services (AWS) gestito da DataRobot.

DataRobot può integrarsi facilmente all'interno dell'ecosistema di tecnologie che già esistono nella compagnia. Questi potrebbero includere tecnologie di sicurezza e privacy dei dati, strumenti di integrazione e visualizzazione dei dati e piattaforme di infrastruttura come Apache Hadoop e database SQL. Dati strutturati e non strutturati possono essere integrati da laghi di dati, tabelle e altre fonti aziendali e gli utenti possono interagire con il sistema attraverso interfacce grafiche o programmatiche.

La piattaforma DataRobot include due prodotto indipendenti ma correlati:

• Regression and Classification incorpora una varietà di tecniche di regressione, da una semplice regressione lineare ai modelli di regressione statistica classica, fino a tecniche più complesse come il gradient boosting e le reti neurali. La piattaforma risolve semplici problemi di classificazione binaria, ma anche problemi multiclasse complessi con fino a 100 categorie.
• Time Series automatizza lo sviluppo di modelli sofisticati in grado di predire i valore futuri di una serie di dati in base alla sua storia e alle sue tendenze. La piattaforma integra la progettazione delle funzionalità di serie temporale per scoprire segnali predittivi.

Utilizza modelli di serie temporale semplici e avanzati per ottimizzare la precisione delle previsioni e può visualizzare informazioni nel tempo e implementare modelli per la produzione.

Le tecnologie Intel per una formazione AutoML ad alte prestazioni a costi convenienti

La più recente generazione di tecnologie dei centri dati di Intel è progettata sin dall'inizio per carichi di lavoro IA. Offrono prestazioni eccezionali, scalabilità e capacità di memoria per i carichi di lavoro DataRobot, che sono intensivi sia a livello di CPU che di memoria. Le organizzazioni possono avanzare il loro uso dell'IA mantenendo al contempo un ambiente a costi convenienti per lo sviluppo dell'IA e per l'implementazione di modelli.

• I processori scalabili Intel® Xeon® offrono potenti piattaforme per carichi di lavoro incentrati sui dati. I processori scalabili Intel Xeon di seconda generazione incorporano un acceleratore hardware integrato e Intel® Deep Learning Boost con Vector Neural Network Instruction (VNNI) per aumentare le prestazioni di inferencing. Inoltre, aggiungono funzionalità di sicurezza potenziate dall'hardware per contribuire a costruire una base di computing affidabile. I nuovi processori scalabili Intel Xeon di terza generazione offrono ulteriori funzionalità di prestazioni, tra cui il primo supporto x86 per Brain Floating Point 16-bit (bfloat 16) per migliori prestazioni di formazione.
• La memoria persistente Intel® Optane™ è una nuova classe di memoria non volatile che colma il vuoto tra DRAM veloce ma costosa e NAND SSD a costi più bassi, ma anche con prestazioni ridotte. Questa memoria innovativa si avvicina ai livelli di prestazioni della DRAM, ma a un costo minore per gigabyte. Si trova nel bus della memoria e consente più di 3 TB di memoria per slot CPU. Nella modalità memoria, la memoria persistente Intel Optane può essere utilizzata in modo trasparente come un'estensione volatile del DRAM.
• Le unità a stato solido di Intel® (SSD Intel®) combinano un alto livello di produttività, bassa latenza e un alto livello di resistenza per migliorare le prestazioni di applicazioni per dati. La SSD Intel® D3-S4510 è una SSD SATA ottimizzata per carichi di lavoro ad alta intensità di lettura. Queste SSD capienti sono progettate per un alto livello di storage per unità di rack e sono disopnibili da 240 GB a 3,8 TB. La SSD Intel DC P4610 è progettata con 64-layer, tri-lever cell Intel® 3D NAND Technology per aiutare i gestori dei centri dati a ottimizzare l'efficienza di storage e gestire in modo efficiente su scala.
• Gli adattatori di rete Ethernet Intel® XXV710 offrono prestazioni flessibili e scalabili con la possibilità di auto negoziare per connessioni 1/10/25 GbE. Questi adattatori offrono offload e acceleratori intelligente per sbloccare le prestazioni di rete su server con processori scalabili Intel® Xeon.

Insieme, queste tecnologie consentono alle aziende che utilizzano DataRobot di formare set di dati enormi e multipli modelli allo stesso tempo con prestazioni elevate.

Benchmarking per formazione AutoML

La formazione per l'apprendimento automatico è un compito intensivo a livello di dati, che può richiedere grandi quantità di memoria. Queste esigenze possono essere particolarmente significative per una soluzione AutoML come DataRobot, che forma più modelli contemporaneamente utilizzando i dati del cliente prima di classificarli. Sebbene i modelli possano essere formati con diverse quantità di dati, un set di dati più grandi può contribuire alla precisione del modello.

Per esplorare i requisiti di memoria di DataRobot, un team dal gruppo di soluzioni IA di Intel ha usato DataRobot in modalità Autopilot per selezionare e formare modelli casuali dal catalogo di modelli di DataRobot. Abbiamo scoperto che formare modelli multipli e scelti in modo casuale richiede una quantità di memoria 6 o 25 volte più grande della dimensione del set di dati. La gamma dipende dai tipi di modelli e dalla percentuale di dati utilizzati per la formazione. A causa dell'alto rapporto tra set di dati e memoria, le organizzazioni che formano grandi set di dati potrebbero avere bisogno di una pool di dati più grandi per evitare il calo di prestazioni legato a carichi di lavoro legati alla memoria-capacità. Tuttavia, configurare un'ampia pool di dati DRAM può essere estremamente costoso.

Il team di benchmarking voleva verificare in che modo la memoria persistente Intel Optane potesse affrontare questa situazione. È possibile che l'innovazione della memoria di Intel possa fornire agli utenti di DataRobot una soluzione conveniente per la formazione AutoML su grandi set di dati?

Il team ha iniziato formando con DataRobot in modalità Autopilot con un set di dati di 50 GB. Dopodiché, hanno selezionato diversi modelli dalla classifica in modo casuale e li hanno riformati su due sistemi, diversi tra di loro solo nel tipo di memoria nei loro nodi lavoratori. Uno di questi utilizza solo DRAM e l'altro la memoria persistente Intel Optane. La figura 4 e la tabella 1 mostrano i sistemi di benchmarking.

Abbiamo configurato entrambi i sistemi con la stessa capacità di memoria e abbiamo confrontato i risultati (tempi di formazione) delle due configurazioni. Ci aspettavamo che la memoria persistente Intel Optane avrebbe fornito prestazioni più o meno inferiori a quelle del sistema solo DRAM. Tuttavia, quando abbiamo analizzato i tempi di formazione per i modelli selezionati, abbiamo scoperto che le prestazioni sul sistema con la memoria persistente Intel Optane erano simili a quelle del sistema solo DRAM, a seconda del modello formato.

Poi, utilizzando un modello di prezzi Intel, abbiamo riconfigurato i due sistemi per costo di memoria, piuttosto che per capacità di memoria. La nostra analisi ha previsto che la memoria persistente Intel Optane possa fornire una capacità di set di dati fino a 1,33 volte più grande rispetto alla configurazione solo DRAM, sempre a seconda del modello formato.

La figura 4¹ mostra questi risultati per la formazione sul Gradient Boosted TRees Classifier per il sistema con la memoria persistente Intel Optane rispetto al sistema DRAM. La metà di sinistra del grafico illustra le prestazioni e le prestazioni per dollaro per la stessa capacità di memoria. Il lato destro mostra la capacità di formazione dei set di dati prevista e la capacità di formazione dei set di dati per dollaro per l'equivalente costo di memoria.

In sintesi, i nostri test hanno dimostrato quanto segue:

• Le organizzazioni saranno in grado di formare alla stessa velocità su un sistema con la memoria persistente Intel Optane rispetto a uno con solo DRAM, ottenendo però un rapporto tra prestazioni e dollaro speso 1,23 volte migliore.
• Le organizzazioni sono in grado di formare un set di dati fino a 1,33 volte più grande allo stesso costo su un sistema con memoria persistente Intel Optane rispetto a un sistema solo DRAM. Si prevede che questo produrrà una capacità per dollaro di fino a 1,26 volte maggiore.

Configurazione tipica per l'implementazione di DataRobot

La tabella 1 sintetizza una configurazione di sistema tipica per eseguire DataRobot in loco con implementazione Hadoop per formare set di dati di fino a 100 GB. A seconda della dimensione della tua compagnia e del numero e dimensione dei set di dati, potresti avere bisogno di più nodi lavoratori. Contatta il tuo rappresentativo DataRobot per scoprire di più sul dimensionamento ideale per i tuoi requisiti di formazione.

Conclusione: IA su scala

La IA è diventata un elemento fondamentale delle operazioni aziendali e una fonte critica di differenziazione competitiva. Con la piattaforma AutoML e la IA di DataRobot insieme alle tecnologie all'avanguardia di Intel, le compagnie potranno affrontare la carenza di scienziati dei dati e rimuovere un importante ostacolo verso il successo dell'IA. Possono creare modelli di apprendimento automatico pronti per la produzione in modo rapido, aumentando la produttività degli scienziati dei dati, scalando gli sforzi di sviluppo dell'IA e applicando l'apprendimento automatico alle loro sfide e opportunità commerciali più importanti.

Sfruttando le tecnologie ottimizzate per l'IA di Intel, le organizzazioni potranno sfruttare tutte le possibilità offerte da AutoML. Potranno implementare piattaforme di formazione con fino a 3 TB di memoria persistente Intel Optane per slot CPU. Potranno anche formare grandi set di dati a un costo più basso rispetto a configurazioni di memoria DRAM. Che scelgano un'infrastruttura in loco o su cloud, potranno affidarsi a un'architettura all'avanguardia e versatile con prestazioni, scalabilità e affidabilità eccezionali. Con la soluzione AutoML di DataRobot e le tecnologie Intel, le organizzazioni potranno concentrarsi sull'innovazione IA e sulla creazione di una compagnia basata sull'IA.

Trovate la soluzione ideale per la vostra organizzazione. Contatta il tuo rappresentativo Intel o visita intel.com/ai.

Alcune risorse che potrebbero essere utili:

• DataRobot URL: https://www.datarobot.com/
• Intel AI
• Processori scalabili Intel Xeon
• Memoria persistente Intel® Optane™
• Intel SSD DC P4610
• Prodotti Ethernet Intel
• Intel Deep Learning Boost