Grazie al motore di query vettorializzato Photon, queste VM hanno offerto prestazioni di carichi di lavoro di supporto decisionale più significative rispetto alle VM Easv4 con processori AMD EPYC.
Le piattaforme Databricks e Databricks Lakehouse consentono di memorizzare e analizzare enormi quantità di dati che le organizzazioni raccolgono, sia in modo strutturato che non strutturato. Quanto più rapidamente è possibile analizzare questi dati, tanto prima i team possono prendere decisioni aziendali solide, tenendo a portata di mano i dati. Per quanto riguarda le applicazioni aziendali ad alta intensità di memoria come i carichi di lavoro di data warehousing/supporto decisionale, Microsoft Azure offre più serie di VM: le VM Edsv4 con processori scalabili Intel® Xeon® di seconda generazione e la versione Easv4 con processori AMD EPYC. Per facilitare la scelta delle VM cloud per i carichi di lavoro di supporto decisionale, abbiamo testato un carico di lavoro di supporto decisionale su un cluster di 20 nodi E8ds_v4 di Databricks Runtime 9.0. Abbiamo poi testato lo stesso carico di lavoro su un cluster E8as_v4 a 20 nodi, valutando di nuovo il tempo necessario per completare le query e il rapporto prezzo/prestazioni per fornire maggiori informazioni. Su entrambe le VM, abbiamo abilitato Photon, un motore di query vettorializzato in grado di accelerare le prestazioni delle query SQL.
Le VM Edsv4 con processori Intel® Xeon® di seconda generazione hanno offerto prestazioni Databricks più veloci rispetto alle VM Easv4, riducendo il tempo necessario per completare le query e offrendo, al contempo, anche un miglior valore complessivo.
Migliorare le prestazioni dei data warehouse sulle VM Edsv4
Abbiamo eseguito alcuni test utilizzando un benchmark di supporto decisionale derivato da TPC-DS, che misura le prestazioni del data warehouse in funzione della quantità di tempo necessaria per completare un insieme di query. Tempi più rapidi significano anche risposte più rapide, un fattore che può ridurre i costi legati all'uptime della VM. Come mostrato in Figura 1, le VM E8ds_v4 con processori scalabili Intel® Xeon di seconda generazione hanno offerto prestazioni dei carichi di lavoro di Databricks migliori rispetto alle VM E8as_v4 con processori EPYC AMD. Con un set di dati di 1 TB, la query del cluster E8ds_v4 ha portato a una riduzione del tempo di completamento del 31% rispetto al cluster E8as_v4. Con un set di dati di 10 TB, il cluster E8ds_v4 ha portato a una riduzione del tempo di completamento del 23% rispetto al cluster E8as_v4.
Prestazioni più elevate e costi contenuti
Le prestazioni non sono l'unico fattore da considerare quando si sceglie una VM per eseguire i carichi di lavoro di Databricks. Infatti, anche i costi di esecuzione devono essere sensati dal punto di vista aziendale. Abbiamo calcolato il costo necessario per eseguire i carichi di lavoro basandoci sul prezzo all'ora al momento dei test. Abbiamo convertito il tempo di elaborazione della query totale dai millisecondi alle ore, abbiamo combinato il costo orario delle istanze storage e calcolato il prezzo per ogni esecuzione TB per tutti e quattro gli scenari. Come mostra la figura 1, l'esecuzione dei carichi di lavoro di supporto decisionale su VM Edsv4 offre un valore migliore rispetto alle VM Easv4. Per un dataset di 1 TB, il cluster E8ds_v4 con processori scalabili Intel® Xeon® di seconda generazione ha offerto un rapporto prezzo/prestazioni del 30% più basso rispetto al cluster E8as_v4 con processori EPYC AMD. Il rapporto prezzo/prestazioni per il dataset da 10 TB è simile, con il cluster E8ds_v4 che consente una relativa riduzione del 22% rispetto al cluster E8as_v4.
Conclusioni
Le VM Microsoft Azure E8ds_v4 con processori scalabili Intel® Xeon® di seconda generazione hanno concluso i carichi di lavoro di supporto decisionale con tempi più rapidi del 31% rispetto alle VM E8as_v4 con processori EPYC AMD. Questo miglioramento delle prestazioni ha portato a un risparmio dei costi fino al 30%. Questi risultati dimostrano che scegliere macchine virtuali E8ds_v4 con processori Intel® Xeon® scalabili di seconda generazione offre un ottimo equilibrio tra prestazioni e prezzo per l'esecuzione dei carichi di lavoro di supporto decisionale di Databricks, consentendo alle organizzazioni di elaborare più dati e di ottenere più rapidamente informazioni utili.
Per saperne di più
Per iniziare a eseguire i cluster Databricks su Microsoft Azure Edsv4 con processori Intel Xeon scalabile di seconda generazione, occorre consultare https://docs.microsoft.com/en-us/azure/virtual-machines/edv4-edsv4-series.
Per dettagli di test e risultati completi mostrando come queste VM Intel Xeon scalabile di seconda generazione sono state affrontate contro le VM con processori di generazione precedente, leggere il report all'indirizzo https://www.intel.it/content/www/it/it/partner/workload/microsoft/enhance-databricks-azure-vms-benchmark.html.