Dati · AI · Diritto · Etica

Il magazine per chi decide

·

Databricks porta lo streaming a livello di millisecondi: il Real-Time Mode è ora disponibile per tutti

Il 29 ottobre 2026 Databricks ha reso generalmente disponibile il Real-Time Mode per le Spark Declarative Pipelines: streaming a latenza di millisecondi dentro lo stesso framework di ETL e batch.

di

·

·

4–6 minuti
Illustrazione astratta di flussi di dati veloci che attraversano una pipeline

Il 29 ottobre 2026 Databricks ha annunciato la disponibilità generale (GA) del Real-Time Mode (RTM) per le Spark Declarative Pipelines (SDP). In pratica, le pipeline dichiarative di Databricks possono ora elaborare flussi di dati con latenze end-to-end nell’ordine dei millisecondi, senza dover affiancare a Spark un motore di streaming specializzato.

Che cos’è il Real-Time Mode

Il Real-Time Mode è un’evoluzione del motore Spark Structured Streaming, introdotta da Databricks nel 2025 per i carichi di lavoro operativi. Funziona con tre idee semplici: i dati vengono elaborati in modo continuo, tutti gli stadi della query restano attivi nello stesso momento e ogni risultato passa allo stadio successivo non appena è pronto, senza aspettare la chiusura di un lotto.

Micro-batch (modello tradizionale) Eventi in arrivo Attesa delprossimo batch Stadio 1 Stadio 2 Output Gli stadi lavorano uno dopo l’altro, a lotti: il dato aspetta il proprio turno. Real-Time Mode (SDP) Eventi in arrivo Stadio 1 + Stadio 2 attivi insieme flusso continuo, dati passati subito avanti Sink Azione Streaming continuo: latenze end-to-end nell’ordine dei millisecondi. Schema illustrativo realizzato da QrmServizi sulla base della descrizione del blog Databricks (29 ottobre 2026).
Micro-batch e Real-Time Mode a confronto (schema illustrativo).

Perché dentro le Spark Declarative Pipelines

Le SDP sono diventate lo standard su Databricks per costruire pipeline di streaming ed ETL: gestiscono da sole dipendenze, elaborazione incrementale, orchestrazione, recupero dai guasti e controlli di qualità dei dati. Con il Real-Time Mode, anche i casi d’uso a bassa latenza possono vivere nello stesso framework. Secondo Databricks questo significa un’unica API, un solo sistema di osservabilità e un solo modello di fatturazione.

Sul calcolo serverless non c’è nessun cluster da scegliere o dimensionare e si paga solo per i core effettivamente usati. I flussi RTM beneficiano anche degli aggiornamenti senza gestione di versioni e della manutenzione a basso downtime tipici delle SDP.

Prima Sparkbatch ed ETL Motore dedicatoes. Flink, bassa latenza Due codebase, governanceframmentata, più lavoro operativo. con RTM su SDP Dopo Spark Declarative Pipelines Batch ETL Streaming a bassa latenza (RTM) un’unica API, osservabilità e fatturazione Un solo framework per tutte le pipeline. Schema illustrativo QrmServizi. Sintesi del messaggio di Databricks, non una misura indipendente.
Da due motori separati a un unico framework (schema illustrativo).

I numeri dichiarati da Databricks

  • Latenza: le note di rilascio indicano latenze end-to-end fino a cinque millisecondi, disponibili sia su calcolo classic sia serverless.
  • Rispetto al micro-batch: fino a 100 volte più veloce dell’architettura tradizionale a lotti.
  • Rispetto a Flink: su carichi reali di calcolo di feature, RTM risulta fino al 92% più veloce di motori specializzati come Apache Flink. Il benchmark è pubblicato da Databricks su GitHub.
  • Feature Store: la stessa architettura permette al Databricks Feature Store di arrivare a una latenza p99 di 200 ms da Kafka allo store online.

Sono dati del fornitore: prima di spostare un carico di lavoro da un motore all’altro conviene misurare RTM sui propri casi reali.

Come si attiva

La procedura descritta nel blog ufficiale richiede tre passaggi: portare la pipeline in modalità continuous, abilitare il Real-Time Mode con la configurazione Spark dedicata e definire un update flow con trigger RealTime verso un sink.

{
  "continuous": true,
  "spark_conf": {
    "spark.databricks.streaming.realTimeMode.enabled": "true"
  }
}

Nel codice, il sink si definisce con dp.create_sink() e il flusso con il decoratore @dp.update_flow, impostando pipelines.trigger su "RealTime".

1. Sorgenti 2. Pipeline SDP 3. Sink e utilizzo Apache Kafka Amazon MSK Azure Event Hubs Kinesis (solo sorgente) Spark Declarative Pipeline modalità: continuous Real-Time Mode attivo update flow con trigger “RealTime” orchestrazione, recupero errori e controlli di qualità inclusi Sink Kafka-compatibile ForEach: Lakebase, Redis, OLTP Uso operativo antifrode, personalizzazione, raccomandazioni, feature in tempo reale Schema illustrativo QrmServizi basato sulla documentazione Databricks (fonti e sink supportati possono variare: verificare la documentazione).
Il percorso dei dati in una pipeline Real-Time Mode (schema illustrativo).

Casi d’uso

RTM è pensato per trasformare i dati in decisioni in pochi millisecondi: rilevamento delle frodi, personalizzazione dal vivo, sistemi di raccomandazione e calcolo di feature per modelli di machine learning. Grazie ai ForEach sink, la pipeline può scrivere direttamente su Lakebase, Redis o qualsiasi altro database transazionale. Le feature arrivano nello store operativo pochi millisecondi dopo essere state calcolate, senza passaggi di sincronizzazione tra ambiente offline e online.

Cosa tenere presente

  • Sorgenti e sink: secondo la documentazione pubblicata durante la fase di anteprima, RTM lavora con bus di messaggi (Kafka, Amazon MSK, Azure Event Hubs; Kinesis solo come sorgente) e Delta non è supportato come sorgente o destinazione in modalità real-time. Le stesse pagine indicavano che join tra stream e finestre di sessione non erano supportati e consigliavano un solo flow RTM per pipeline. Questi limiti potrebbero essere cambiati con la GA: verificate la documentazione aggiornata.
  • Più flow per pipeline: dal 28 ottobre è in Beta la possibilità di eseguire più flow RTM nella stessa pipeline serverless (canale preview), insieme al ripartizionamento adattivo dello stadio sorgente per Kafka e Kinesis.
  • Prossimi passi dichiarati: raggruppamento di più flow RTM per ridurre i costi e un sink Lakebase nativo con batching, ripetizioni automatiche e autenticazione gestita da Unity Catalog.

In sintesi

Con il Real-Time Mode in disponibilità generale, Databricks punta a far convivere nello stesso strumento ETL, batch e streaming operativo a bassa latenza. Per chi oggi mantiene Spark più un motore dedicato per i casi time-critical, vale la pena valutare un proof of concept su un caso reale, confrontando latenza, costi e limiti di sorgenti e sink con il proprio scenario.

Fonti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *