Il 29 ottobre 2026 Databricks ha annunciato la disponibilità generale (GA) del Real-Time Mode (RTM) per le Spark Declarative Pipelines (SDP). In pratica, le pipeline dichiarative di Databricks possono ora elaborare flussi di dati con latenze end-to-end nell’ordine dei millisecondi, senza dover affiancare a Spark un motore di streaming specializzato.
Che cos’è il Real-Time Mode
Il Real-Time Mode è un’evoluzione del motore Spark Structured Streaming, introdotta da Databricks nel 2025 per i carichi di lavoro operativi. Funziona con tre idee semplici: i dati vengono elaborati in modo continuo, tutti gli stadi della query restano attivi nello stesso momento e ogni risultato passa allo stadio successivo non appena è pronto, senza aspettare la chiusura di un lotto.
Perché dentro le Spark Declarative Pipelines
Le SDP sono diventate lo standard su Databricks per costruire pipeline di streaming ed ETL: gestiscono da sole dipendenze, elaborazione incrementale, orchestrazione, recupero dai guasti e controlli di qualità dei dati. Con il Real-Time Mode, anche i casi d’uso a bassa latenza possono vivere nello stesso framework. Secondo Databricks questo significa un’unica API, un solo sistema di osservabilità e un solo modello di fatturazione.
Sul calcolo serverless non c’è nessun cluster da scegliere o dimensionare e si paga solo per i core effettivamente usati. I flussi RTM beneficiano anche degli aggiornamenti senza gestione di versioni e della manutenzione a basso downtime tipici delle SDP.
I numeri dichiarati da Databricks
- Latenza: le note di rilascio indicano latenze end-to-end fino a cinque millisecondi, disponibili sia su calcolo classic sia serverless.
- Rispetto al micro-batch: fino a 100 volte più veloce dell’architettura tradizionale a lotti.
- Rispetto a Flink: su carichi reali di calcolo di feature, RTM risulta fino al 92% più veloce di motori specializzati come Apache Flink. Il benchmark è pubblicato da Databricks su GitHub.
- Feature Store: la stessa architettura permette al Databricks Feature Store di arrivare a una latenza p99 di 200 ms da Kafka allo store online.
Sono dati del fornitore: prima di spostare un carico di lavoro da un motore all’altro conviene misurare RTM sui propri casi reali.
Come si attiva
La procedura descritta nel blog ufficiale richiede tre passaggi: portare la pipeline in modalità continuous, abilitare il Real-Time Mode con la configurazione Spark dedicata e definire un update flow con trigger RealTime verso un sink.
{
"continuous": true,
"spark_conf": {
"spark.databricks.streaming.realTimeMode.enabled": "true"
}
}
Nel codice, il sink si definisce con dp.create_sink() e il flusso con il decoratore @dp.update_flow, impostando pipelines.trigger su "RealTime".
Casi d’uso
RTM è pensato per trasformare i dati in decisioni in pochi millisecondi: rilevamento delle frodi, personalizzazione dal vivo, sistemi di raccomandazione e calcolo di feature per modelli di machine learning. Grazie ai ForEach sink, la pipeline può scrivere direttamente su Lakebase, Redis o qualsiasi altro database transazionale. Le feature arrivano nello store operativo pochi millisecondi dopo essere state calcolate, senza passaggi di sincronizzazione tra ambiente offline e online.
Cosa tenere presente
- Sorgenti e sink: secondo la documentazione pubblicata durante la fase di anteprima, RTM lavora con bus di messaggi (Kafka, Amazon MSK, Azure Event Hubs; Kinesis solo come sorgente) e Delta non è supportato come sorgente o destinazione in modalità real-time. Le stesse pagine indicavano che join tra stream e finestre di sessione non erano supportati e consigliavano un solo flow RTM per pipeline. Questi limiti potrebbero essere cambiati con la GA: verificate la documentazione aggiornata.
- Più flow per pipeline: dal 28 ottobre è in Beta la possibilità di eseguire più flow RTM nella stessa pipeline serverless (canale preview), insieme al ripartizionamento adattivo dello stadio sorgente per Kafka e Kinesis.
- Prossimi passi dichiarati: raggruppamento di più flow RTM per ridurre i costi e un sink Lakebase nativo con batching, ripetizioni automatiche e autenticazione gestita da Unity Catalog.
In sintesi
Con il Real-Time Mode in disponibilità generale, Databricks punta a far convivere nello stesso strumento ETL, batch e streaming operativo a bassa latenza. Per chi oggi mantiene Spark più un motore dedicato per i casi time-critical, vale la pena valutare un proof of concept su un caso reale, confrontando latenza, costi e limiti di sorgenti e sink con il proprio scenario.




Lascia un commento