Claude e Databricks: arriva il tracciamento con OpenTelemetry

Databricks ha annunciato il supporto per l'esportazione nativa dei dati di osservabilità OpenTelemetry dalla piattaforma Claude di Anthropic verso la propria soluzione Databricks MLflow. La novità consente agli sviluppatori che utilizzano i modelli di Claude di raccogliere ed esaminare dettagliatamente le operazioni interne dei propri agenti intelligenti direttamente nell'ambiente Databricks.

Cosa è stato annunciato

L'integrazione sfrutta OpenTelemetry, uno standard aperto utilizzato nel settore software per raccogliere ed esportare dati diagnostici. Nel funzionamento di un agente basato su intelligenza artificiale, ogni azione complessa è costituita da singoli passaggi operativi definiti "span", che includono le richieste inviate al modello e le chiamate a strumenti o funzioni esterne. L'insieme ordinato di questi passaggi forma una "traccia" (trace).

Con questo aggiornamento, la piattaforma Claude può esportare nativamente queste tracce tramite il protocollo OpenTelemetry direttamente a Databricks MLflow. Il supporto comprende gli SDK di Anthropic, le API Messages, i Managed Agents, oltre a Claude Code e al Claude Agent SDK.

Sul fronte Databricks, i dati vengono ricevuti tramite il sistema Zerobus Ingest e memorizzati all'interno di tabelle gestite da Unity Catalog collegate a un esperimento MLflow. Questo schema permette l'acquisizione di flussi a bassa latenza anche in presenza di un volume elevato di interrogazioni al secondo (QPS), garantendo al tempo stesso il controllo degli accessi e la possibilità di eseguire query SQL sui dati. Per motivi di riservatezza, i contenuti esatti di input e output vengono registrati nelle tracce solo se l'utente sceglie espressamente di farlo attivando la modalità "full".

Cosa cambia per chi usa l'AI

Quando un agente fornisce una risposta imprecisa o errata, spesso il testo finale non è sufficiente a comprendere cosa sia andato storto. Il problema può derivare da un contesto incompleto, dal fallimento di uno strumento esterno o da un ciclo ripetuto di ricerche che consuma risorse inutilmente. L'accesso alle tracce dettagliate in MLflow permette di analizzare il comportamento interno del sistema durante l'intero ciclo di sviluppo.

L'ambiente di Databricks offre diversi strumenti integrati per lavorare su questi dati:

• Diagnostica assistita: tramite la funzione di analisi con Genie Code, gli sviluppatori possono esaminare l'esecuzione registrata e porre domande per chiarire i motivi di passaggi lenti, costosi o non riusciti.
• MLflow Issues: una funzione attualmente in versione Beta che impiega Genie Code per identificare e raggruppare automaticamente anomalie ricorrenti, come parametri mancanti o risposte non conformi al formato richiesto, impostando verifiche pianificate per monitorare i miglioramenti nel tempo.
• Revisione umana (Review Queues): permette agli esperti di un determinato settore di esaminare casi reali registrati nelle tracce, segnalando gli errori e indicando le risposte corrette di riferimento.
• Valutazione comparativa (Agent Evaluation): consente di verificare tramite modelli di valutazione (LLM judge) se le modifiche apportate a istruzioni, strumenti o prompt migliorano le prestazioni dell'agente o introducono regressioni, confrontando i risultati delle diverse versioni nell'interfaccia di MLflow.