Amazon Bedrock e Crawl4AI per ottimizzare i dati nei sistemi RAG

Amazon Web Services (AWS) ha condiviso una guida architetturale che spiega come integrare Crawl4AI, uno strumento open source in linguaggio Python, con Amazon Bedrock Knowledge Bases. La soluzione punta a migliorare la preparazione dei contenuti web prima della loro indicizzazione all'interno di sistemi RAG (Retrieval-Augmented Generation), un approccio che arricchisce i modelli linguistici con dati esterni aggiornati per ridurre le imprecisioni nelle risposte.

Cosa è stato annunciato

Amazon Bedrock Knowledge Bases offre già un connettore integrato e interamente gestito denominato Amazon Bedrock Web Crawler, capace di gestire file sitemap, rispettare il file robots.txt, interpretare pagine caricate tramite JavaScript ed eseguire sincronizzazioni incrementali. Tuttavia, alcune sorgenti web richiedono un controllo più rigoroso prima dell'acquisizione dei testi.

Per queste esigenze, AWS ha illustrato una pipeline che affida l'estrazione a Crawl4AI prima dell'indicizzazione. Rispetto alla scansione predefinita, questo flusso permette di:

• Generare file in formato Markdown strutturato, eliminando intestazioni, barre di navigazione e testi ripetitivi (boilerplate) preservando tabelle, elenchi e titoli;
• Limitare l'estrazione a specifiche sezioni della pagina grazie a selettori CSS dedicati, impostando vincoli precisi su percorsi, profondità di navigazione e schemi di URL;
• Creare file collaterali (sidecar) di metadati contenenti URL di origine, data e ora della scansione e attributi personalizzati utili a filtrare le ricerche a valle.

Dal punto di vista dell'infrastruttura, il processo viene impacchettato tramite AWS Cloud Development Kit (CDK) ed eseguito come task su AWS Fargate (all'interno di Amazon ECS), avviato in modo programmato da Amazon EventBridge. Le configurazioni operative vengono lette da AWS Systems Manager Parameter Store. Una volta terminata la pulizia, i documenti Markdown e i relativi metadati vengono salvati su un bucket Amazon S3. A quel punto Bedrock avvia il lavoro di ingestione, che include la suddivisione del testo (chunking), la generazione dei vettori (embedding) e l'indicizzazione vettoriale gestita.

Cosa cambia per chi usa l'AI

Per chi sviluppa applicazioni basate su Amazon Bedrock, l'approccio risolve il problema del "rumore informativo". Nei sistemi RAG, la presenza di menu, piè di pagina o note legali all'interno del testo indicizzato può degradare la pertinenza dei frammenti recuperati dal modello generativo. Ripulire a monte il codice HTML trasformandolo in Markdown essenziale migliora l'accuratezza del retrieval e, di conseguenza, la fedeltà delle risposte fornite agli utenti.

L'uso dei metadati personalizzati consente inoltre di definire filtri semantici avanzati al momento dell'interrogazione della base di conoscenza. AWS precisa che questo flusso è pensato per l'ingestione batch periodica di siti web noti, e non per l'accesso al web in tempo reale durante la fase di risposta (come nel caso del Web Grounding con Amazon Nova). Inoltre, l'esempio implementativo copre solo pagine accessibili pubblicamente: per i portali protetti da autenticazione tramite credenziali o SAML, la raccomandazione resta quella di valutare le funzioni native del Web Crawler di Bedrock.