Common Crawl

Common Crawl è un'organizzazione non profit 501(c)(3) che mantiene un archivio aperto di dati di web crawl. Dalla sua fondazione nel 2008 da parte del computer scientist Gil Elbaz, l'organizzazione ha scandagliato sistematicamente internet e reso disponibili gratuitamente petabyte di dati grezzi HTML, metadati e testo estratto. I dati sono ospitati nei bucket S3 pubblici di Amazon Web Services; gli utenti pagano solo i costi di calcolo e archiviazione. Il corpus di Common Crawl è il più grande set di dati web accessibile apertamente, utilizzato da ricercatori, giornalisti, startup e importanti laboratori di IA. Negli anni 2020 è diventata la fonte di addestramento primaria per i grandi modelli linguistici, tra cui GPT-3, GPT-4 e LLaMA. Un'indagine del novembre 2025 condotta da The Markup e Wired ha esaminato come le aziende di IA utilizzano i dati, scatenando dibattiti su consenso e copyright.[modifica]

La missione di Common Crawl è democratizzare l'accesso ai dati web, scandagliando internet e fornendo il contenuto risultante gratuitamente a chiunque. L'obiettivo è abbassare le barriere all'analisi dei dati su scala web, promuovere l'innovazione e preservare una registrazione storica aperta del web.[modifica]

Gil Elbaz iniziò a costruire il primo crawler nel 2007, spinto dalla convinzione che i dati aperti del web fossero essenziali per un internet sano. Il primo dataset di crawl pubblico, contenente circa 2 miliardi di pagine, fu rilasciato nel 2008. L'infrastruttura iniziale si basava su server donati e sovvenzioni. Nel 2012, Common Crawl collaborò con Amazon Web Services per ospitare i dati nei bucket S3 pubblici, rendendo l'accesso gratuito e scalabile. Il dataset News Crawl fu lanciato nel 2015, fornendo un feed continuamente aggiornato di articoli di notizie. Nel 2017 il corpus era cresciuto fino a 3,5 miliardi di pagine, il più grande set di dati web pubblicamente disponibile all'epoca. Il boom dell'IA dei primi anni 2020 aumentò drasticamente la domanda; Common Crawl divenne il corpus di addestramento de facto per i grandi modelli linguistici. In risposta alle preoccupazioni su copyright e consenso sollevate da un'indagine del 2025, l'organizzazione annunciò piani per sviluppare un sistema di opt-out e un migliore tracciamento della provenienza.[modifica]