banner

Notizia

May 22, 2023

Approfondimenti sull'accuratezza delle previsioni degli scienziati sociali sul cambiamento sociale

Nature Human Behavior volume 7, pagine 484–501 (2023)Citare questo articolo

20mila accessi

3 citazioni

372 Altmetrico

Dettagli sulle metriche

Quanto bene gli scienziati sociali possono prevedere il cambiamento sociale e quali processi sono alla base delle loro previsioni? Per rispondere a queste domande, abbiamo organizzato due tornei di previsione testando l’accuratezza delle previsioni del cambiamento sociale in ambiti comunemente studiati nelle scienze sociali: preferenze ideologiche, polarizzazione politica, soddisfazione di vita, sentimento sui social media e pregiudizi di genere, carriera e razziale. Dopo aver fornito loro i dati sulle tendenze storiche nel settore pertinente, gli scienziati sociali hanno presentato previsioni mensili preregistrate per un anno (Torneo 1; N = 86 squadre e 359 previsioni), con l'opportunità di aggiornare le previsioni sulla base di nuovi dati sei mesi dopo (Torneo 2; N = 120 squadre e 546 pronostici). L'analisi comparativa dell'accuratezza delle previsioni ha rivelato che le previsioni degli scienziati sociali non erano in media più accurate di quelle di semplici modelli statistici (medie storiche, passeggiate casuali o regressioni lineari) o delle previsioni aggregate di un campione del pubblico in generale (N = 802). Tuttavia, gli scienziati erano più accurati se avevano competenze scientifiche in un ambito di previsione, erano interdisciplinari, utilizzavano modelli più semplici e basavano previsioni su dati precedenti.

Gli scienziati sociali possono prevedere il cambiamento sociale? I governi e il pubblico in generale spesso si affidano agli esperti, sulla base della convinzione generale che essi possano formulare giudizi e previsioni migliori sul futuro nel loro ambito di competenza. I media cercano anche esperti per esprimere i loro giudizi e opinioni su cosa aspettarsi in futuro1,2. Tuttavia, la ricerca sulle previsioni in molti ambiti suggerisce che gli esperti potrebbero non essere migliori dei modelli puramente stocastici nel predire il futuro. Ad esempio, i gestori di portafoglio (che sono pagati per la loro competenza) non sovraperformano il mercato azionario nelle loro previsioni3. Allo stesso modo, nel campo della geopolitica, gli esperti spesso agiscono a livelli casuali quando prevedono il verificarsi di eventi politici specifici4. Sulla base di queste intuizioni, ci si potrebbe aspettare che gli esperti trovino difficile prevedere con precisione il cambiamento sociale.

Allo stesso tempo, i ricercatori delle scienze sociali hanno sviluppato modelli ricchi ed empiricamente fondati per spiegare i fenomeni delle scienze sociali. Esaminando i dati campionati, gli scienziati sociali si sforzano di sviluppare modelli teorici sui meccanismi causali che, in casi ideali, descrivono in modo affidabile il comportamento umano e i processi sociali5. Pertanto, è possibile che i modelli esplicativi offrano agli esperti di scienze sociali un vantaggio nel prevedere i fenomeni sociali nel loro ambito di competenza. Qui testiamo queste possibilità, esaminando la prevedibilità complessiva delle tendenze nei fenomeni sociali come la polarizzazione politica, i pregiudizi razziali o il benessere, e se gli esperti in scienze sociali sono in grado di prevedere tali tendenze meglio dei non esperti.

Le precedenti iniziative di previsione non hanno affrontato completamente questa questione per due ragioni. In primo luogo, le iniziative di previsione con esperti in materia si sono concentrate sull’esame della probabilità che si verifichino specifici eventi occasionali4,6 piuttosto che sull’accuratezza delle previsioni ex ante del cambiamento sociale in più unità di tempo. In un certo senso, prevedere eventi futuri (ex ante) equivale a prevedere eventi già accaduti, purché gli esperti (i partecipanti alla ricerca) non conoscano il risultato. Tuttavia, ci sono ragioni per ritenere che la previsione futura sia diversa in modo importante. Consideriamo i prezzi delle azioni: i partecipanti potrebbero prevedere i rendimenti azionari delle azioni del passato, tranne per il fatto che conoscono molte altre cose che sono accadute (conflitti, bolle, cigni neri, tendenze economiche, tendenze di consumo e così via). Post hoc, coloro che effettuano previsioni hanno accesso alla varianza temporale o all’occorrenza di ciascuna di queste variabili e quindi hanno maggiori probabilità di avere successo nelle previsioni ex post. Le previsioni sugli eventi passati finiscono quindi per testare più le spiegazioni delle persone piuttosto che le loro previsioni in sé. Inoltre, a parità di altre condizioni, la probabilità che una previsione riguardante un evento una tantum sia accurata è per impostazione predefinita superiore a quella di una previsione riguardante un cambiamento sociale in un periodo prolungato. Le previsioni binarie per l’evento una tantum non richiedono precisione nella stima del grado di cambiamento o della forma delle serie temporali previste, che rappresentano ulteriori sfide nella previsione del cambiamento sociale.

 1) may not be too surprising; errors of the in-sample random walk in the denominator concern historical observations that occurred before the pandemic, whereas the accuracy of scientific forecasts in the numerator concerns the data for the first pandemic year. However, average forecasting accuracy did not generally beat more liberal benchmarks such as the median MASE in data science tournaments (1.76)7 or the benchmark MASE for ‘good’ forecasts in the tourism industry (Supplementary Information). Except for one team, the top forecasters from Tournament 1 did not appear among the winners of Tournament 2 (Supplementary Tables 1 and 2)./p>

CONDIVIDERE