La raccolta dei dati e la gestione dell’esperimento, però, non sono le uniche fasi del procedimento scientifico che possono essere distorte. Come dimostra il caso di due articoli pubblicati di recente sulla rivista Surgery, anche i metodi scelti per analizzare i dati possono influenzare i risultati. Pur partendo dagli stessi dati, infatti, i due studi arrivano a conclusioni diametralmente opposte sull’uso di un particolare strumento negli interventi di asportazione dell’appendice: per uno riduce le probabilità d’infezione, mentre per l’altro le aumenta.

Un nuovo articolo pubblicato da un gruppo di ricercatori coordinato da Martin Schweinsberg, psicologo della European school of management and technology di Berlino, cerca di far luce sulla questione. Dopo aver pubblicizzato il suo progetto sui social network, Schweinsberg ha riunito 49 ricercatori e consegnato a ciascuno una raccolta di dati formata da 3,9 milioni di parole prese da quasi ottomila commenti postati su Edge.org, un forum online per intellettuali loquaci.

Poi ha chiesto alle sue cavie di approfondire due ipotesi all’apparenza semplici. Prima ipotesi: la propensione di una donna a partecipare a una conversazione aumenta quando sono coinvolte altre donne. Seconda ipotesi: chi riveste una carica importante partecipa più di chi ha un lavoro meno in vista. Ai ricercatori è stato chiesto di postare la propria analisi dettagliata, con tanto di metodo e procedimento usati, sul sito DataExplained, permettendo così a Schweinsberg di valutare i diversi approcci.

Le analisi ritenute sufficientemente dettagliate da poter essere incluse sono risultate 37. Non ci sono stati due analisti che hanno usato lo stesso metodo e nessuno è arrivato allo stesso risultato. Nel caso della seconda ipotesi, il 29 per cento ha considerato più probabile l’intervento dei partecipanti con cariche importanti, mentre il 21 per cento è arrivato alla conclusione opposta (la percentuale restante non ha riscontrato differenze significative). Nel caso della prima ipotesi, invece, per il 64 per cento le donne partecipano di più in presenza di altre donne, mentre il 21 per cento ha sostenuto il contrario.

Nessuna delle analisi è “sbagliata” in senso oggettivo. Le differenze nascono dall’adozione di definizioni diverse dell’argomento e dall’applicazione di tecniche diverse. Per definire quanto parlano le donne, per esempio, alcuni analisti hanno optato per il numero di parole usate nei commenti, altri per il numero di caratteri e altri ancora per il numero di conversazioni a cui hanno partecipato.

Il prestigio accademico, invece, è stato definito dal ruolo, dal numero di citazioni accumulate o dall’indice H, un valore che combina il totale delle citazioni con l’importanza delle riviste in cui appaiono. Ha inciso anche la scelta delle tecniche statistiche, ma meno delle definizioni. Alcuni ricercatori hanno preferito l’analisi della regressione lineare, altri la regressione logistica o la correlazione di Kendall.

La verità, quindi, può essere sfuggente anche nel caso di domande in apparenza semplici. Che fare?

Innanzitutto, Schwein­sberg sottolinea l’importanza cruciale della progettazione dell’esperimento. Lo studioso spera che, oltre a evidenziare il problema, piattaforme come DataExplained contribuiscano a risolverlo, permettendo agli scienziati di definire con precisione il loro metodo di analisi e ai colleghi di valutarlo. Verificare con cura ogni risultato non è molto pratico, ammette, ma se vari metodi di analisi puntano nella stessa direzione gli scienziati possono essere certi che la loro conclusione è quella giusta. ◆ sdf