Guida DELTA2 per la scelta della differenza target e per l’esecuzione e la segnalazione del calcolo della dimensione del campione per uno studio controllato randomizzato

Studi randomizzati controllati e condotti correttamente sono considerati il metodo migliore per valutare l’efficacia clinica comparativa e l’efficacia degli interventi sanitari, oltre a fornire una fonte di dati chiave per la stima del rapporto costo-efficacia.1 Questi studi sono utilizzati di routine per valutare un’ampia gamma di trattamenti e sono stati utilizzati con successo in vari contesti sanitari e sociali. Al centro della progettazione di uno studio randomizzato controllato c’è un calcolo a priori delle dimensioni del campione, che assicura che lo studio abbia un’alta probabilità di raggiungere l’obiettivo prefissato.

La differenza tra i gruppi utilizzati per calcolare la dimensione del campione per lo studio (nota come “target difference”) è l’entità della differenza nell’esito dell’interesse che lo studio controllato randomizzato è progettato per rilevare in modo affidabile. La rassicurazione a questo proposito è tipicamente confermata dal fatto di avere una dimensione del campione che ha un livello di potenza statistica sufficientemente alto (tipicamente l’80% o il 90%) per rilevare una differenza grande come la differenza target, mentre si imposta la significatività statistica al livello pianificato per l’analisi statistica (di solito al livello del 5% su due lati). Una revisione metodologica completa condotta dal gruppo originale DELTA (Difference ELicitation in TriAls)23 ha evidenziato i metodi disponibili e i limiti della pratica corrente. Ha mostrato che, nonostante i diversi approcci disponibili, alcuni sono utilizzati solo raramente nella pratica.4 La guida iniziale DELTA non ha soddisfatto pienamente le esigenze dei finanziatori e dei ricercatori. Il progetto DELTA2, commissionato dal Medical Research Council/National Institute for Health Research Methodology Research Programme del Regno Unito e qui descritto, mirava a produrre una guida aggiornata per i ricercatori e i finanziatori per specificare e riportare la differenza target (la dimensione dell’effetto) nel calcolo della dimensione del campione di uno studio controllato randomizzato. In questo articolo, riassumiamo il processo di sviluppo della nuova guida, così come le considerazioni, i messaggi chiave e le raccomandazioni per i ricercatori che determinano e riportano i calcoli delle dimensioni del campione per gli studi controllati randomizzati(box 1 e tabella 1).

Sviluppo della guida DELTA2

La guida DELTA2 è il culmine di un processo in cinque fasi per raggiungere gli obiettivi dichiarati del progetto(fig. 1), che comprendeva due revisioni letterarie delle guide esistenti e della recente letteratura metodologica, un processo Delphi per coinvolgere un gruppo più ampio di stakeholder, un workshop di due giorni e la finalizzazione della guida di base.

Fig 1.Componenti del progetto DELTA2

La revisione della letteratura è stata condotta tra aprile e dicembre 2016 (ricerca fino ad aprile 2016). Lo studio di Delfi ha avuto due cicli: uno tenutosi nel 2016 prima di un workshop di due giorni a Oxford (settembre 2016), e un altro tra agosto e novembre 2017. La struttura generale della guida è stata elaborata durante il workshop. È stata sostanzialmente rivista sulla base dei feedback ricevuti dalle parti interessate attraverso lo studio di Delfi. Inoltre, durante lo sviluppo della guida sono stati organizzati diversi incontri con gli stakeholder: l’incontro della Society for Clinical Trials e le conferenze degli statistici dell’industria farmaceutica, entrambi tenutisi nel maggio 2017, un incontro statistico congiunto nell’agosto 2017 e un incontro del gruppo locale della Royal Statistical Society Reading nel settembre 2017. Queste sessioni interattive hanno fornito un feedback sull’ambito di applicazione (nel 2016) e poi una bozza di guida (nel 2017). La guida di base è stata provvisoriamente completata nell’ottobre 2017 ed esaminata dai rappresentanti dei finanziatori per un commento (gruppo consultivo del Programma di ricerca metodologica). Le linee guida sono state ulteriormente riviste e finalizzate nel febbraio 2018. Il documento orientativo completo che comprende i casi di studio e le relative appendici è disponibile qui.5 Ulteriori dettagli sui risultati dello studio Delphi e sul più ampio impegno con gli stakeholder sono riportati altrove.6 Le linee guida e i messaggi chiave sono riassunti nel resto del presente documento.

Fig. 1.Componenti del progetto DELTA2

Il calcolo della differenza target e della dimensione del campione in studi controllati randomizzati

Il ruolo del calcolo della dimensione del campione è quello di determinare quanti pazienti sono necessari affinché l’analisi pianificata dell’esito primario sia informativa. In genere si ottiene specificando una differenza target per il risultato chiave (primario) che può essere rilevato in modo affidabile e si calcola la dimensione del campione richiesta. In questo documento di sintesi, limitiamo le considerazioni al disegno di prova più comune che guarda ad una domanda di superiorità (che non presuppone alcuna differenza tra i trattamenti e cerca una differenza), anche se la guida completa considera l’equivalenza e i disegni di non inferiorità che invertono l’ipotesi e come l’uso della differenza target differisce per tali disegni.5

L’esatta domanda di ricerca alla quale la sperimentazione è principalmente impostata per rispondere determinerà ciò che deve essere stimato nell’analisi primaria pianificata, che è nota formalmente come “estimand”. Una parte fondamentale per caratterizzare la domanda di ricerca è la scelta del risultato primario, che richiede un’attenta considerazione. La differenza obiettivo dovrebbe essere una differenza appropriata per quella stima.78910Tipicamente (per gli studi di superiorità), si usa l’intenzione di trattare o la stima della politica di trattamento – cioè, secondo i gruppi randomizzati, indipendentemente dalla successiva conformità con l’allocazione del trattamento. Anche altre analisi che trattano diverse stime8911 di interesse (ad esempio, quelle basate sull’effetto al ricevimento del trattamento e sull’assenza di non conformità) potrebbero informare la scelta della dimensione del campione. I diversi stakeholder possono avere prospettive diverse sulla differenza di target appropriata.12 Tuttavia, un principio chiave è che la differenza target dovrebbe essere considerata importante da almeno uno (e preferibilmente più) dei principali gruppi di stakeholder, ovvero pazienti, professionisti della salute, agenzie di regolamentazione e finanziatori della sanità. In pratica, la differenza target non è sempre considerata formalmente e in molti casi sembra, almeno dai rapporti di prova, essere determinata in base alla convenienza, al budget della ricerca o ad altre basi informali.13 La differenza target può essere espressa come una differenza assoluta (ad esempio, differenza media o differenza di proporzioni) o relativa (ad esempio, rapporto di pericolo o di rischio), ed è anche spesso indicata, in modo piuttosto impreciso, come “dimensione dell’effetto” dello studio.

Il calcolo statistico della dimensione del campione è lontano da una scienza esatta.14 In primo luogo, gli investigatori tipicamente fanno delle ipotesi che sono una semplificazione dell’analisi prevista. Per esempio, l’impatto dell’aggiustamento per i fattori di base è difficile da quantificare in anticipo, e anche se l’analisi è intesa come un’analisi corretta (come quando la randomizzazione è stata stratificata o minimizzata)15 , il calcolo della dimensione del campione è spesso condotto sulla base di un’analisi non corretta. In secondo luogo, la dimensione del campione calcolato può essere sensibile alle ipotesi formulate nei calcoli in modo tale che una piccola modifica di una delle ipotesi può portare a una sostanziale modifica della dimensione del campione calcolato. Spesso è possibile utilizzare una semplice formula per calcolare la dimensione del campione richiesta. La formula varia a seconda del tipo di risultato, di come viene espressa la differenza target (ad esempio, un rapporto di rischio contro una differenza nelle proporzioni) e, in qualche modo, implicitamente, il disegno della prova e l’analisi pianificata. In genere, una formula di dimensione del campione può essere utilizzata per calcolare il numero di osservazioni richiesto nell’insieme di analisi, che varia a seconda del risultato e dell’analisi prevista. In alcune situazioni, può essere appropriato assicurarsi che la dimensione del campione sia sufficiente per più di un’analisi pianificata.

Quando si decide la dimensione del campione per uno studio controllato randomizzato, è necessario che i ricercatori bilancino il rischio di concludere erroneamente che vi sia una differenza quando non esiste alcuna differenza effettiva tra i trattamenti, con il rischio di non riuscire a identificare una differenza di trattamento significativa quando i trattamenti differiscono. Nell’ambito dell’approccio convenzionale, denominato quadro di prova delle ipotesistatistiche16 , le probabilità di questi due errori sono controllate impostando il livello di significatività (errore di tipo I) e la potenza statistica (1 meno l’errore di tipo II) a livelli appropriati (i valori tipici sono rispettivamente il 5% di significatività su due lati e l’80% o il 90% di potenza). Una volta che questi due ingressi sono stati impostati, la dimensione del campione può essere determinata data l’entità della differenza tra i gruppi nel risultato che si desidera rilevare (la differenza target). Il calcolo (che riflette l’analisi prevista) è fatto convenzionalmente sulla base di prove per una differenza di qualsiasi entità. Di conseguenza, è essenziale, quando si interpreta l’analisi di una prova, considerare l’incertezza nella stima, che si riflette nell’intervallo di confidenza. Una questione chiave di interesse è quale grandezza della differenza può essere esclusa. L’ampiezza attesa (prevista) dell’intervallo di confidenza può essere determinata per una data differenza target e per il calcolo della dimensione del campione, che è un altro aiuto utile per fare una scelta informata su questa parte del progetto di una prova.17 Sono stati proposti altri approcci statistici ed economici per il calcolo della dimensione del campione, come gli approcci di precisione e quelli basati sulla bayesiana16181920 e il valore dell’analisi delle informazioni21, anche se attualmente non sono comunemente applicati.22

La dimensione del campione richiesto è molto sensibile alla differenza del target. Con l’approccio convenzionale, dimezzando la differenza target si quadruplica la dimensione del campione per un trial di superiorità di gruppo a due bracci, 1:1, parallelo, con un risultato continuo.23 Le formule appropriate per la dimensione del campione variano a seconda del progetto di prova proposto e dell’analisi statistica, anche se l’approccio generale è coerente. In scenari più complessi si possono utilizzare simulazioni, ma valgono gli stessi principi generali. È prudente effettuare calcoli di sensibilità per valutare il potenziale effetto di un’errata specificazione di ipotesi chiave (come il tasso di risposta del controllo per un risultato binario o la varianza prevista di un risultato continuo).

Il calcolo della dimensione del campione e la differenza target, se ben specificato, aiutano a rassicurare che lo studio è in grado di rilevare una differenza almeno pari alla differenza target in termini di confronto dell’esito primario tra i trattamenti. Il mancato chiarimento di ciò che è importante e realistico nella fase di progettazione può portare a successive revisioni delle dimensioni del campione o ad una prova inutilmente inconcludente a causa della mancanza di precisione statistica o di un’interpretazione ambigua dei risultati.2425Quando si specifica la differenza obiettivo con una prova definitiva in mente, si dovrebbero considerare le seguenti indicazioni.

Specificare la differenza target per uno studio controllato randomizzato

Si possono adottare approcci statistici diversi per specificare la differenza di destinazione e calcolare la dimensione del campione, ma i principi generali sono gli stessi. Per aiutare i ricercatori alle prime armi e per incoraggiare una migliore pratica e un miglior rapporto sulla specificazione della differenza target per uno studio controllato randomizzato, nel riquadro 1 e nella tabella 1 sono fornite una serie di raccomandazioni. Sette ampi tipi di metodi possono essere utilizzati per giustificare la scelta di un particolare valore come differenza target, che sono riassunti nel riquadro 2.

In generale, si possono adottare due diversi approcci per specificare la differenza target per uno studio controllato randomizzato. Una differenza che viene considerata:

• Importante per uno o più gruppi di stakeholder
• Realistico (plausibile), basato su prove esistenti o su una perizia.

Esiste una vasta letteratura sulla definizione e la giustificazione di una differenza (clinicamente) importante, in particolare per quanto riguarda la qualità della vita.272829In modo simile, sono comuni anche le discussioni sulla rilevanza delle stime degli studi esistenti; ci sono diverse potenziali insidie al loro utilizzo, che richiedono un’attenta considerazione di come dovrebbero informare la scelta della differenza target.2 È stato sostenuto che una differenza target dovrebbe essere sempre importante erealistica30 , il che sembrerebbe particolarmente adatto quando si progetta uno studio controllato randomizzato di superiorità definitivo (fase 3). In un calcolo della dimensione del campione per uno studio randomizzato controllato, la differenza target tra i gruppi di trattamento si riferisce strettamente ad una differenza a livello di gruppo per la popolazione di studio prevista. Tuttavia, la differenza in un risultato importante per un individuo può differire dal valore corrispondente a livello di popolazione. Una considerazione più ampia delle variazioni di approccio è fornita altrove.2
3

Metodi che informano su quale sia una differenza importante

1. Ancora: L’esito dell’interesse può essere ancorato utilizzando il giudizio di un paziente o di un professionista della salute per definire quale sia una differenza importante. Questo approccio può essere ottenuto confrontando la salute di un paziente prima e dopo il trattamento e poi collegando questo cambiamento ai partecipanti che hanno mostrato un miglioramento o un deterioramento utilizzando un risultato più familiare (per il quale sia i pazienti che gli operatori sanitari si trovano più facilmente d’accordo sulla quantità di cambiamento che costituisce una differenza importante). Anche i contrasti tra i pazienti (ad esempio, individui con gravità variabile di una malattia) possono essere utilizzati per determinare una differenza significativa.
2. Distribuzione: Approcci che determinano un valore basato sulla variazione distributiva. Un approccio comune è quello di utilizzare un valore che è più grande dell’imprecisione intrinseca nella misurazione e quindi probabilmente rappresenta un livello minimo necessario per una differenza significativa.
3. Salute economica: Approcci che utilizzano i principi della valutazione economica. Questi approcci confrontano il costo con i risultati sanitari e definiscono un valore soglia per il costo di un’unità di effetto sanitario che un decisore è disposto a pagare, per stimare il beneficio netto incrementale complessivo incrementale di un trattamento rispetto al comparatore. Uno studio può essere alimentato per escludere un beneficio netto incrementale pari a zero ad una significatività e potenza statistica desiderata. Un approccio radicalmente diverso è un approccio (bayesiano) decisione-teorico dell’analisi delle informazioni che confronta il valore aggiunto con il costo aggiunto dell’osservazione marginale, evitando così la necessità di specificare una differenza target.
4. Dimensione standardizzata dell’effetto: La grandezza dell’effetto su una scala standardizzata definisce il valore della differenza. Per un risultato continuo, si può utilizzare la differenza standardizzata (più comunemente espressa come dimensione dell’effetto di Cohen d, la differenza media divisa per la deviazione standard). Le dimensioni di taglio di Cohen di 0,2, 0,5 e 0,8 sono spesso utilizzate per effetti piccoli, medi e grandi, rispettivamente. Così, un effetto medio corrisponde semplicemente ad una differenza nel risultato di 0,5 deviazioni standard. Quando si misura un risultato binario o di sopravvivenza (tempo-evento), si possono utilizzare metriche alternative (ad esempio, un rapporto di probabilità, rischio o pericolo) in modo simile, anche se non esistono punti di taglio ampiamente riconosciuti. I punti di taglio di Cohen approssimano rapporti di probabilità di 1,44, 2,48 e 4,27, rispettivamente.26 I corrispondenti valori del rapporto di rischio variano a seconda della proporzione di eventi del gruppo di controllo.

Metodi che informano quale sia una differenza realistica

1. Studio pilota: Uno studio pilota (o preliminare) può essere condotto se ci sono poche prove, o anche solo l’esperienza, per guidare le aspettative e determinare una differenza target appropriata per lo studio. Analogamente, uno studio di fase 2 potrebbe essere utilizzato per informare uno studio di fase 3, anche se questo approccio dovrebbe tenere conto delle differenze metodologiche (ad esempio, criteri di inclusione e risultati) che dovrebbero riflettersi nella specificazione della differenza target.

Metodi che informano su cosa sia una differenza importante o una differenza realistica

1. Richiesta di opinioni: La differenza di destinazione può essere basata su opinioni suscitate da professionisti della salute, pazienti o altri. Tra gli approcci possibili vi sono la formazione di un gruppo di esperti, l’indagine sull’appartenenza a un’associazione di professionisti o di pazienti o l’intervista a singoli individui. Questo processo di selezione può essere esplicitamente inquadrato all’interno di un contesto di prova.
2. Revisione della base delle prove: La differenza di destinazione può essere derivata dalle prove attuali sulla questione della ricerca. Idealmente, questa evidenza dovrebbe provenire da una revisione sistematica o da una meta-analisi di studi controllati randomizzati. In assenza di prove randomizzate, le prove derivanti da studi osservazionali potrebbero essere utilizzate in modo simile.

Riportare il calcolo della dimensione del campione

L’approccio adottato per determinare la dimensione del campione e le ipotesi formulate devono essere chiaramente specificate. Queste informazioni dovrebbero includere tutti gli input e i risultati delle formule o delle simulazioni, in modo che sia chiaro su cosa si è basata la dimensione del campione. Queste informazioni sono fondamentali per la trasparenza del reporting, permettono di replicare il calcolo della dimensione del campione e chiariscono l’obiettivo primario (statistico) dello studio. Nell’ambito dell’approccio convenzionale con un disegno di prova standard (assegnazione 1:1, due bracci, gruppo parallelo, disegno di superiorità) e analisi statistica non corretta, gli elementi fondamentali che devono essere dichiarati sono il risultato primario, la differenza target opportunamente specificata in base al tipo di risultato, il parametro di fastidio associato (cioè un parametro che, insieme alla differenza target, specifica in modo univoco la differenza sulla scala di risultato originale, il tasso di evento nel gruppo di controllo per un risultato primario binario), e il significato e la potenza statistica. Progetti più complicati possono avere input aggiuntivi che dovrebbero essere considerati, come la correlazione intracluster per un progetto randomizzato di cluster.

Un insieme di elementi fondamentali dovrebbe essere riportato in tutti i principali documenti di prova (domande di sovvenzione, protocolli e documenti sui risultati principali) per garantire la riproducibilità e la plausibilità del calcolo della dimensione del campione. L’elenco completo degli elementi di base raccomandati è riportato nella tabella 1, che è un aggiornamento dell’elenco precedentemente proposto.31 Quando il calcolo della dimensione del campione si discosta dall’approccio convenzionale, sia per questioni di ricerca che per il quadro statistico, il set di reportistica di base può essere modificato per fornire dettagli sufficienti a garantire che il calcolo della dimensione del campione sia riproducibile e che la logica per la scelta della differenza di destinazione sia trasparente. Tuttavia, i principi chiave rimangono gli stessi. Se la dimensione del campione è determinata sulla base di una serie di simulazioni, questo metodo dovrebbe essere descritto in modo sufficientemente dettagliato per fornire un livello equivalente di trasparenza e di valutazione. Se lo spazio lo consente (ad esempio, nelle domande di sovvenzione e nei protocolli di prova), si dovrebbero fornire ulteriori elementi per spiegare meglio la logica. Le pubblicazioni dei risultati delle prove possono poi fare riferimento a questi documenti se non c’è spazio sufficiente per fornire una descrizione completa.

Discussione

I ricercatori si trovano di fronte a una serie di decisioni difficili quando progettano uno studio controllato randomizzato, le più importanti delle quali sono la scelta del disegno dello studio, il risultato primario e la dimensione del campione. La dimensione del campione è in gran parte guidata dalla scelta della differenza di destinazione, anche se contribuiscono anche altri aspetti della determinazione della dimensione del campione.

La guida DELTA2 fornisce aiuto nello specificare una differenza target e nell’intraprendere e riportare il calcolo della dimensione del campione per uno studio controllato randomizzato. La guida è stata sviluppata in risposta al crescente riconoscimento da parte di finanziatori, ricercatori e altri soggetti chiave (come i pazienti e le rispettive comunità cliniche) di una reale necessità di consigli pratici e accessibili per informare una decisione difficile. Il nuovo documento di orientamento mira quindi a colmare il divario tra le linee guida esistenti (limitate) e questa crescente necessità.

Il messaggio chiave per i ricercatori è la necessità di essere più espliciti sulla logica e la giustificazione della differenza di target quando si effettua e si riporta un calcolo delle dimensioni del campione. Si sta ponendo sempre più l’accento sulla differenza target nell’interpretazione clinica del risultato dello studio, sia essa statisticamente significativa o meno. Pertanto, la specificazione e la segnalazione della differenza target e altri aspetti del calcolo della dimensione del campione devono essere migliorati.

References

1. Altman DG, Schulz KF, Moher D, CONSORT GROUP (Consolidated Standards of Reporting Trials). The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med. 2001; 134:663-94. DOI | PubMed
2. Cook JA, Hislop J, Adewuyi TE. Assessing methods to specify the target difference for a randomised controlled trial: DELTA (Difference ELicitation in TriAls) review. Health Technol Assess. 2014; 18:v-vi, 1-175. DOI | PubMed
3. Hislop J, Adewuyi TE, Vale LD. Methods for specifying the target difference in a randomised controlled trial: the Difference ELicitation in TriAls (DELTA) systematic review. PLoS Med. 2014; 11:e1001645. PubMed
4. Cook JA, Hislop JM, Altman DG, for the DELTA group. Use of methods for specifying the target difference in randomised controlled trial sample size calculations: Two surveys of trialists’ practice. Clin Trials. 2014; 11:300-8. DOI | PubMed
5. Publisher Full Text
6. Sones W, Julious SA, Rothwell JC. Choosing the target difference (“effect size”) for a randomised controlled trial – the development of the DELTA2 guidance. Trials.
7. Hollis S, Campbell F. What is meant by intention to treat analysis? Survey of published randomised controlled trials. BMJ. 1999; 319:670-4. DOI | PubMed
8. Phillips A, Abellan-Andres J, Soren A. Estimands: discussion points from the PSI estimands and sensitivity expert group. Pharm Stat. 2017; 16:6-11. DOI | PubMed
9. Rosenkranz G. Estimands-new statistical principle or the emperor’s new clothes?. Pharm Stat. 2017; 16:4-5. DOI | PubMed
10. Publisher Full Text
11. Akacha M, Bretz F, Ruberg S. Estimands in clinical trials – broadening the perspective. Stat Med. 2017; 36:5-19. DOI | PubMed
12. Publisher Full Text
13. Chan KB, Man-Son-Hing M, Molnar FJ. How well is the clinical importance of study results reported? An assessment of randomized controlled trials. CMAJ. 2001; 165:1197-202. PubMed
14. Schulz KF, Grimes DA. Sample size calculations in randomised trials: mandatory and mystical. Lancet. 2005; 365:1348-53. DOI | PubMed
15. Senn S. Controversies concerning randomization and additivity in clinical trials. Stat Med. 2004; 23:3729-53. DOI | PubMed
16. Spiegelhalter DJ, Abrams KR, Myles JP. Bayesian Approaches to Clinical Trials and Health-Care Evaluation. John Wiley & Sons; 2004.
17. Goodman SN, Berlin JA. The use of predicted confidence intervals when planning experiments and the misuse of power when interpreting results. Ann Intern Med. 1994; 121:200-6. DOI | PubMed
18. Bland JM. The tyranny of power: is there a better way to calculate sample size?. BMJ. 2009; 339:b3985. DOI | PubMed
19. Stallard N, Miller F, Day S. Determination of the optimal sample size for a clinical trial accounting for the population size. Biom J. 2017; 59:609-25. DOI | PubMed
20. Pezeshk H. Bayesian techniques for sample size determination in clinical trials: a short review. Stat Methods Med Res. 2003; 12:489-504. DOI | PubMed
21. Claxton K. The irrelevance of inference: a decision-making approach to the stochastic evaluation of health care technologies. J Health Econ. 1999; 18:341-64. DOI | PubMed
22. Charles P, Giraudeau B, Dechartres A. Reporting of sample size calculation in randomised controlled trials: review. BMJ. 2009; 338:b1732. PubMed
23. Julious S. Sample sizes for clinical trials.. Chapman and Hall/CRC Press; 2010.
24. Hellum C, Johnsen LG, Storheim K, Norwegian Spine Study Group. Surgery with disc prosthesis versus rehabilitation in patients with low back pain and degenerative disc: two year follow-up of randomised study. BMJ. 2011; 342:d2786. DOI | PubMed
25. White PD, Goldsmith KA, Johnson AL, PACE trial management group. Comparison of adaptive pacing therapy, cognitive behaviour therapy, graded exercise therapy, and specialist medical care for chronic fatigue syndrome (PACE): a randomised trial. Lancet. 2011; 377:823-36. DOI | PubMed
26. Chinn S. A simple method for converting an odds ratio to effect size for use in meta-analysis. Stat Med. 2000; 19:3127-31. PubMed
27. Copay AG, Subach BR, Glassman SD, Polly DW, Schuler TC. Understanding the minimum clinically important difference: a review of concepts and methods. Spine J. 2007; 7:541-6. DOI | PubMed
28. Wells G, Beaton D, Shea B. Minimal clinically important differences: review of methods. J Rheumatol. 2001; 28:406-12. PubMed
29. Beaton DE, Boers M, Wells GA. Many faces of the minimal clinically important difference (MCID): a literature review and directions for future research. Curr Opin Rheumatol. 2002; 14:109-14. DOI | PubMed
30. Fayers PM, Cuschieri A, Fielding J, Craven J, Uscinska B, Freedman LS. Sample size calculation for clinical trials: the impact of clinician beliefs. Br J Cancer. 2000; 82:213-9. DOI | PubMed
31. Cook JA, Hislop J, Altman DG, DELTA group. Specifying the target difference in the primary outcome for a randomised controlled trial: guidance for researchers. Trials. 2015; 16:12. DOI | PubMed