Qual è l’effetto della scuola secondaria (superiore) sul successivo rendimento scolastico in medicina? Uno studio di coorte nazionale, con sede nel Regno Unito

Introduzione

A livello internazionale, c’è un’alta competizione per i posti per studiare medicina e il Regno Unito non fa eccezione. Insieme alle esigenze accademiche della medicina come materia, questo ha spinto le scuole di medicina a utilizzare il rendimento della scuola secondaria (superiore) come uno dei principali fattori determinanti per offrire un posto o meno. In generale, i voti relativamente alti ottenuti (o previsti) nella scuola superiore sono richiesti prima che un candidato sia considerato come un potenziale candidato ai corsi di medicina. Questa enfasi sui risultati scolastici precedenti (‘PEA’ – i voti ottenuti agli esami formali durante la scuola secondaria) ha in parte guidato la sovrarappresentazione di individui socioeconomicamente privilegiati in medicina. Ad esempio, in Nord America, la maggior parte degli iscritti alla scuola medica statunitense provengono da ambienti relativamente ricchi, con circa la metà dei quali proviene da famiglie che si trovano al quinto posto per reddito nazionale.1 Questo problema si riflette inevitabilmente nel background educativo degli studenti – è stato recentemente evidenziato che l’80% di coloro che studiano medicina nel Regno Unito ha fatto domanda solo dal 20% delle scuole secondarie del Paese.2 La maggior parte delle scuole secondarie che forniscono studenti di medicina sono scuole selettive, che hanno risorse migliori rispetto alle scuole non selettive. Le scuole selettive sono anche generalmente frequentate da studenti provenienti da contesti socio-economici più avvantaggiati. Pertanto, le differenze di rendimento tra scuole selettive e non selettive riflettono, in larga misura, le differenze di deprivazione materiale piuttosto che le capacità intellettuali degli studenti di quelle scuole.3

E ‘stato in parte con questo in mente che i test ‘attitudinali’, principalmente attingendo a domini cognitivi, sono stati introdotti nella selezione medica.4 Tali test attitudinali sono stati utilizzati per la prima volta per integrare la PEA nella selezione per gli studenti universitari negli Stati Uniti nel 1928, quando i test di ammissione al Medical College Admission Tests (MCAT) sono stati sviluppati per affrontare gli alti tassi di attrito nella scuola di medicina universitaria.5 6 Da allora, l’uso di tali test per la selezione si è diffuso in altre parti del mondo.7-16 È stato dimostrato che laPEA ha una validità predittiva per i risultati della scuola di medicina universitaria in Australia,17 Coreadel Sud,18 Regno Unito,19 ArabiaSaudita,20 India,21 Repubblica Ceca22e Nuova Zelanda.23 Test attitudinali come il MCAT nel US24Biomedical Admission Test(BMAT) e nel Regno Unito Clinical Aptitude Test (UKCAT) nel Regno Unito,3 12UndergraduateMedicine and Health Sciences Admission Test (UMAT) in Nuova Zelanda,25HamburgMedical School Natural Science Test (HAM-Nat) in Germania,11SaudiNational Aptitude Exam in ArabiaSaudita20e il Health Professions Admission Test-Ireland (HPAT-Ireland) in Irlanda26 hanno validità predittiva per i risultati della scuola di medicina. In effetti, alcuni critici hanno sottolineato che tali test attitudinali possono attingere a costrutti simili a quelli delle metriche tradizionali dei risultati accademici, come i voti delle scuole superiori. Se questo è il caso, è improbabile che tali misure facilitino l’ampliamento dell’accesso alla medicina o che aggiungano valore aggiunto nel processo di selezione in generale.

Alcuni test attitudinali, come il BMAT9 e il MCAT,5 comprendono sezioni che valutano la conoscenza semantica delle scienze biomediche. Le prestazioni nei test di conoscenza possono prevedere le prestazioni mediche di laurea, almeno nei primi anni, ma è improbabile che aggiungano un valore predittivo al di là delle tradizionali misure del livello accademico.27 Altri test attitudinali danno più peso alla valutazione dei concetti fluidi di capacità cognitive, come l’UKCAT.10 Nel caso dell’UKCAT è stata dimostrata una certa, anche se modesta, capacità di prevedere il rendimento scolastico, anche dopo aver controllato gli effetti dei risultati della scuola secondaria.28 Tuttavia, attualmente non è chiaro come le capacità predittive dell’UKCAT siano mediate dalla PEA e in che misura ciò possa variare sia per il tipo di risultato accademico che per il periodo di 5 anni di istruzione universitaria nel Regno Unito. È stato inoltre suggerito che i punteggi dell’UKCAT potrebbero essere in qualche modo meno sensibili al tipo di scuola secondaria frequentata, rispetto ai livelli A degli studenti in Inghilterra e Galles nell’ultimo anno di studi.29 I livelli A, solitamente in tre aree tematiche, sono generalmente intrapresi negli ultimi 2 anni di scuola secondaria e sono più o meno equivalenti ai corsi di Advance Placement frequentati da alcuni studenti in Nord America. I risultati di uno studio precedente, trasversale, hanno suggerito che un forte uso dei punteggi UKCAT durante il processo di ammissione può mitigare alcuni degli svantaggi affrontati da alcuni gruppi sottorappresentati che fanno domanda per studiare medicina.30 Tuttavia, uno studio successivo, utilizzando dati longitudinali, non ha riportato effetti coerenti nel tempo a questo proposito.31

Mentre la PEA prevede i risultati accademici nell’istruzione superiore, gli studi precedenti hanno osservato una relazione inversa con il rendimento della scuola secondaria (superiore) frequentata, vale a dire che gli studenti delle scuole più performanti tendono ad ottenere premi di laurea più scadenti, dopo aver controllato per la PEA.32 Finora, le prove relative a questo potenziale effetto nella scuola di medicina sono state incoerenti. Uno studio nazionale ha osservato un tale effetto nel primo anno di formazione universitaria in medicina per il rendimento scolastico complessivo.3 Uno studio locale separato non lo ha fatto.33 Alcuni corsi di medicina, concepiti per ampliare l’accesso alla medicina, già “scontati” per alcuni gruppi. Ad esempio, in Australia, un programma per incoraggiare il reclutamento in aree remote e poco servite rilassa i requisiti di ingresso per i candidati provenienti da ambienti rurali.34 Negli Stati Uniti, sono state attuate politiche di “azione positiva”, sebbene a volte controverse e ripetutamente contestate dal punto di vista legale, per incoraggiare coloro che provengono da gruppi etnici sottorappresentati a frequentare la scuola di medicina.35 Nel Regno Unito, un certo numero di università ha iniziato a offrire requisiti di ingresso accademici ridotti per i voti di livello A (scuola superiore) a studenti provenienti da ambienti svantaggiati che hanno frequentato scuole secondarie di basso livello.36 37 Altre scuole di medicina stanno seguendo l’esempio.38 Tuttavia, attualmente mancano prove a sostegno di tali strategie di ammissione. Nel Regno Unito, le persone che desiderano studiare in una scuola di medicina del consorzio UKCAT sostengono il test prima di presentare la domanda. La decisione di fare un’offerta, per coloro che frequentano ancora la scuola secondaria, si basa in parte sui voti previsti di livello A (o equivalente). Questa scelta è comunemente informata anche dal raggiungimento precoce degli esami per il conseguimento del Certificato Generale di Istruzione Secondaria (GCSE), solitamente sostenuti in precedenza nella carriera scolastica del candidato. Pertanto, le eventuali offerte fatte sarebbero quindi condizionate al raggiungimento dei punteggi specificati ottenuti prima al test UKCAT prima della fine della scuola secondaria e dei voti successivi al livello A al termine della scuola secondaria all’interno di ogni ciclo di selezione della scuola medica. Il presente studio aveva quindi due obiettivi: determinare la misura in cui i poteri predittivi dell’UKCAT sono mediati tramite PEA, per due domini separati ( conoscenze universitarie e risultati basati sulle competenze) durante il periodo di formazione universitaria. Poiché le capacità cognitive e il livello di istruzione sono correlati, cerchiamo di ottenere una valutazione più accurata del relativo, e unico, contributo che i punteggi UKCAT danno all’interno del processo di selezione.per valutare l’influenza del rendimento della precedente scuola secondaria frequentata sul rendimento di un laureando nella scuola medica. Questi risultati saranno utili per informare la politica di sconto dei voti per i candidati che fanno domanda da scuole con prestazioni scadenti.

Per questo studio, abbiamo avuto l’opportunità di collegare i dati nazionali sulle prestazioni delle scuole secondarie alle capacità cognitive (valutate tramite l’UKCAT), al PEA e ai risultati di 18 scuole di medicina del consorzio UKCAT. Quindi, c’è stata anche la possibilità di comprendere meglio l’interazione tra le prestazioni a livello di scuola secondaria, le capacità cognitive di un individuo, il suo livello di istruzione (PEA) e come queste si riferiscono ai successivi risultati accademici universitari. Si sperava quindi che un approccio relativamente sofisticato alla modellazione potesse aiutare a comprendere il ruolo della scuola secondaria sia nella selezione (in parte basata su PEA e sui punteggi dei test attitudinali) sia nel successivo raggiungimento dei risultati a livello universitario.

I nostri risultati informeranno la politica di selezione nella scuola di medicina e, in particolare, forniranno una guida sulla misura in cui i voti dovrebbero essere scontati per i candidati provenienti da scuole secondarie con risultati mediocri.

Metodi

Disponibilità e qualità dei dati

Le scuole mediche del consorzio UKCAT sono quelle scuole mediche che utilizzano l’UKCAT per la selezione nel Regno Unito. Per questo studio, sono disponibili i dati relativi a 18 scuole mediche del consorzio UKCAT in Inghilterra e Galles per i candidati che sono stati iscritti tra il 2007 e il 2013. Tuttavia, i dati del Dipartimento per l’istruzione sulle prestazioni delle scuole secondarie inglesi sono stati collegati solo alla coorte di iscrizione del 2008. Per questo motivo, in questo studio sono stati utilizzati solo i dati relativi a questi studenti. Va notato che un vantaggio dell’utilizzo della coorte di ingresso del 2008 è stato il fatto che mancavano relativamente pochi dati durante i primi quattro dei cinque anni di studio. Nel ciclo di test UKCAT 2007, c’erano 26 scuole di medicina del consorzio UKCAT. Pertanto, i dati rappresentavano il 69% delle 26 scuole di medicina del Consorzio UKCAT. Tutti i candidati delle scuole di medicina che hanno partecipato all’UKCAT nel 2007 e che sono stati selezionati per partecipare a una delle 18 scuole di medicina del Consorzio UKCAT nel 2008 sono stati inclusi in questo studio. Come per studi simili precedenti, sono stati esclusi i corsi di medicina non standard (ad esempio, “ampliamento della partecipazione”, ingresso di laureati e così via).28 Per ogni studente sono stati mantenuti solo i voti ottenuti nelle prime sedute degli esami di laurea. I dati relativi ai punteggi UKCAT e ai risultati della scuola secondaria erano disponibili per 2107 studenti che sono entrati a medicina nel 2008 e avevano collegato i dati relativi al rendimento della scuola secondaria che hanno frequentato.

Gli esami della scuola secondaria sostenuti dagli studenti erano standardizzati a livello nazionale e comprendevano gli esami GCSE, Advanced Subsidiary (AS) Level e Advanced Level (“A-Level”). Gli esami GCSE sono sostenuti all’età di circa 15-16 anni. Coloro che aspirano ad entrare nel mondo dell’istruzione superiore di solito affrontano almeno 10 materie a livello di GCSE. Al momento dello studio, i livelli AS sono stati talvolta sostenuti nel primo anno del sesto anno (equivalente all’anno di scuola media superiore) come preparazione o per integrare gli esami completi di livello A sostenuti l’anno successivo. Per coloro che intendono iscriversi a medicina, negli ultimi 2 anni di scuola secondaria vengono studiate tre materie di livello A, quasi sempre in scienze. I candidati frequentano spesso più di tre esami di livello A, anche se le università contano solo i tre voti più alti, che di solito devono essere conseguiti alla prima seduta.

La completezza dei dati relativi ai risultati di interesse è varia e il flusso dei dati nello studio è rappresentato nella figura 1.

Figura 1.Diagramma di flusso dei dati disponibili per i risultati di ciascuno dei cinque anni accademici di formazione della scuola medica. UKCAT, Regno Unito Clinical Aptitude Test.

Il modo in cui sono stati raccolti e gestiti i dati relativi alle prestazioni dei laureandi nel consorzio di università UKCAT è stato descritto in precedenza.28 Tuttavia, per riassumere, le principali variabili di risultato utilizzate sono state i punteggi raggiunti ai risultati di fine anno basati su conoscenze e competenze universitarie. È stato lasciato alle singole istituzioni il compito di definire come le loro valutazioni rientrassero in ciascuna categoria. Questi punteggi di valutazione sono stati forniti dalle università in forma percentuale (del punteggio massimo ottenibile) e poi convertiti in z-score standardizzati all’interno di ogni istituzione. Pertanto, gli z-scores sono stati creati sottraendo la media delle prestazioni di quell’anno e della coorte della scuola di medicina dal punteggio di un partecipante e dividendolo per il SD per i punteggi dei loro coetanei. Questo ha creato punteggi standardizzati con uno zero medio e un SD di uno per ogni gruppo di studenti della scuola di medicina. Questa standardizzazione è stata effettuata al fine di minimizzare l’impatto di qualsiasi variabilità tra le scuole di medicina, in termini di natura della valutazione.

L’UKCAT, al momento dello studio, consisteva di quattro sottotest separati, temporizzati e a scelta multipla, vale a dire ragionamento quantitativo, analisi decisionale, ragionamento verbale e ragionamento astratto. Il ragionamento quantitativo valuta la capacità di un richiedente di valutare criticamente le informazioni presentate in forma numerica; l’analisi decisionale valuta la capacità di prendere decisioni e giudizi validi utilizzando informazioni complesse; il ragionamento verbale valuta la capacità di valutare criticamente le informazioni presentate in forma scritta e il ragionamento astratto valuta l’uso di un pensiero convergente e divergente per dedurre le relazioni dalle informazioni. Ciascuno dei sottotest cognitivi ha il suo punteggio grezzo convertito in un punteggio di scala che va da 300 a 900. Pertanto, i punteggi totali della scala per tutti e quattro i test parziali vanno da 1200 a 3600. I sottotests UKCAT e i loro punteggi totali sono stati standardizzati come z-scores secondo i punteggi di tutti i candidati all’anno di svolgimento. L’affidabilità dei test secondari UKCAT è stata valutata e riportata in precedenza.39 Ai fini del presente studio, è stato utilizzato come predittore solo il punteggio totale UKCAT (cioè il totale sommato di tutti e quattro i punteggi dei subtest). Questo perché è il punteggio totale che viene generalmente utilizzato nella selezione e rappresenta una misura sintetica di tutti e quattro i punteggi dei subtest. I dettagli completi delle statistiche descrittive relative ai punteggi totali UKCAT sono forniti nella sezione 1 del documento supplementare online.

Al fine di sviluppare una misura complessiva e precisa del PEA, abbiamo implementato un nuovo approccio che ha esteso quello precedentemente utilizzato da McManus et al.3 40 Questo ha comportato la concettualizzazione dei “risultati scolastici” come fattore comune (“tratto latente”). I tratti latenti non possono essere osservati o misurati direttamente, ma solo in base ai loro effetti sul comportamento. In termini di atteggiamenti, questo potrebbe essere l’osservazione di alcune risposte ai questionari, o nel caso di abilità, le prestazioni sugli esami e altre valutazioni. Così, in questo caso, abbiamo trattato tutti i gradi d’esame comunemente presi a livello nazionale (cioè, GCSE, AS e A-levels) come ‘indicatori’ (cioè, marcatori osservabili) di un’abilità sottostante (PEA). Questo approccio ci ha permesso di utilizzare le informazioni contenute in tutti gli esami comunemente sostenuti durante la scuola secondaria in Inghilterra per stimare il rendimento scolastico complessivo di un partecipante. Dato che il metodo specifico che abbiamo utilizzato ha permesso di individuare facilmente gli “indicatori” mancanti, era irrilevante se solo una minoranza dei partecipanti aveva sostenuto un esame specifico (ad esempio, il GCSE di storia) e tali voti potevano ancora essere inclusi nella stima della PEA. Il processo ha portato ad una stima del punteggio del fattore per ogni partecipante che è stato fornito come uno z-score standardizzato, dove la media era pari a zero (PEA media per tutti i candidati, con un SD di 1). Quindi questa misura dei risultati scolastici precedenti ha fornito più informazioni su un individuo che non semplicemente il suo “migliore dei tre” voti di livello A. Ulteriori dettagli sulla stima del PEA dai GCSE segnalati, AS e gradi di livello A sono forniti nella sezione 2 del documento supplementare online.

Questa stima dei PEA è stata utilizzata nei modelli che si rivolgono al primo obiettivo di studio (valutazione degli effetti mediatori dei precedenti risultati scolastici sulla capacità dell’UKCAT di prevedere le prestazioni dei laureandi). Tuttavia, la politica di “sconto” si concentra sul “migliore dei tre” gradi di livello A richiesti per l’ingresso, di solito dopo che è stata fatta un’offerta provvisoria a un candidato. Pertanto, per i modelli che si rivolgono al secondo obiettivo dello studio (ruolo del rendimento a livello di scuola secondaria sui risultati universitari), abbiamo raggruppato i partecipanti in categorie in base ai voti di livello A. Così, i partecipanti sono stati raggruppati in tre fasce in base ai tre più alti gradi di livello A raggiunti. Solo 43 (2%) partecipanti sono stati registrati come aventi i voti relativamente bassi del livello A ‘BBB’ e ‘BBC’. Pertanto i partecipanti sono stati raggruppati in quelli con i gradi “AAA”, “AAB” e “ABB o inferiore”.

I dati sulle prestazioni della scuola secondaria inglese per il 2008 erano disponibili presso il Dipartimento per l’Istruzione. Pertanto, per questo studio, abbiamo definito il rendimento della scuola secondaria come la media dei voti (convertiti in un punteggio numerico) ottenuti per ogni studente in regola in quell’istituto scolastico per quell’anno scolastico. Ulteriori dettagli sono disponibili sul sito web del Department for Education for England. In questo senso, il “rendimento” è (in senso stretto) definito come la media dei risultati scolastici, in termini di voti d’esame formali ottenuti, per ogni studente dell’istituto scolastico in questione.

Figura 1.Figura 1. Diagramma di flusso dei dati disponibili per i risultati di ciascuno dei cinque anni accademici di formazione della scuola medica. UKCAT, Regno Unito Clinical Aptitude Test.

Dichiarazione di condivisione dei dati

Questo studio ha comportato l’analisi di dati secondari anonimi dei partecipanti alla scuola di medicina. L’accesso ai dati può essere ottenuto dal Medical Education Database del Regno Unito(http://www.ukmed.ac.uk) in seguito all’approvazione di una domanda.

Coinvolgimento del paziente e del pubblico

I pazienti, gli assistenti e il pubblico non sono stati coinvolti nella progettazione, nella conduzione e nell’analisi di questo studio.

Approcci di modellazione

Modellare la relazione tra i punteggi UKCAT, PEA e risultati universitari

Il nostro primo obiettivo era quello di cercare di capire fino a che punto la capacità dei punteggi dell’UKCAT di prevedere i successivi risultati della scuola di medicina universitaria fosse spiegata dalla PEA. Per rispondere a questa domanda è stato sviluppato un modello di mediazione. Gli esiti dell’interesse (risultati degli esami di laurea e dei risultati degli esami basati sulle competenze) erano locali per ogni scuola di medicina partecipante. La variazione dei risultati della valutazione tra le varie istituzioni è stata inizialmente esplorata utilizzando un approccio di modellazione multilivello, ma non sono stati osservati effetti di clustering statisticamente significativi per università. Per questo motivo, per l’analisi è stato utilizzato un approccio più semplice che utilizza un modello di mediazione a un solo livello(figura 2). Ulteriori dettagli sul modello di mediazione a un livello, sul modello di mediazione multilivello e sulle motivazioni della scelta del modello di mediazione a un livello sono descritti nella sezione 3 del documento integrativo online.

Figura 2.Figura 2. Illustrazione del modello concettuale per l’effetto di mediazione a livello singolo del precedente livello di istruzione sull’associazione tra i punteggi totali UKCAT e le conoscenze e le competenze della scuola di medicina universitaria. UKCAT, Regno Unito Clinical Aptitude Test (test attitudinale clinico).

Figura 2.Figura 2. Illustrazione del modello concettuale per l’effetto di mediazione a livello singolo del livello di istruzione precedente sull’associazione tra il totale dei punteggi UKCAT e gli esami basati sulle conoscenze e le competenze della scuola medica universitaria. UKCAT, Regno Unito Clinical Aptitude Test.

Modellare l’influenza del rendimento della scuola secondaria sui risultati universitari

Il secondo obiettivo di questo studio è stato quello di valutare l’influenza del rendimento della precedente scuola secondaria di un partecipante sui successivi risultati universitari. Ciò ha comportato la stima di questo effetto a livello di scuola secondaria, mentre il controllo per i voti di livello A di un partecipante. È stato necessario un modello multilivello per tenere conto della variazione dei risultati tra le università.41 Ulteriori dettagli sul modello multilivello si trovano nella sezione 4 del documento supplementare online. Dal modello si possono ricavare previsioni sulle prestazioni dei partecipanti alla scuola di medicina, per i vari gradi di livello A e le prestazioni della scuola secondaria.

Le analisi statistiche sono state condotte utilizzando i software Mplus V.7.4, R e SAS. Per produrre le cifre èstato utilizzatoLucidchart45 e il software R è stato utilizzato per generare i grafici delle previsioni del modello.

Risultati

Statistiche descrittive

Il numero di partecipanti con risultati disponibili in ciascuna categoria (tipo e anno) è illustrato nella tabella 1. Non si trattava di uno studio di coorte nel senso convenzionale (cioè, i partecipanti potevano uscire ed entrare nello studio in qualsiasi anno sulla base di un’università che decideva quando (non) riportare le misure dei risultati accademici). Pertanto, la tabella 1 illustra anche la mancanza di risultati solo per i partecipanti che avevano segnalato i risultati basati su conoscenze e competenzenel primo anno di scuola di medicina universitaria. Questo per fornire un quadro dell’attrito nel senso convenzionale (cioè, quanti partecipanti alla linea di base sono rimasti ai punti temporali successivi).

Il capitolo 5 del documento integrativo online fornisce una sintesi dettagliata dei dati mancanti per i risultati. Dei 2107 iscritti alla scuola medica universitaria, 1855 avevano a disposizione le loro prestazioni a livello di scuola secondaria. La tabella 2 illustra la distribuzione dei risultati della scuola secondaria e i punteggi UKCAT ottenuti dai partecipanti.

Latabella 3 mostra la distribuzione dei voti di livello A per i partecipanti alla scuola di medicina. Si noti che la maggior parte dei partecipanti aveva raggiunto i gradi AAA o AAB a livello A.

La previsione dei risultati della scuola di medicina dal rendimento dell’UKCAT

LaFigura 3 riassume i risultati dei modelli che indagano i potenziali effetti mediatori della PEA sulla relazione tra i punteggi UKCAT e i risultati degli esami universitari. La proporzione della potenza predittiva dei punteggi UKCAT spiegata da PEA, mostrata sia per le conoscenze universitarie che per i risultati degli esami di medicina basati sulle competenze, è calcolata come quoziente dell’effetto indiretto della performance UKCAT attraverso PEA diviso per l’effetto totale della performance UKCAT.

Figura 3.Figura 3. Percentuale del potere predittivo dei punteggi dell’UKCAT per i risultati degli esami di laurea e degli esami basati sulle competenze spiegati dalla PEA nella scuola di medicina. La proporzione è calcolata come quoziente dell’effetto indiretto della performance UKCAT attraverso PEA diviso per l’effetto totale della performance UKCAT. La linea tratteggiata nera indica la soglia al 43% selezionata in modo da contrastare la tendenza tra gli anni “preclinici” (primi due anni) e gli anni “clinici” (da tre a cinque) della formazione universitaria della scuola medica. PEA, conseguimento di un titolo di studio precedente; UKCAT, UKCAT, United Kingdom Clinical Aptitude Test.

Nel complesso, PEA spiega circa oltre il 43% (linea nera tratteggiata nella figura 3) del potere predittivo statisticamente significativo dell’UKCAT sia per le conoscenze universitarie che per gli esami basati sulle competenze solo negli anni preclinici (uno e due) della formazione della scuola medica. Per gli anni clinici (da tre a cinque), PEA spiega circa meno del 43% del potere predittivo dell’UKCAT sia per le conoscenze universitarie che per i risultati degli esami basati sulle competenze. Questa percentuale rimane statisticamente significativa, ma diminuisce un po’ ad ogni anno successivo di formazione.

Figura 3.Figura 3. Percentuale dei punteggi del potere predittivo dell’UKCAT per i risultati degli esami universitari e degli esami basati sulle competenze spiegati dalla PEA nella scuola di medicina. La proporzione è calcolata come quoziente dell’effetto indiretto della performance UKCAT attraverso PEA diviso per l’effetto totale della performance UKCAT. La linea tratteggiata nera indica la soglia al 43% selezionata in modo da contrastare la tendenza tra gli anni “preclinici” (primi due anni) e gli anni “clinici” (da tre a cinque) della formazione universitaria della scuola medica. PEA, conseguimento di un titolo di studio precedente; UKCAT, UKCAT, United Kingdom Clinical Aptitude Test.

L’effetto del rendimento a livello di scuola secondaria sul successivo rendimento della scuola medica

Sia il rendimento a livello di scuola secondaria che la PEA sono stati statisticamente correlati in modo significativo ai risultati universitari. Non è stata osservata alcuna interazione statisticamente significativa tra le due variabili. Nel complesso, rispetto ai partecipanti delle scuole secondarie con un alto rendimento medio degli studenti, quelli delle scuole con un rendimento medio inferiore tendevano ad avere migliori punteggi successivi sia negli esami di laurea che in quelli basati sulle competenze. I livelli più bassi dei risultati delle scuole secondarie di secondo grado corrispondevano a risultati più elevati e standardizzati della scuola medica universitaria, come si può osservare nelle figure 4 e 5.

Figura 4.Effetto del rendimento medio a livello scolastico dei voti riportati sugli esami di medicina universitaria basati sulle conoscenze (come z-score standardizzato) per tutte le scuole secondarie in Inghilterra nel 2008. Il secondo decile (rendimento scolastico medio di 200,2) e l’ottavo decile (rendimento scolastico medio di 251,9) sono indicati rispettivamente dalla linea verticale viola e dalla linea verticale marrone. Le linee orizzontali tratteggiate nere sono punti arbitrari scelti per indicare il livello equivalente di rendimento tra i partecipanti delle scuole secondarie al decile inferiore del rendimento e quelli al decile superiore del rendimento.

Figura 5.Figura 5. Effetto del rendimento medio a livello scolastico dei voti riportati sugli esami basati sulle competenze della scuola medica universitaria (come z-score standardizzato) per tutte le scuole secondarie in Inghilterra nel 2008. Il secondo decile (rendimento scolastico medio di 200,2) e l’ottavo decile (rendimento scolastico medio di 251,9) sono indicati rispettivamente dalla linea verticale viola e dalla linea verticale marrone. Le linee orizzontali tratteggiate nere sono punti arbitrari scelti per indicare il livello equivalente di rendimento tra i partecipanti delle scuole secondarie al decile inferiore del rendimento e quelli al decile superiore del rendimento.

Il nostro intento era quello di rendere i nostri risultati rilevanti per i selezionatori medici del Regno Unito. In particolare, abbiamo voluto stimare il livello di “sconto” che dovrebbe essere offerto ai candidati provenienti da contesti educativi svantaggiati. Così i risultati dei nostri modelli che si rivolgono al secondo obiettivo di studio sono rappresentati nelle figure 4 e 5. Nelle figure mostriamo i valori effettivi e previsti (montati) dei modelli. Il rendimento medio della scuola secondaria (il rendimento medio degli studenti iscritti per tutte le scuole secondarie in Inghilterra) è mostrato sull’asse orizzontale e il rendimento previsto della scuola medica (come punteggio z standardizzato) sull’asse verticale.

La figura 4 illustra i valori in relazione agli esami basati sulla conoscenza, secondo il rendimento della scuola secondaria. Allo stesso modo, la figura 5 mostra i valori relativi ai risultati basati sulle competenze di livello universitario. Sovrapposte a questi valori tracciati sono le stime (con associate bande di confidenza del 95%) per i partecipanti a seconda dei loro voti di livello A all’ammissione all’università. Questi rappresentano i partecipanti all’interno delle tre fasce di livello A (‘AAA’, ‘AAB’ e ‘ABB o inferiore’). A scopo dimostrativo, le linee orizzontali tratteggiate nere indicano il livello equivalente di performance tra i partecipanti delle scuole secondarie al decile inferiore di performance e quelli al decile superiore.

In questi grafici si osserva una serie di tendenze degne di nota. In primo luogo, gli studenti con voti di livello A superiore superano quelli con risultati scolastici inferiori. Tuttavia, questo divario si restringe quando si prevedono le competenze universitarie, piuttosto che i risultati basati sulla conoscenza nella scuola medica. La differenza si riduce anche in grandezza man mano che l’istruzione universitaria progredisce negli anni. In effetti, per i risultati basati sulle competenze universitarie e per molti degli anni successivi, le IC per le stime dei gruppi si sovrappongono generalmente. Ciò indica che non ci sono differenze statisticamente significative tra i gruppi con “AAB” e “ABB o gradi inferiori” all’IC al 95%.

La seconda caratteristica che colpisce di più, e il punto focale di questo studio, è che gli studenti delle scuole secondarie meno performanti generalmente superano quelli delle istituzioni educative più performanti per qualsiasi fascia di livello A. Cioè, controllando gli effetti del conseguimento del livello A, in media, quelli provenienti dalle scuole più scadenti tendono ad ottenere risultati migliori all’esame di laurea rispetto a quelli delle scuole con livelli di istruzione più alti. Le linee verticali viola e le linee tratteggiate marroni evidenziano questa caratteristica. Esse mostrano che coloro che hanno voti di livello A inferiore (ad esempio, AAB o ABB) delle scuole secondarie con i risultati più bassi tendono ad avere risultati equivalenti a quelli degli studenti delle scuole secondarie con i voti più alti (cioè, AAA). È inoltre degno di nota il fatto che questo “gradiente di scuola secondaria” è generalmente più ripido per i risultati basati sulla conoscenza nei primi anni di studio universitari. Così, gli effetti dell’ambiente della scuola secondaria, come per i risultati scolastici individuali precedenti, tendono ad essere meno marcati per l’apprendimento procedurale ( basato sulle competenze universitarie) e con l’avanzare del tempo nello studio universitario.

Figura 4.Figura 4. Effetto del rendimento medio a livello scolastico dei voti riportati sugli esami basati sulle conoscenze della scuola medica universitaria (come z-score standardizzato) per tutte le scuole secondarie in Inghilterra nel 2008. Il secondo decile (rendimento scolastico medio di 200,2) e l’ottavo decile (rendimento scolastico medio di 251,9) sono indicati rispettivamente dalla linea verticale viola e dalla linea verticale marrone. Le linee orizzontali tratteggiate nere sono punti arbitrari scelti per indicare il livello equivalente di rendimento tra i partecipanti delle scuole secondarie al decile inferiore del rendimento e quelli al decile superiore del rendimento.

Figura 5.Figura 5. Effetto del rendimento medio a livello scolastico dei voti riportati sugli esami basati sulle competenze della scuola medica universitaria (come z-score standardizzato) per tutte le scuole secondarie in Inghilterra nel 2008. Il secondo decile (rendimento scolastico medio di 200,2) e l’ottavo decile (rendimento scolastico medio di 251,9) sono indicati rispettivamente dalla linea verticale viola e dalla linea verticale marrone. Le linee orizzontali tratteggiate nere sono punti arbitrari scelti per indicare il livello equivalente di rendimento tra i partecipanti delle scuole secondarie al decile inferiore del rendimento e quelli al decile superiore del rendimento.

Discussione

I risultati di studi precedenti hanno suggerito un modesto valore aggiunto dei punteggi UKCAT per prevedere le prestazioni dei laureandi, oltre a quelle fornite dalle misure convenzionali dei risultati accademici.3 28 Inoltre, la capacità dei punteggi UKCAT di prevedere alcuni aspetti del rendimento universitario è risultata essere ampiamente indipendente dalla PEA. Ciò è stato meno vero sia per le conoscenze universitarie che per gli esami basati sulle competenze, sostenuti all’inizio degli anni preclinici della scuola di medicina, dove una parte significativa della capacità predittiva dell’UKCAT è mediata dalle prestazioni scolastiche precedenti.

I nostri risultati sul ruolo della qualità della scuola secondaria nel determinare il successivo rendimento scolastico sono in linea con i risultati di un precedente studio nazionale utilizzando i dati della stessa coorte, nonché un’analisi più generale dei dati dell’istruzione superiore in Inghilterra.3 32 Tuttavia, siamo stati in grado di dimostrare la persistenza (anche se attenuazione) di questi effetti nei 5 anni di scuola medica. È anche in linea con i risultati pubblicati di recente che hanno mostrato che gli studenti di medicina delle scuole secondarie finanziate dallo Stato (principalmente non selettive) tendevano a superare accademicamente quelli delle scuole private, una volta all’università.46 I nostri risultati sono anche coerenti con quelli di uno studio australiano. Ciò ha riportato che gli studenti provenienti da ambienti rurali tendevano ad avere risultati scolastici inferiori, sia all’inizio che nei primi anni di studio preclinici. Tuttavia, non sono state osservate differenze significative tra i gruppi nelle prestazioni osservate in questi ultimi anni clinici di formazione universitaria. Tuttavia, è necessario usare una certa cautela nell’interpretare questi risultati, poiché lo studio è stato condotto in un unico sito con un numero relativamente piccolo (n=856) di studenti partecipanti.34 I risultati attuali sono in contrasto con quelli di uno studio locale, che si è concentrato sul quarto anno di scuola medica, quando gli effetti della scuola secondaria sono stati probabilmente meno marcati.33 Il numero relativamente basso di studenti (n=574) coinvolti in quest’ultimo studio può aver portato a una carenza di potere di studio e quindi a un’incapacità di dimostrare questi effetti. Inoltre, utilizzando un approccio più sofisticato alla modellazione statistica, siamo stati in grado di delineare gli effetti diretti e indiretti (mediazionali) della capacità cognitiva (valutata tramite l’UKCAT) nel determinare il rendimento scolastico universitario in medicina. Ciò ha evidenziato il cambiamento dei ruoli relativi che i risultati accademici convenzionali rispetto alle abilità cognitive svolgono nel corso della formazione universitaria. Siamo anche stati in grado di separare, almeno in modo grossolano, i risultati universitari in questo studio relativi alla ‘conoscenza’ e alle ‘abilità’ (vedi anche le limitazioni, di seguito). Come previsto, i risultati accademici tradizionali (sotto forma di PEA) sono stati più predittivi e hanno mediato una maggiore proporzione degli effetti UKCAT per i risultati degli esami precedenti. Abbiamo anche osservato un restringimento degli effetti dei risultati dell’istruzione secondaria man mano che la scuola medica progrediva. Questo potrebbe essere previsto poiché il tempo trascorso dall’uscita dalla scuola secondaria diventa meno rilevante per il rendimento scolastico attuale. Tuttavia, questa riduzione del divario può essere dovuta a un’influenza positiva dell’ambiente educativo universitario, che può rendere meno influenti le precedenti disparità nei risultati scolastici tra gli studenti. In alternativa, la diminuzione della disparità può essere, almeno in parte, dovuta al fatto che gli studenti diventano più omogenei nel tempo. Alcuni studenti, meno performanti o motivati, abbandoneranno i corsi negli anni precedenti. Tuttavia, nel Regno Unito, come altrove, tali tassi di abbandono della scuola di medicina (per tutti i motivi) sono molto bassi, e vanno da circa lo 0,25% per il primo anno allo 0,1% per l’ultimo anno, per i corsi di ingresso standard.47 Pertanto, questo effetto sarà stato solo lieve. Inoltre, con il progredire della scuola di medicina, si pone sempre più l’accento sull’apprendimento procedurale ( basato sulle competenze dei laureandi). Pertanto, è probabile che le capacità accademiche necessarie per ottenere un risultato elevato agli esami scolastici scritti diventino meno rilevanti ai fini del rendimento.

I nostri risultati si basano anche su ricerche precedenti3 e siamo stati in grado di dimostrare il valore, in una certa misura, della “contestualizzazione” dei risultati della scuola secondaria negli anni della laurea in medicina. Ossia, in una certa misura, i voti ottenuti da uno studente della scuola secondaria devono essere inseriti nel contesto dell’istituto scolastico in cui sono stati ottenuti. Una riduzione da uno a due voti di livello A può non sembrare un grosso aggiustamento. Tuttavia, ciò deve essere inteso alla luce della natura altamente omogenea sia dei candidati alla scuola medica che dei candidati alla laurea in medicina, dove percentuali elevate ottengono il massimo dei voti ottenibili. Quindi, anche una sola differenza di grado potrebbe rappresentare un SD rispetto alla media in un pool di studenti di medicina che hanno conseguito il massimo dei voti. A livello internazionale, i selezionatori devono comprendere i loro effetti equivalenti, non solo per il tipo di scuola frequentata, ma una serie di fattori contestuali che possono essere pertinenti alla loro cultura. Allo stesso modo, devono tradurre tali effetti in offerte scontate, se del caso, nella metrica dei loro sistemi educativi.

Il principale punto di forza di questo studio è il fatto che vi è stato un numero relativamente elevato di studenti provenienti da una serie di scuole di medicina del Regno Unito coinvolte. Ciò ha fornito un potere sufficiente per consentire di ottenere effetti relativamente sottili e suggerisce che i risultati sono generalizzabili in Inghilterra e nel Galles. Inoltre, gli esami di scuola secondaria sostenuti da questa coorte sono stati standardizzati a livello nazionale, con solo una minoranza dei crediti assegnati per il lavoro in corso. Pertanto, qualsiasi variazione locale o regionale degli standard può essere considerata banale. Ciononostante, nell’interpretare i risultati si deve tener conto di alcune limitazioni. Per quanto riguarda le misure di risultato, la categorizzazione degli esami di laurea in competenze e conoscenze non è stata resa operativa e quindi ci si affida alle scuole di medicina partecipanti per la categorizzazione delle valutazioni. Pertanto, la loro definizione può variare da una scuola di medicina all’altra. Mentre alcune di queste variazioni sono state gestite attraverso l’uso di modelli a più livelli, una definizione più solida delle valutazionibasate sulle competenze dei laureandi può essere stata utile per prevedere le prestazioni clinicamente orientate, che possono essere state una proxy più fedele per la successiva pratica medica. A questo proposito, è stata proposta una metodologia per raggiungere questo obiettivo attraverso la “nazionalizzazione” delle misure “locali” delle prestazioni della scuola medica universitaria per un confronto equo dei medici laureati.48 Si riconosce inoltre che, in generale, gli esami di laurea basati sulle competenze sono meno affidabili dei test basati sulla conoscenza.49 È quindi possibile che questa probabile disparità di affidabilità possa spiegare la differenza nell’ampiezza delle relazioni osservate tra i predittori e i due risultati della scuola medica universitaria. Pertanto, una minore affidabilità nella misurazione di un risultato avrebbe un effetto attenuante sulla forza osservata della relazione.19 Inoltre, sono stati utilizzati i punteggi dei più recenti punteggi UKCAT. I punteggi della prima seduta del test possono essere stati una migliore metrica delle capacità cognitive sottostanti (essendo meno soggetti ad effetti di pratica). Tuttavia, alcune sedute iniziali possono essere state usate come “prove di pratica” dai candidati alla scuola di medicina. Inoltre, i più recenti risultati dei test UKCAT sono quelli utilizzati dai selezionatori, quindi quelli più rilevanti per la politica di selezione.

Il numero di università partecipanti allo studio variava di anno in anno con livelli più alti di dati mancanti per le valutazioni delle competenze universitarie (rispetto alle conoscenze) e per gli ultimi anni di studio. Questo è stato il risultato della decisione delle scuole di medicina di non restituire i dati dell’esame di risultato per quell’anno, piuttosto che degli studenti che hanno abbandonato lo studio o che hanno abbandonato la scuola di medicina. Pertanto, è probabile che tali dati mancanti siano “completamente mancanti a caso” (MCAR – che è mancante per puro caso) o potenzialmente “mancanti a caso” (MAR – cioè i valori mancanti sono correlati a quelli che possono essere osservati). Questo è stato affrontato modellando i dati utilizzando un approccio di probabilità e conducendo un’analisi di sensibilità per determinare l’effetto della mancanza attraverso l’Imputazione Multipla. Sia l’approccio di modellizzazione della probabilità che l’Imputazione multipla sono metodi di gestione dei dati validi, supponendo che i dati mancanti siano MCAR o MAR.50 51 I risultati dei set di dati imputati rispetto a quelli non imputati possono essere confrontati come forma di analisi di sensibilità (vedere la sezione 6 del documento supplementare online). Questi evidenziano che i risultati non variano in modo significativo tra i set di dati imputati e quelli non imputati. Pertanto, i dati mancanti non hanno avuto un impatto negativo sui risultati e sulle conclusioni dello studio.

La qualità delle scuole secondarie precedentemente frequentate da studenti universitari di medicina varia notevolmente nel Regno Unito. Tuttavia, è noto che l’80% degli studenti di medicina del Regno Unito proviene dal 20% delle scuole secondarie2 e tende a provenire da ambienti economicamente avvantaggiati.52 Pertanto, gli studenti provenienti da scuole selettive e accademiche di alto livello sono grossolanamente sovrarappresentati nella scuola di medicina. In effetti, un processo di selezione sostanzialmente basato sulle prestazioni previste o effettive di livello A avvantaggerà notevolmente i candidati provenienti da tali istituti di istruzione. Paradossalmente tali studenti, una volta ammessi, possono avere prestazioni relativamente inferiori a quelle della scuola di medicina, rispetto ai loro coetanei di scuole meno performanti, che tendono ad essere finanziate dallo Stato e non selettive. Già alcune scuole di medicina del Regno Unito offrono offerte “scontate” di livello A ai candidati provenienti da scuole che hanno studenti con livelli accademici inferiori.53-55 I nostri risultati suggeriscono che tali scuole di medicina potrebbero aver implementato (anche se in modo serendipico) tali politiche in linea con i nostri risultati attuali. Vale a dire che i candidati provenienti dalle scuole con i risultati più scarsi hanno ottenuto risultati di livello A che “valgono” da uno a due gradi in più rispetto a quelli delle scuole con i risultati migliori, in termini di capacità di prevedere i risultati universitari. Come si può vedere dalle figure 4 e 5, la definizione di scuola secondaria “bassa” e “alta” è in qualche modo soggettiva. Inoltre, lo “sconto” suggerito varierebbe a seconda del risultato dell’interesse. Ci sono anche sfide pratiche per l’attuazione di tali politiche. Non tutti i candidati alla scuola di medicina avranno frequentato scuole che possono fornire dati comparabili sul loro rendimento istituzionale. Al momento, anche un confronto tra le tre nazioni che compongono il Regno Unito sarebbe molto difficile. Un modo semplice per “equiparare” i vari paesi potrebbe essere quello di segnalare la posizione di un candidato all’interno della sua scuola. Tuttavia, sarebbe necessario effettuare un’ulteriore valutazione per stabilire se un approccio così rozzo sia un modo efficace per contestualizzare i risultati scolastici. C’è anche la possibilità di “giocare” con famiglie economicamente avvantaggiate che collocano strategicamente uno studente in un istituto scolastico meno performante per l’ultimo anno di scuola.

Qualsiasi mossa per ampliare l’accesso alla medicina può rivelarsi controversa, poiché avvantaggiare alcuni candidati significa necessariamente svantaggiare altri. Pertanto, tali politiche devono essere basate su prove difendibili, come quelle che crediamo siano offerte da questo studio. Inoltre, dato il bassissimo numero assoluto di candidati e di iscritti alle scuole di medicina provenienti da contesti socioeconomici svantaggiati, solo un radicale ripensamento dell'”ampliamento dell’accesso” può portare a cambiamenti sostanziali nella demografia della forza lavoro medica.

Per concludere, abbiamo trovato che la capacità predittiva dell’UKCAT può essere spiegata in una certa misura dalla PEA, anche se questo è più pronunciato nei primi anni preclinici della scuola universitaria. Esistono effetti significativi del rendimento a livello di scuola secondaria che suggeriscono la questione se le offerte di un posto per studiare debbano essere scontate per gli studenti provenienti da scuole con un rendimento più basso. Ciò evidenzia l’urgente necessità di “contestualizzare” il rendimento della scuola secondaria nei candidati piuttosto che nei selezionatori che prendono i voti al valore nominale.

Materiale supplementare

References

1. Grbic D, Jones DJ, Case ST. The role of socioeconomic status in medical school admissions: validation of a socioeconomic indicator for use in medical school admissions. Acad Med. 2015; 90:953-60. DOI | PubMed
2. Medical School Council. Selecting for excellence final report. 2014.
3. McManus IC, Dewberry C, Nicholson S. The UKCAT-12 study: educational attainment, aptitude test performance, demographic and socio-economic contextual factors as predictors of first year outcome in a cross-sectional collaborative study of 12 UK medical schools. BMC Med. 2013; 11:244. DOI | PubMed
4. United Kingdom Clinical Aptitude Test (UKCAT) Consortium. UKCAT annual report. 2007.
5. Association of American Medical Colleges (AAMC). About the medical college aptitude test. 2017.
6. McGaghie WC. Assessing readiness for medical education: evolution of the medical college admission test. JAMA. 2002; 288:1085-90. PubMed
7. Australian Council for Educational Research (ACER). Health professions admission test-Ireland. 2017.
8. O’Flynn S, Fitzgerald T, Mills A. Modelling the impact of old and new mechanisms of entry and selection to medical school in Ireland: who gets in?. Ir J Med Sci. 2013; 182:421-7. DOI | PubMed
9. Cambridge Assessment Admissions Testing. The biomedical admissions test. 2017.
10. United Kingdom Clinical Aptitude Test (UKCAT) Consortium. UKCAT. 2017.
11. Hissbach JC, Klusmann D, Hampe W. Dimensionality and predictive validity of the HAM-Nat, a test of natural sciences for medical school admission. BMC Med Educ. 2011; 11:83. DOI | PubMed
12. Emery JL, Bell JF. The predictive validity of the biomedical admissions test for pre-clinical examination performance. Med Educ. 2009; 43:557-64. DOI | PubMed
13. Australian Council for Educational Research (ACER). Undergraduate medicine and health sciences admissions test. 2017.
14. Hissbach J, Klusmann D, Hampe W. Reliability of a science admission test (HAM-Nat) at Hamburg medical school. GMS Z Med Ausbild. 2011; 28DOI
15. Farrokhi-Khajeh-Pasha Y, Nedjat S, Mohammadi A. The validity of Iran’s national university entrance examination (Konkoor) for predicting medical students’ academic performance. BMC Med Educ. 2012; 12:60. DOI | PubMed
16. Khan JS, Biggs JS, Bano T. Medical colleges admissions test in Punjab, Pakistan. Journal of Ayub Medical College Abbottabad. 2013; 25:64-7.
17. Mercer A, Puddey IB. Admission selection criteria as predictors of outcomes in an undergraduate medical course: a prospective study. Med Teach. 2011; 33:997-1004. DOI | PubMed
18. Kim T, Chang JY, Myung SJ. Predictors of undergraduate and postgraduate clinical performance: a longitudinal cohort study. J Surg Educ. 2016; 73:715-20. DOI | PubMed
19. McManus IC, Woolf K, Dacre J. The academic backbone: longitudinal continuities in educational achievement from secondary school and medical school to MRCP(UK) and the specialist register in UK medical students and doctors. BMC Med. 2013; 11:242. DOI | PubMed
20. Al Alwan I, Al Kushi M, Tamim H. Health sciences and medical college preadmission criteria and prediction of in-course academic performance: a longitudinal cohort study. Adv Health Sci Educ Theory Pract. 2013; 18:427-38. DOI | PubMed
21. Gupta N, Nagpal G, Dhaliwal U. Student performance during the medical course: role of pre-admission eligibility and selection criteria. Natl Med J India. 2013; 26:223-6. PubMed
22. Štuka Č, Martinková P, Zvára K. The prediction and probability for successful completion in medical study based on tests and pre-admission grades. New Educational Review. 2012; 28:138-52.
23. Shulruf B, Poole P, Wang GY. How well do selection tools predict performance later in a medical programme?. Adv Health Sci Educ Theory Pract. 2012; 17:615-26. DOI | PubMed
24. Julian ER. Validity of the medical college admission test for predicting medical school performance. Acad Med. 2005; 80:910-7. DOI | PubMed
25. Poole P, Shulruf B, Rudland J. Comparison of UMAT scores and GPA in prediction of performance in medical school: a national study. Med Educ. 2012; 46:163-71. DOI | PubMed
26. Kelly ME, Regan D, Dunne F. To what extent does the health professions admission test-Ireland predict performance in early undergraduate tests of communication and clinical skills? An observational cohort study. BMC Med Educ. 2013; 13:68. DOI | PubMed
27. McManus IC, Ferguson E, Wakeford R. Predictive validity of the biomedical admissions test: an evaluation and case study. Med Teach. 2011; 33:53-7. DOI | PubMed
28. Tiffin PA, Mwandigha LM, Paton LW. Predictive validity of the UKCAT for medical school undergraduate performance: a national prospective cohort study. BMC Med. 2016; 14:140. DOI | PubMed
29. Tiffin PA, McLachlan JC, Webster L. Comparison of the sensitivity of the UKCAT and A Levels to sociodemographic characteristics: a national study. BMC Med Educ. 2014; 14:7. DOI | PubMed
30. Tiffin PA, Dowell JS, McLachlan JC. Widening access to UK medical education for under-represented socioeconomic groups: modelling the impact of the UKCAT in the 2009 cohort. BMJ. 2012; 344DOI | PubMed
31. Mathers J, Sitch A, Parry J. Population-based longitudinal analyses of offer likelihood in UK medical schools: 1996-2012. Med Educ. 2016; 50:612-23. DOI | PubMed
32. Higher Education Funding Council for England (HEFCE). Differences in degree outcomes: key findings. 2014.
33. Thiele T, Singleton A, Pope D. Predicting students’ academic performance based on school and socio-demographic characteristics. Studies in Higher Education. 2016; 41:1424-46. DOI
34. Ray RA, Woolley T, Sen Gupta T. James Cook University’s rurally orientated medical school selection process: quality graduates and positive workforce outcomes. Rural Remote Health. 2015; 15:3424. PubMed
35. Blake V. Affirmative action and medical school admissions. Virtual Mentor. 2012; 14:1003. DOI | PubMed
36. Garlick PB, Brown G. Widening participation in medicine. BMJ. 2008; 336:1111-3. DOI | PubMed
37. Curtis S, Blundell C, Platz C. Successfully widening access to medicine. Part 2: curriculum design and student progression. J R Soc Med. 2014; 107:393-7. DOI | PubMed
38. University of Birmingham. Medicine and surgery MBChB: widening participation. 2017.
39. Tiffin PA. Understanding the dimensionality and reliability of the cognitive scales of the UK clinical aptitude test (UKCAT): summary version of the report. 2013.
40. McManus IC, Dewberry C, Nicholson S. The UKCAT-12 technical report. 2012.
41. Verbeke G, Molenberghs G. Linear mixed models for longitudinal data: Springer Science & Business Media. Springer: New York; 2009.
42. Sas Institute. SAS software. SAS Institute Cary: North Carolina; 2002-2012.
43. Muthén LK, Muthén BO. Mplus User’s Guide. Muthén & Muthén: Los Angeles, CA; 1998-2015.
44. R Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing: Vienna, Austria; 2017.
45. Lucid Software Inc. Lucidchart [internet]. 2017.
46. Kumwenda B, Cleland JA, Walker K. The relationship between school type and academic performance at medical school: a national, multi-cohort study. BMJ Open. 2017; 7DOI
47. General Medical Council (GMC). Summary of 2014 medical schools annual return. 2015.
48. Tiffin PA, Paton LW. Exploring the validity of the 2013 UKCAT SJT- prediction of undergraduate performance in the first year of medical school: summary version of report. 2017.
49. Wass V, McGibbon D, Van der Vleuten C. Composite undergraduate clinical examinations: how should the components be combined to maximize reliability?. Med Educ. 2001; 35:326-30. DOI | PubMed
50. Schafer JL, Graham JW. Missing data: our view of the state of the art. Psychol Methods. 2002; 7:147-77. DOI | PubMed
51. Enders CK. Multiple imputation as a flexible tool for missing data handling in clinical research. Behav Res Ther. 2017; 98:4-18. DOI | PubMed
52. Steven K, Dowell J, Jackson C. Fair access to medicine? Retrospective analysis of UK medical schools application data 2009-2012 using three measures of socioeconomic status. BMC Med Educ. 2016; 16:11. DOI | PubMed
53. King’s College London. Extended medical degree programme MBBS. 2017.
54. University of Birmingham. Access to Birmingham (A2B). 2017.
55. University of Birmingham. Routes to the professions. 2017.