Valutazione dell’apprendimento automatico rispetto alle regole di previsione standard per la previsione delle riammissioni ospedaliere

Introduzione

Le riammissioni ospedaliere sono associate ai danni e alle spese dei pazienti e si verificano per quasi il 20% dei pazienti ricoverati negli Stati Uniti.¹ I modi per prevenire le riammissioni ospedaliere si sono concentrati sull’identificazione dei pazienti a maggior rischio di riammissione. I medici sono scarsamente in grado di identificare i pazienti che saranno riammessi,² e si pensa che molte riammissioni siano prevenibili.³^,⁴ I fattori di rischio associati alla riammissione includono l’uso di politerapia, l’uso di farmaci ad alto rischio, molteplici patologie croniche e molteplici ricoveri precedenti.⁵

I punteggi di valutazione del rischio di riammissione comunemente utilizzati si basano su una serie limitata di dati clinici facilmente disponibili che possono essere utilizzati per semplici calcoli. Questi includono il punteggio LACE (mLACE) modificato (calcolato alla dimissione utilizzando 4 elementi: durata della degenza, acuità del ricovero, comorbidità e visite al pronto soccorso 6 mesi prima del ricovero), punteggio Maxim/RightCare (calcolato 48 ore dopo il ricovero con una formula proprietaria), e punteggio HOSPITAL (calcolato alla dimissione utilizzando 7 variabili [livello di emoglobina, dimissione da un servizio oncologico, livello di sodio, procedura durante il ricovero indice, tipo di ricovero indice, numero di ricoveri durante gli ultimi 12 mesi e durata della degenza] per classificare i pazienti come a basso, medio o alto rischio).⁶ Questi punteggi sono stati raramente confrontati direttamente tra loro,⁵ e la discriminazione dei punteggi è moderata.⁶ Alcuni hanno messo in dubbio l’efficacia del punteggio OSPEDALE, che ha ottenuto risultati migliori.⁷

I moderni algoritmi di previsione sono stati sviluppati da Amazon, Netflix e Google. Gli approcci comunemente utilizzati si basano sull’utilizzo di tutti i dati disponibili con strumenti complessi e multifattoriali attraverso l’apprendimento automatico.⁸ L’apprendimento automatico è spesso formato intorno ad un singolo cliente (ad esempio, Amazon) o ad un singolo ospedale per l’assistenza sanitaria, prevedendo così al meglio i risultati di quell’individuo o ospedale. A differenza della modellazione tradizionale, in cui un modello è derivato da una coorte e poi validato su un’altra coorte, un algoritmo di machine learning deve essere sviluppato per corrispondere ad un singolo ospedale e poi può essere validato su osservazioni future all’interno di quel singolo ospedale. La tecnica è intesa a ricavare regole individuali per ogni ospedale che cambieranno in modo dinamico utilizzando un unico processo generalizzabile. Con una maggiore adozione delle cartelle cliniche elettroniche (EHR), le tecniche di apprendimento automatico possono essere applicate ai dati sanitari. L’uso del machine learning per prevedere le riammissioni è stato limitato. Una pubblicazione non revisionata⁹ in 2 centri accademici hanno trovato la previsione di riammissione alla scarica con un’area sotto la curva caratteristica operativa del ricevitore (AUROC) di 0,75 rispetto a 0,70 con l’uso del punteggio HOSPITAL. Per condizioni specifiche, come l’insufficienza cardiaca congestizia, i modelli hanno identificato un AUROC da 0,60 a 0,70 in coorti retrospettive.¹⁰ La composizione del paziente in questi modelli è significativamente associata alla capacità di prevedere la riammissione.

L’obiettivo del nostro studio era di confrontare la capacità del punteggio di Baltimora (B score), un punteggio di apprendimento automatico facilmente implementabile, per prevedere le riammissioni non pianificate di 30 giorni calcolate in tempo reale con i punteggi standard di valutazione del rischio di riammissione in una coorte di pazienti dimessi da 3 ospedali del Maryland.

Metodi

Progettazione dello studio e partecipanti

Questo studio prognostico ha incluso le dimissioni consecutive di pazienti adulti dal 1° settembre 2016 al 31 dicembre 2016 in 3 diversi ospedali del Maryland che fanno parte del sistema medico della University of Maryland Medical System: University of Maryland Medical Center (un centro medico accademico di assistenza terziaria), Saint Joseph Medical Center (un centro medico comunitario suburbano), e Maryland Midtown Hospital (un ospedale urbano con rete di sicurezza che serve soprattutto i pazienti indigenti). Sono stati esclusi i pazienti non inclusi come idonei alle dimissioni dal Centers for Medicare & Medicaid Services (CMS) o dal sistema informativo regionale di Chesapeake Regional Information System for Our Patients (CRISP). I pazienti esclusi erano principalmente pazienti che dovevano essere riammessi (ad esempio, quelli che stavano ricevendo una chemioterapia programmata). Poiché abbiamo utilizzato il sistema di segnalazione CRISP per acquisire le riammissioni, abbiamo potuto identificare tutte le riammissioni negli ospedali della regione di Washington, DC, Maryland e Delaware. Potremmo aver perso una piccola parte delle riammissioni al di fuori della regione. Questo studio è stato approvato dal comitato di revisione istituzionale dell’Università del Maryland, Baltimora, che funge da comitato di revisione istituzionale per tutti gli ospedali del sistema medico dell’Università del Maryland partecipanti, con rinuncia al consenso informato a causa dell’uso di dati clinici retrospettivi. Lo studio ha seguito la linea guida per il rafforzamento della segnalazione degli studi osservazionali in epidemiologia(STROBE) per gli studi di coorte.¹¹

Variabili del predittore

I punteggi di rischio di riammissione sono stati generati sulla base di scale standard pubblicate per i punteggi mLACE e HOSPITAL.⁶ Il punteggio Maxim/RightCare è stato raccolto direttamente dai dati amministrativi dell’ospedale che lo ha utilizzato. Il punteggio B sperimentale è stato basato su algoritmi di apprendimento automatico utilizzando tutti i dati disponibili per ogni ospedale. Il modello è stato personalizzato, il che significa che è stato formato specificamente per adattarsi ai dati di questi ospedali. Tutti i dati sono stati ottenuti da Epic EHRs (Epic Systems) di ogni ospedale. Inizialmente, più di 8000 possibili variabili sono state valutate rispetto a molti tipi di modello diversi utilizzando AUROC per determinare il modello migliore. L’eventuale serie di variabili chiave utilizzate per l’apprendimento automatico è fornita nell’eAppendice e nella eTable nel Supplemento. I migliori risultati sono stati ottenuti con una combinazione ponderata di alberi di regressione gradiente-boosting e modelli di reti neurali convoluzionali (scelti tramite validazione incrociata) utilizzando 382 variabili, inclusi i dati demografici. È stata utilizzata una strategia di convalida incrociata K-fold. Il modello includeva variabili per la struttura e il reparto per riflettere le differenze tra le strutture ospedaliere. Il modello è stato derivato dai dati raccolti dal 1° settembre 2014 al 31 agosto 2016 (prima di essere convalidato con i pazienti dal 1° settembre 2016 al 31 dicembre 2016). I periodi di studio sono stati scelti in base ai dati completi di EHR e alla raccolta di riammissioni del CMS, e questi dati sono stati raccolti prima dell’introduzione del punteggio B nella pratica clinica, che è stato restituito ai medici per tutti i ricoveri (1 gennaio 2017). Il punteggio è stato presentato come una graduatoria con un range da 0 a 1. Questa graduatoria ha permesso la pianificazione programmatica delle risorse ospedaliere, ma non ha descritto il rischio di riammissione nel singolo paziente (descrivendoli piuttosto come nel top 5,0% o 10,0% del rischio).

Convalida dei dati dell’ospedale

Le variabili che costituiscono i punteggi HOSPITAL e mLACE sono state convalidate attraverso l’esame della cartella clinica di cartelle cliniche di pazienti identificati in modo casuale. Su 30 pazienti e 7 variabili, sono stati identificati 7 errori per un tasso di errore del 3% (7 su 210 errori). Non c’è stato uno schema di dati incoerenti.

Risultato dello studio

Il risultato principale dello studio è stato che tutte le riammissioni ospedaliere sono state effettuate entro 30 giorni dalla visita dell’indice, escluse le riammissioni pianificate, sulla base delle definizioni del CMS e del CRISP del Maryland per la segnalazione a livello nazionale e statale.¹²^,¹³ Le riammissioni pianificate non sono state conteggiate come riammissioni non pianificate di 30 giorni.

Analisi statistica

Le caratteristiche dei pazienti sono state riassunte utilizzando statistiche descrittive e sono state confrontate tra coloro che hanno avuto riammissioni a 30 giorni e coloro che non hanno utilizzato il test χ 2 per le variabili categoriali. Per ogni paziente, nell’analisi primaria è stata utilizzata solo la prima dimissione durante lo studio per garantire che tutte le dimissioni fossero indipendenti l’una dall’altra. Per tutti i punteggi di rischio di riammissione continuativa di interesse, le loro prestazioni predittive sono state valutate utilizzando l’AUROC e il corrispondente 95% di CI.¹⁴ Le differenze tra gli AUROC per i vari punteggi di rischio tra lo stesso campione di pazienti sono state testate utilizzando il metodo statistico non parametrico a U con o senza aggiustamento Sidak per confronti multipli.¹⁵ Le differenze tra gli AUROC tra i diversi gruppi di pazienti (cioè, per struttura o per servizio ospedaliero [medico vs. chirurgico]) sono state testate utilizzando le statistiche del test χ 2. È stata condotta un’analisi di sensibilità utilizzando tutte le dimissioni disponibili, comprese le dimissioni multiple per paziente.

Sulla base dei valori di soglia precedentemente pubblicati, i pazienti sono stati classificati in categorie di rischio di riammissione. Il punteggio OSPEDALE definisce un rischio basso da 0 a 4, un rischio intermedio da 5 a 6 e un rischio alto da 7 o più.⁶ Il punteggio mLACE definisce il basso rischio come inferiore a 10 e l’alto rischio come 10 o più. Il punteggio Maxim/RightCare definisce il basso rischio come inferiore a 3 e l’alto rischio come 3 o più. Sensibilità, specificità, valore predittivo positivo, valore predittivo negativo e corrispondenti IC al 95% sono stati calcolati per tutti gli ospedali insieme, per struttura e per servizio ospedaliero.

Per confrontare il punteggio B (misurato a 48 ore dal ricovero o alla dimissione) con un dato punteggio di rischio dicotomico e usando il punteggio mLACE come esempio, sono stati fatti i seguenti passi. Abbiamo calcolato la proporzione di pazienti con punteggio mLACE 10 o più (alto rischio) tra tutti i pazienti dello studio, indicato come p₁. Quindi, p₁ rappresentava la percentuale di pazienti segnalati come ad alto rischio in base al punteggio mLACE. Abbiamo calcolato la proporzione di pazienti con punteggio mLACE 10 o più tra quelli che hanno avuto riammissioni a 30 giorni (sensibilità del punteggio mLACE dicotomico), indicato come S_1. Abbiamo scelto un valore di soglia per il punteggio B, indicato come C, in modo tale che la percentuale di pazienti con punteggio B maggiore di C tra quelli che avevano 30 giorni di riammissioni fosse pari a S₁ (sensibilità fissa). Abbiamo calcolato la proporzione di pazienti con punteggio B maggiore di C tra tutti i pazienti (cioè, la proporzione di pazienti contrassegnati in base al punteggio B maggiore di C), indicata come p₂. Il miglioramento dell’efficienza è stato calcolato come(p₁ – p₂)/p₁, e p₁ e p₂ sono stati confrontati usando il test McNemar.

Per esplorare ulteriormente l’utilità del punteggio B, abbiamo calcolato le statistiche diagnostiche (ad esempio, sensibilità, specificità e valore predittivo positivo) quando i pazienti che hanno ottenuto un punteggio nella top 5,0% (o top 10,0%) dal punteggio B sono stati segnalati come ad alto rischio. Tutte le analisi sono state completate in Stata/SE, versione 15 (StataCorp), e tutti i grafici sono stati prodotti in R, versione 3.4.3 (R Core Team).

Risultati

Dal 1° settembre 2016 al 31 dicembre 2016 sono stati dimessi complessivamente 14.062 singoli pazienti per un totale di 16.649 dimissioni (compresi i ricoveri ripetuti) dai 3 ospedali partecipanti. Di questi, ci sono stati 10 732 pazienti unici con dimissioni ammissibili al CMS per potenziali riammissioni non pianificate. Dei 10 732 pazienti (5605 [52,2%] di sesso maschile; età media [SD], 54,56 [22,42] anni), 6214 provenivano dall’ospedale 1, 3440 dall’ospedale 2 e 1078 dall’ospedale 3. Le riammissioni non pianificate erano più comuni negli ospedali 1 e 3, tra i pazienti afroamericani e nei servizi ospedalieri medici(Tabella 1).

b.Demografia di tutti i 10 732 pazienti della popolazione dello studio confrontando quelli senza riammissione con quelli con riammissione
Caratteristica	N. (%)^a		P Valore^b
Caratteristica	Senza riammissione (n=9310)	Con riammissione (n = 1422)	P Valore^b
Struttura, n. (%)
Ospedale 1, assistenza terziaria (n=6214)	5337 (85.9)	877 (14.1)	<.001
Ospedale 2, comunità suburbana (n = 3440)	3083 (89.6)	357 (10.4)
Ospedale 3, urbano (n=1078)	890 (82.6)	188 (17.4)
Sesso, N. (%)
Maschio (n = 5605)	4841 (86.4)	764 (13.6)	.22
Femmina (n = 5127)	4469 (87.2)	658 (12.8)	.22
Razza/etnicità, n. (%)
Nero (n = 4004)	3408 (85.1)	596 (14.9)	.001
Ispanico (n = 320)	281 (87.8)	39 (12.2)
Bianco (n = 6120)	5364 (87.6)	756 (12.4)
Altro o non segnalato (n==288)	257 (89.2)	31 (10.8)
Servizio ospedaliero, n. (%)
Medicina (n = 5830)	4970 (85.2)	860 (14.8)	.001
Chirurgia (n = 4902)	4340 (88.5)	562 (11.5)	.001

L’accuratezza delle regole di riammissione in ospedale è varia. L’esecuzione di tutti i punteggi attraverso il punteggio continuo è mostrato nella Figura 1. Tra i 10 732 pazienti di tutti gli ospedali, l’AUROC era 0,63 (95% IC, 0,61-0,65) per il punteggio OSPEDALE, che era significativamente inferiore a 0,66 per il punteggio mLACE (95% CI, 0,64-0,68) (P<.001). Il punteggio B è stato significativamente migliore degli altri punteggi ed è stato migliorato significativamente quando è stato calcolato in punti di tempo con più dati disponibili. In particolare, 48 ore dopo l’ammissione, l’AUROC del punteggio B è stato di 0,72 (95% CI, 0,70-0,73) ed è aumentato a 0,78 (95% CI, 0,77-0,79) alla scarica(P<<0,001 per entrambi).

Tra i 2291 pazienti dell’ospedale 2 che avevano un punteggio Maxim/RightCare, l’AUROC era 0,63 (95% IC, 0,59-0,69) per il punteggio HOSPITAL, 0,64 (95% IC, 0,61-0,68) per il punteggio Maxim/RightCare, e 0,66 (95% IC, 0,62-0,69) per il punteggio mLACE. I punteggi non erano significativamente diversi l’uno dall’altro; tuttavia, la capacità di previsione delle riammissioni è stata significativamente migliorata utilizzando il punteggio B. L’AUROC per il punteggio B 48 ore dopo l’ammissione è stato di 0,72 (95% CI, 0,69-0,75) e alla dimissione è stato di 0,81 (95% CI, 0,79-0,84), che è stato significativamente migliorato rispetto all’AUROC per il punteggio mLACE alla dimissione (0,66 [95% CI, 0,62-0,69]) (entrambi P<-001).

La previsione del rischio di riammissione utilizzando qualsiasi punteggio è stata migliore nell’ospedale che serve una popolazione di periferia (ospedale 2) o un centro medico accademico (ospedale 1) che in un ospedale ad accesso critico (ospedale 3). Ad esempio, per il punteggio B alla dimissione, gli AUROC erano 0,81 (95% IC, 0,79-0,83) per l’ospedale 2, 0,78 (95% IC, 0,76-0,79) per l’ospedale 1, e 0,66 (95% IC, 0,61-0,70) per l’ospedale 3.

La previsione del rischio di riammissione utilizzando qualsiasi punteggio è stata migliore tra i pazienti chirurgici rispetto ai pazienti medici. Per il punteggio B alla dimissione, l’AUROC era 0,82 (95% IC, 0,80-0,84) tra i pazienti chirurgici e 0,75 (95% IC, 0,73-0,76) tra i pazienti medici(P<0,001).

L’accuratezza delle regole di riammissione ospedaliera è stata simile in un’analisi di sensibilità di tutte le dimissioni, comprese le dimissioni multiple per paziente(Figura 2). Tra le 12-072 dimissioni da tutti e 3 gli ospedali, il punteggio AUROC per il punteggio OSPEDALE era significativamente inferiore a quello dell’AUROC per il punteggio mLACE (0.65 [95% IC, 0.64-0.67] vs 0.66 [95% CI, 0.66-0.69]; P==.002). Il punteggio B è stato significativamente migliore degli altri punteggi. In particolare, l’AUROC del punteggio B è stato di 0,73 (95% CI, 0,71-0,74) 48 ore dopo l’ammissione, che è aumentato a 0,78 (95% CI, 0,77-0,79) al momento della dimissione.

Tra le 2560 scariche con un punteggio non mancante di Maxim/RightCare, l’AUROC era 0,64 (95% CI, 0,61-0,68) per il punteggio HOSPITAL, 0,66 (95% CI, 0,63-0,69) per il punteggio Maxim/RightCare, e 0,67 (95% CI, 0,64-0,70) per il punteggio mLACE. I punteggi non sono stati significativamente diversi dopo l’aggiustamento del confronto multiplo; tuttavia, la capacità di previsione delle riammissioni è stata significativamente migliorata utilizzando il punteggio B. L’AUROC per il punteggio B 48 ore dopo l’ammissione era 0,73 (95% CI, 0,71-0,76) e alla dimissione era 0,81 (95% CI, 0,79-0,83). Rispetto al punteggio mLACE, l’AUROC per il punteggio B è stato significativamente migliorato sia a 48 ore dall’ammissione che alla dimissione (entrambi P<0,001).

Le regole di ricovero in ospedale sono spesso formalizzate intorno ai punteggi di taglio per facilitare la loro interpretazione. Quando vengono valutati in modo dicotomico sulla base dei valori di cutoff pubblicati in precedenza (HOSPITAL score, mLACE score e Maxim/RightCare score), il numero di pazienti segnalati, la proporzione di riammissioni rilevate (sensibilità) e l’efficienza tra i punteggi sono presentati nella Tabella 2. Se confrontato direttamente e impostando il punteggio B sulla sensibilità ai valori di cutoff per il punteggio mLACE, HOSPITAL score, e Maxim/RightCare score, il punteggio B è stato in grado di identificare meglio i pazienti a rischio di riammissione rispetto ad altri punteggi(Tabella 2). Nel confronto diretto con mLACE ad alto vs. basso rischio, abbiamo trovato che i punteggi mLACE identificano il 54,7% delle riammissioni segnalando il 34,4% dei pazienti. Il punteggio B alla dimissione è stato in grado di identificare il 54,7% delle riammissioni segnalando il 23,6% dei pazienti (il 31,4% ha migliorato l’efficienza; P<<1001). Rispetto all’OSPEDALE medio/alto vs basso rischio, il punteggio B alla dimissione è stato del 54,9% più efficiente(P .001). Rispetto al punteggio Maxim/RightCare (n==2291), il punteggio B a 48 ore dall’ammissione è stato del 25,5% più efficiente (P<<.001) e il punteggio B alla dimissione è stato del 50,4% più efficiente (P<<.001).

g.Performance dei punteggi di riammissione utilizzando i valori di soglia tra tutti i pazienti in 3 ospedali^a
Punteggio	Pazienti Segnalati, %.	Rilevazione delle riammissioni, %.^b	Miglioramento dell’efficienza, %.^c	P Valore^d
LUOGO, alto vs basso	34.4	54.7	31.4	<.001
Punteggio B alla scarica per rilevare il 54,7% riammesso^e	23.6	54.7	31.4	<.001
OSPEDALE, medio/alto vs basso	25.1	40.2	54.9	<.001
Punteggio B alla scarica per rilevare il 40,2% riammesso^e	16.2	40.2	54.9	<.001
OSPEDALE, alto vs medio/basso	5.0	11.2	32.0	<.001
Punteggio B alla scarica per rilevare l’11,2% riammesso^e	3.4	11.2	32.0	<.001
Maxim/RightCare^f	41.5	57.7	25.5	<.001
B punteggio 48 h dopo l’ammissione per rilevare il 57,7% riammesso	30.9		25.5	<.001
Punteggio B alla scarica per rilevare il 57,7% riammesso	20.6		50.4	<.001
Punteggio B ≥0,167 allo scarico, top 10%	10.0	28.6	37.5^g	NA
Punteggio B ≥0,217 allo scarico, top 5%	5.0	16.4	43.1^g	NA

Questi risultati suggeriscono che il punteggio B può essere utilizzato per prevedere i pazienti a più alto rischio di riammissione. I pazienti che hanno ottenuto il punteggio del 10,0% del rischio per il punteggio B al momento della dimissione (punteggio B, ≥0,167) avevano una probabilità del 37,5% di riammissioni non pianificate a 30 giorni (valore predittivo positivo del 37,5%, sensibilità del 28,3% e specificità del 92,8%). Allo stesso modo, i pazienti che hanno ottenuto un punteggio del 5,0% sul punteggio B alla dimissione (punteggio B, ≥0,217) hanno avuto una probabilità del 43,1% di riammissioni (valore predittivo positivo del 43,1%, sensibilità del 16,2% e specificità del 96,7%).

Discussione

In 3 ospedali in diversi contesti, abbiamo scoperto che un approccio automatizzato di machine learning ha una discriminazione migliore rispetto ai punteggi di riammissione comunemente usati. Il punteggio B è stato dal 25,5% al 54,9% più efficiente rispetto ai punteggi di confronto, il che significa che un numero simile di riammissioni potrebbe essere evitato intervenendo sul 25,5%-54,9% di pazienti in meno e quindi indirizzando meglio le risorse. I punteggi individuali, specifici per l’ospedale, di machine learning, ottenuti in un periodo di 24 mesi, sono stati in grado di prevedere al meglio le riammissioni nel periodo di studio di 4 mesi.

È difficile prevedere le riammissioni. Tuttavia, un punteggio di apprendimento automatico al momento della dimissione aveva una migliore capacità di discriminazione rispetto ad altri punteggi attualmente utilizzati nel nostro studio. I punteggi Maxim/RightCare, mLACE e HOSPITAL si sono svolti in modo simile l’uno all’altro, il che non è stato sorprendente dato che ciascuno di essi ha utilizzato un numero limitato di variabili per una semplice previsione non stocastica delle riammissioni. L’apprendimento automatico è stato adattato per ogni ospedale utilizzando una tecnica che costruisce regole specifiche per ogni ospedale rispetto a regole come quelle del mLACE.⁸ Il confronto dei punteggi di riammissione è avvenuto nella stessa popolazione dello sviluppo per il punteggio B di machine learning (per ogni ospedale). Questo fattore è stato un vantaggio per il punteggio B rispetto ad altri punteggi, che in parte spiegava le sue migliori prestazioni; tuttavia, il vantaggio dell’apprendimento automatico è che viene formato per ogni ospedale e pesato per le caratteristiche individuali (simile alla formazione delle raccomandazioni di Netflix per ogni singolo utente). La derivazione del machine learning di un punteggio di riammissione è avvenuta per ogni coorte ospedaliera prima della convalida del punteggio; pertanto, il modello non è stato sovradimensionato. Piuttosto che convalidare un punteggio specifico, abbiamo valutato la tecnica di machine learning applicata ad ogni ospedale. L’uso del machine learning per prevedere le riammissioni è stato utilizzato da Google e riportato nella letteratura non revisionata per ottenere una capacità predittiva simile (cioè AUROC) al punteggio B.⁹ L’apprendimento automatico per identificare le riammissioni beneficia dell’accesso a molte variabili nelle EHR e di un risultato di riammissione per insegnare il modello di apprendimento automatico. Pertanto, le associazioni e le previsioni possono essere stimate con processi più complessi rispetto ai semplici punteggi del passato. Con la crescente disponibilità di strumenti di machine learning per l’EHR, le regole di previsione come il punteggio B diventeranno presto disponibili in Epic e in altre EHR. La modellazione di regressione multivariabile con set di dati più ampi ha trovato risultati simili in termini di previsione delle rimissioni.¹⁶^,¹⁷ L’analisi di calibrazione non è stata possibile dato che il punteggio B non è un classificatore di probabilità, ma un classificatore di rango che è stato progettato per determinare quali pazienti sono a più alto rischio di riammissione per indirizzare le risorse ospedaliere a livello amministrativo (ad esempio, segnalando il 5,0% o il 10,0% dei pazienti con i punteggi B più alti per la gestione del rischio o interventi speciali). Il lavoro futuro potrebbe migliorare il punteggio B fornendo la probabilità di descrivere l’effettiva percentuale di probabilità di riammissione per un singolo paziente. Fornire l’effettiva percentuale di probabilità di riammissione sarebbe più comprensibile per i medici e consentirebbe la calibrazione.

Prevedere la riammissione è solo un passo verso la prevenzione delle riammissioni. Anche se abbiamo usato la definizione CMS di riammissione potenzialmente prevenibile, la letteratura suggerisce che la maggior parte di queste riammissioni non sono prevenibili.¹⁸ Gli interventi per prevenire le riammissioni sono spesso laboriosi e costosi, tra cui le cliniche di dimissione, le cure di transizione e il telemonitoraggio.⁵ Punteggi di riammissione più accurati consentono un uso più mirato di questi interventi. Il punteggio B è stato in grado di identificare lo stesso numero di riammissioni, segnalando dal 25,5% al 54,9% di pazienti in meno per la gestione intensiva dei casi.

Nel nostro studio, la previsione era peggiore con tutti i punteggi all’ospedale ad accesso critico e nelle popolazioni con determinanti sociali di salute poveri, oltre ad essere peggiore tra i medici rispetto ai pazienti chirurgici; questi risultati sono stati precedentemente riportati da altri autori.¹^,⁵ Questo risultato ha implicazioni per l’equità delle sanzioni CMS per i tassi di riammissione e per l’adeguamento al rischio delle popolazioni ad alto rischio. Sebbene il punteggio B abbia avuto accesso ad alcuni determinanti sociali della salute come il codice postale di casa, il tipo di assicurazione e la mancanza di una fissa dimora, la validità di tali dati nel CMS è incerta. Ulteriori lavori per prevedere e indirizzare gli sforzi di prevenzione della riammissione devono tenere conto dei determinanti sociali della salute.

Il punteggio B è stato automatizzato in 3 ospedali utilizzando Epic EHR in questo studio ed è aggiornato ogni ora per tutti i pazienti dal ricovero alla dimissione. Parte di questa automazione comprende l’aggiornamento mensile dei modelli, nonché la rivalutazione annuale delle caratteristiche e la riqualificazione dei modelli per riflettere i costanti cambiamenti nei modelli di pratica sanitaria, la sofisticazione dell’EHR e la demografia della popolazione. Sono ora in corso sforzi per utilizzare questo punteggio di previsione per indirizzare meglio i pazienti ad alto rischio di riammissione per gli interventi. La migliore presentazione di un approccio di apprendimento automatico, la capacità di identificare le riammissioni prevenibili e, in ultima analisi, i metodi per prevenire le riammissioni sono sconosciuti.

Limitazioni

Il nostro studio è limitato dal fatto che viene eseguito in 1 stato americano per un periodo di tempo limitato. Inoltre, la capacità predittiva del punteggio varia a seconda dell’ospedale. Sebbene l’apprendimento automatico sia stato convalidato nello stesso ospedale in cui è stato sviluppato, questo confronto imita l’uso reale dei punteggi di riammissione dell’apprendimento automatico che sarebbero stati sviluppati per ogni ospedale. Questo punteggio è stato ottimizzato sulla base di una misura di rango o discriminazione (cioè, AUROC) piuttosto che di una misura di perdita o errore in termini di valore del rischio stimato. Di conseguenza, il punteggio B è una misura ordinata che può ordinare i pazienti nel modo più accurato possibile in base al rischio di riammissione, ma non include una probabilità definita che sarebbe più utile per i singoli medici (ad esempio, un paziente ha un rischio di riammissione del 20%).

Conclusioni

Abbiamo scoperto che un punteggio di apprendimento automatico, il punteggio B, costruito a partire da variabili nella EHR, ha una migliore capacità discriminante di prevedere le riammissioni rispetto ai punteggi di riammissione comunemente usati. Questa migliore previsione può consentire un uso più efficiente e mirato delle risorse per prevenire le riammissioni.

References

Rehospitalizations among patients in the Medicare fee-for-service program. N Engl J Med. 2009; 360(14)DOI | PubMed
Inability of providers to predict unplanned readmissions. J Gen Intern Med. 2011; 26(7):771-776. DOI | PubMed
Report to the Congress: Promoting Greater Efficiency in Medicare. Medicare Payment Advisory Commission: Washington, DC; 2007.
Preventability and causes of readmissions in a national cohort of general medicine patients. JAMA Intern Med. 2016; 176(4):484-493. DOI | PubMed
Preventing 30-day hospital readmissions: a systematic review and meta-analysis of randomized trials. JAMA Intern Med. 2014; 174(7):1095-1107. DOI | PubMed
International validity of the HOSPITAL score to predict 30-day potentially avoidable hospital readmissions. JAMA Intern Med. 2016; 176(4):496-502. DOI | PubMed
Predicting the risk of readmission in pneumonia: a systematic review of model performance. Ann Am Thorac Soc. 2016; 13(9):1607-1614. DOI | PubMed
Big data and machine learning in health care. JAMA. 2018; 319(13):1317-1318. DOI | PubMed
Scalable and accurate deep learning with electronic health records. npj Digital Medicine. 2018; 1:18. DOI
A comparison of models for predicting early hospital readmissions. J Biomed Inform. 2015; 56:229-238. DOI | PubMed
Publisher Full Text
Publisher Full Text
2018. Publisher Full Text
The Statistical Evaluation of Medical Tests for Classification and Prediction. Oxford University Press: New York, NY; 2003.
Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988; 44(3):837-845. DOI | PubMed
Risk prediction models for hospital readmission: a systematic review. JAMA. 2011; 306(15):1688-1698. DOI | PubMed
LACE+ index: extension of a validated index to predict early death or urgent readmission after hospital discharge using administrative data. Open Med. 2012; 6(3):e80-e90. PubMed
Proportion of hospital readmissions deemed avoidable: a systematic review. CMAJ. 2011; 183(7):E391-E402. DOI | PubMed

Fonte

Morgan DJ, Bame B, Zimand P, Dooley P, Thom KA, et al. (2019) Assessment of Machine Learning vs Standard Prediction Rules for Predicting Hospital Readmissions. JAMA Network Open 2(3): e190348. https://doi.org/10.1001/jamanetworkopen.2019.0348