Uno studio trasversale ripetuto sull’uso delle tecniche di psicoterapia da parte dei medici durante 5 anni di uno sforzo a livello di sistema per implementare pratiche basate sull’evidenza a Philadelphia

Background

Gli ultimi due decenni hanno mostrato una crescente enfasi sull’implementazione di pratiche basate sull’evidenza (EBP) nei sistemi di salute comportamentale finanziati con fondi pubblici a livello nazionale[1, 2]. I decisori politici nei sistemi di salute comportamentale pubblica (per esempio, la città di Philadelphia, la contea di Los Angeles, Washington, Hawaii, New York) si sono impegnati a utilizzare gli EBP[1, 3- 6]per migliorare la qualità dei servizi psicosociali e i risultati dei clienti [7- 9] utilizzando vari approcci, tra cui l’abbinamento dei rimborsi all’utilizzo degli EBP (cioè incentivi finanziari), la costruzione di EBP in contratti e iniziative politiche [2, 10,11]. Sebbene molti sistemi di salute comportamentale pubblica abbiano investito nell’implementazione degli EBP, pochissimi di questi sforzi sono stati valutati in modo sistematico e rigoroso, limitando così la capacità di comprendere l’effetto di questi sforzi sul comportamento del clinico e dell’organizzazione e sul successivo raggiungimento dei clienti[2]. I leader di pensiero nella scienza dell’implementazione hanno raccomandato di imparare dagli esperimenti naturali messi in atto dai sistemi attraverso progetti di ricerca osservazionali, al fine di produrre conoscenze generalizzabili per far progredire la scienza dell’implementazione[12]. Così, una rigorosa valutazione dell’implementazione EBP a livello di sistema può produrre informazioni preziose per raggiungere questo obiettivo.

La maggior parte di ciò che si sa sull’implementazione di EBP a livello di sistema è in gran parte di natura descrittiva (cioè, se i sistemi stanno implementando EBP, come essi supportano EBP). Una serie di studi prende un’ampia prospettiva e riporta le tendenze nazionali nell’implementazione degli EBP a livello di sistema. Ad esempio, uno studio che riporta una serie di indagini nazionali condotte con i direttori statali della salute mentale ha rilevato un aumento dell’offerta di EBP per i giovani negli stati dal 2001 al 2012[2]. Un altro studio ha rilevato che la maggior parte dei direttori statali per la salute mentale ha approvato l’uso di incentivi finanziari per promuovere l’uso di EBP nel loro sistema[11]. Un’altra serie di studi prende una prospettiva più granulare e riporta le strategie specifiche utilizzate all’interno di un sistema come la città di Philadelphia[10], New York[11], Hawaii e Illinois[13]. Per esempio, Powell e colleghi descrivono come il Dipartimento della Città di Filadelfia per la Salute Comportamentale e i Servizi per la Disabilità Intellettuale (DBHIDS), che supervisiona i servizi di salute comportamentale per oltre 600.000 consumatori iscritti a Medicaid, ha iniziato ad implementare gli EBP nel 2007 attraverso “iniziative EBP” [10, 14] e attraverso la creazione dell’Evidence-based Practice and Innovation Center (EPIC) che ha incluso cambiamenti politici, fiscali e operativi per incoraggiare l’implementazione degli EBP [10].

Sebbene queste prospettive abbiano arricchito la comprensione del campo se i sistemi stanno implementando gli EBP e come gli EBP sono supportati, c’è una lacuna nella letteratura per quanto riguarda il modo in cui gli sforzi a livello di sistema per implementare gli EBP sono legati alla pratica clinica nel tempo. Solo pochi studi hanno tentato di valutare l’effetto dell’implementazione degli EBP a livello di sistema. Uno studio nazionale all’interno dell’Amministrazione Sanitaria Veterani, un grande sistema di supporto all’implementazione di EBP, ha trovato che la documentazione della cartella clinica suggerisce che solo il 20% dei veterani con disturbo post-traumatico da stress (PTSD) (in totale n=255.968) ha ricevuto almeno una sessione di EBP per PTSD. Un altro studio che ha utilizzato i dati relativi alle richieste di risarcimento amministrativo ha rilevato che nel corso del tempo si è registrato un aumento del tasso di richieste di risarcimento per EBP nel contesto di uno sforzo di attuazione fiscale nella Contea di Los Angeles[15]. Facendo leva sulle fonti di dati esistenti, questi studi forniscono una visione preliminare di come gli sforzi a livello di sistema per implementare gli EBP possano essere collegati a modelli di comportamento clinico e organizzativo, ma è necessario un lavoro aggiuntivo per capire l’effetto di tali sforzi.

Un altro obiettivo della ricerca include lo studio di come l’implementazione degli EBP interagisce con le caratteristiche delle organizzazioni annidate nel sistema, come la leadership organizzativa, la cultura e il clima. Questa linea di ricerca può sia chiarire i potenziali obiettivi mutevoli delle strategie di implementazione nei futuri sforzi di implementazione, sia far progredire la scienza dell’implementazione fornendo prove empiriche per i quadri scientifici di implementazione che pongono la criticità di questi costrutti[16]. I quadri determinanti principali[17] come il Consolidated Framework for Implementation Research[18] e il quadro di esplorazione, preparazione, implementazione e sostenibilità[16] suggeriscono l’importanza della relazione tra l’implementazione e le caratteristiche organizzative, come la leadership (cioè la leadership), la misura in cui i leader sono in grado di guidare, dirigere e sostenere l’implementazione[19], la cultura (cioè, norme condivise, aspettative comportamentali e valori di un’organizzazione)[20, 21], e il clima (cioè, percezioni condivise riguardo all’impatto dell’ambiente di lavoro sul benessere del clinico). Un crescente corpus di letteratura esplora la relazione tra questi costrutti e l’implementazione (per esempio,[19, 22-27]). Tuttavia, i risultati sono stati alquanto contrastanti[19] e pochi studi hanno indagato prospetticamente la relazione tra questi fattori e l’implementazione, che fornirebbe le prove più convincenti per potenziali obiettivi mutevoli delle strategie di implementazione, oltre a costruire la teoria della causalità, un imperativo chiave nella scienza dell’implementazione [19,28, 29].

Lo studio attuale si basa sul lavoro precedente, indagando su come uno sforzo di sistema centralizzato per sostenere l’implementazione nella città di Philadelphia sia correlato all’uso dell’EBP da parte dei clinici e su come le caratteristiche organizzative, in particolare la leadership dell’implementazione, il clima di implementazione e la cultura organizzativa, possano moderare questi effetti [16,23, 30]. Abbiamo misurato l’uso di tecniche di psicoterapia per i giovani in ambulatori per 5 anni nel contesto di uno sforzo a livello di sistema per implementare gli EBP. Abbiamo misurato le tecniche di terapia cognitivo-comportamentale (CBT), che hanno evidenza della loro efficacia per i disturbi psichiatrici giovanili[31] e comprendono la maggior parte degli EBP implementati da DBHIDS, e le tecniche psicodinamiche, che sono usate frequentemente[32] ma hanno meno evidenza per i disturbi psichiatrici giovanili[31, 33-37]. Abbiamo ipotizzato che (a) l’uso della CBT da parte dei clinici aumenterebbe nel tempo, mentre l’uso della tecnica psicodinamica rimarrebbe statico; (b) la partecipazione dei clinici alle iniziative EBP sponsorizzate dal sistema aumenterebbe l’uso della CBT nel tempo; e (c) le variabili organizzative di base predicherebbero la variabilità nell’uso della CBT da parte dei clinici nel tempo[14].

Metodi

Design

Abbiamo utilizzato un progetto trasversale ripetuto[38] in 5 anni di implementazione di EBP a livello di sistema, in cui eravamo interessati a un cambiamento nell’uso della tecnica a livello di popolazione e all’effetto moderatore delle variabili a livello di organizzazione su tali stime. In un disegno a sezioni trasversali ripetute, ci può essere una sovrapposizione zero nei campioni tra i periodi e tuttavia, sulla base di sezioni trasversali ripetute, possono essere fatte delle deduzioni valide del cambiamento dei valori della popolazione. Inoltre, l’effetto dei moderatori organizzativi può essere esaminato fintanto che le stesse organizzazioni sono nel campione. La sovrapposizione nei campioni trasversali è vantaggiosa perché riduce la varianza delle stime dei parametri; tuttavia, un’elevata sovrapposizione tra i campioni non è necessaria per deduzioni valide sui cambiamenti delle tendenze della popolazione nel tempo.

Il progetto ha incorporato due fasi di campionamento. In primo luogo, abbiamo selezionato in modo mirato le organizzazioni che forniscono servizi ambulatoriali per i giovani nel sistema sanitario comportamentale pubblico di Philadelphia. In secondo luogo, sono state reclutate sezioni trasversali di medici che lavorano all’interno delle organizzazioni campionate ad ogni ondata. Ad ogni ondata (2013, 2015, 2017), abbiamo cercato di reclutare tutti i medici all’interno delle organizzazioni iscritte. Questo ci ha permesso di esaminare i cambiamenti nella popolazione di interesse nel corso del tempo senza supporre che gli individui fossero gli stessi ad ogni ondata, dati gli alti tassi di turnover dei clinici e il contesto reale.

Procedura

Con il permesso dei responsabili dell’organizzazione, i ricercatori hanno programmato incontri di gruppo con tutti i medici che lavorano all’interno delle organizzazioni che erogano servizi ambulatoriali per i giovani, durante i quali il team di ricerca ha presentato lo studio, ha ottenuto il consenso informato scritto e ha raccolto le misure in loco. L’unico criterio di inclusione era che i clinici fornissero servizi di salute comportamentale ai giovani (clienti di età inferiore ai 18 anni) attraverso il programma ambulatoriale. Non abbiamo escluso nessun medico che soddisfaceva questo criterio e abbiamo incluso i calinici in formazione (ad esempio, i tirocinanti); la maggior parte dei medici aveva un master. I medici hanno ricevuto 50 dollari per ogni ondata; i medici che hanno partecipato a tutte e tre le ondate hanno ricevuto altri 50 dollari. Le procedure sono state approvate dall’Università della Pennsylvania e dalla città di Philadelphia IRBs.

Impostazione

Prima del 2013, DBHIDS supportava gli EBP attraverso “iniziative EBP” separate che includevano la formazione e la consultazione di esperti per i medici iscritti della durata di circa 1 anno, come raccomandato dagli sviluppatori del trattamento [10]. Tra il 2007 e il 2019, attraverso queste iniziative, il DBHIDS ha sostenuto l’implementazione di una varietà di pratiche di terapia cognitivo-comportamentale focalizzata sulla terapia cognitivo-comportamentale che affrontano una serie di disturbi psichiatrici tra cui la terapia cognitiva[39], l’esposizione prolungata [40], la CBT focalizzata sul trauma [10, 41], la terapia comportamentale dialettica [42], e la terapia di interazione genitore-figlio [43] (tutte attualmente in corso; vedi Fig. 1). Inizialmente, il DBHIDS ha guidato in gran parte la selezione delle organizzazioni per la partecipazione all’iniziativa; più recentemente, le organizzazioni hanno fatto domanda di partecipazione attraverso un processo competitivo. Le organizzazioni hanno deciso quale dei loro clinici avrebbe partecipato[44].Fig. 1Timeline delle iniziative di evidence-based practice initiatives, Evidence-Based Practice Innovation Center (EPIC), e raccolta dati

Poiché i leader del sistema hanno identificato barriere simili tra le singole iniziative EBP, il Commissario per il DBHIDS (ACE) ha convocato nel 2012 una task force di accademici e responsabili politici per applicare le migliori pratiche della scienza dell’implementazione a supporto dell’implementazione EBP. Il risultato è stato EPIC, un’entità destinata a fornire un’infrastruttura centralizzata per l’amministrazione di EBP. EPIC è stata formalmente lanciata nel 2013 e supervisiona tutti gli sforzi di implementazione di EBP nel sistema di salute pubblica comportamentale di Philadelphia. EPIC è guidata da un Direttore ed è attualmente supportata da due staff che forniscono assistenza tecnica alle organizzazioni che si occupano dell’implementazione di EBP attraverso riunioni, telefonate ed eventi regolari. Oltre a sostenere le iniziative EBP, che hanno preceduto la creazione di questa infrastruttura centralizzata, EPIC ha allineato le politiche, gli approcci fiscali e operativi sviluppando processi sistematici per la fornitura di EBP, ospitando eventi per pubblicizzare la fornitura di EBP, designando i fornitori come agenzie EBP e creando tariffe migliorate per la fornitura di alcuni EBP. Per maggiori dettagli sull’approccio adottato da EPIC e DBHIDS, si veda[10]. Tutte le organizzazioni e i clinici sono stati esposti al supporto a livello di sistema fornito da EPIC dal 2013 al 2017. La raccolta dei dati nel 2013 è avvenuta prima del lancio ufficiale di EPIC.

Fig. 1.Fig. 1. Calendario delle iniziative di evidence-based practice, Evidence-Based Practice Innovation Center (EPIC), e raccolta dati

Partecipanti

Organizzazioni

Abbiamo utilizzato un approccio di campionamento mirato per il reclutamento organizzativo. Philadelphia ha un unico sistema di pagamento (Community Behavioral Health; CBH) per i servizi di salute comportamentale pubblica, così abbiamo ottenuto un elenco dal pagatore di tutte le organizzazioni che hanno presentato un reclamo nel 2011-2012. C’erano oltre 100 organizzazioni che fornivano servizi ambulatoriali ai giovani. La nostra intenzione era quella di utilizzare il campionamento mirato per generare un campione rappresentativo delle organizzazioni che hanno servito il maggior numero di giovani nel sistema. Abbiamo selezionato le prime 29 organizzazioni come popolazione di interesse perché insieme servono circa l’80% dei giovani che ricevono assistenza sanitaria comportamentale finanziata con fondi pubblici. Nel corso dei 5 anni, abbiamo iscritto 21 delle 29 organizzazioni (73%; alcune organizzazioni avevano più di un sito, per un totale di 27 siti). Sedici organizzazioni e 20 siti sono stati iscritti allo studio al baseline e hanno partecipato ad almeno un’ulteriore ondata e sono stati inclusi nella nostra analisi(k = 20). Le organizzazioni incluse in questo studio hanno servito circa il 42% dei giovani che ricevono servizi ambulatoriali attraverso il sistema pubblico di salute mentale (in totale) e hanno rappresentato circa il 52% dei giovani che ricevono servizi ambulatoriali nel campione di organizzazioni a cui ci siamo rivolti per il reclutamento. Le organizzazioni erano geograficamente distribuite in tutta Philadelphia e variavano in termini di dimensioni rispetto ai giovani serviti annualmente(M = 772,27, range = 337-2275 giovani).

Clinici

I tre campioni trasversali comprendevano 112 medici alla prima ondata (46% tasso di risposta organizzativa), 164 medici alla seconda ondata (65% tasso di risposta organizzativa) e 151 medici alla terza ondata (69% tasso di risposta organizzativa; totale N=340). Ogni campione trasversale includeva nuovi medici e precedenti medici partecipanti; 259 medici (76%) hanno fornito dati una volta, 65 medici (19%) hanno fornito dati due volte e 16 medici (5%) hanno fornito dati tre volte[45, 46].

Misure

Variabile dipendente

L’uso della CBT e delle tecniche psicodinamiche è stato misurato utilizzando la Therapy Procedures Checklist-Family Revised (TPC-FR)[47], una lista di controllo autodenunciata a 62 voci della pratica clinica. Ad ogni ondata, i clinici hanno riferito sulle specifiche tecniche di psicoterapia che hanno utilizzato con un cliente attuale e rappresentativo. Tutte le voci sono valutate da 1(raramente) a 5(la maggior parte delle volte). La struttura dei fattori è stata confermata e lo strumento è sensibile ai cambiamenti di strategia all’interno del terapeuta[47, 48]. Sono state utilizzate solo la CBT (33 items; α==.93) [49] e le subscale psicodinamiche (16 items; α==.85).

Variabile indipendente

La partecipazione formale alle iniziative EBP sponsorizzate dal sistema è stata segnalata dai medici in risposta a una serie di domande che chiedevano se “hanno partecipato formalmente come tirocinanti attraverso DBHIDS” alle cinque iniziative EBP (sì/no). Per garantire l’accuratezza, abbiamo confermato con ogni partecipante di aver compreso che le domande si riferivano alla formazione di un anno e alla consultazione continua fornita da DBHIDS per ogni iniziativa. Nelle analisi, questa variabile è stata inclusa come valore continuo variabile nel tempo che indicizza il numero cumulativo di iniziative a cui il clinico ha partecipato fino a ciascuna ondata (range = da 0 a 5). Come variabile di controllo, abbiamo anche creato una variabile dicotomica che indicizzava se il clinico aveva partecipato ad un’iniziativa EBP sponsorizzata dal sistema prima dell’ingresso nello studio (sì/no).

Moderatori organizzativi di interesse

Le misure organizzative sono state costruite aggregando (cioè facendo la media) le risposte individuali all’interno dell’organizzazione dopo aver confermato alti livelli di accordo all’interno dell’organizzazione usando la correlazione media all’interno del gruppo(a_wg, r_wg) statistiche[50]. Queste statistiche indicano la misura in cui i clinici all’interno di un’organizzazione mostrano un accordo assoluto tra loro sulle loro valutazioni delle caratteristiche organizzative. I valori vanno da 0 a 1, dove valori più alti indicano una maggiore riduzione della varianza degli errori e quindi un più alto livello di accordo. In genere, si raccomanda un taglio di 0,6 o superiore per fornire prove di validità per l’aggregazione dei punteggi individuali al livello dell’organizzazione[51, 52].

La cultura organizzativa competente è stata misurata utilizzando la scala di competenza a 15 punti (α=,92) della misura del contesto sociale organizzativo [53]. La cultura organizzativa competente è stata teoricamente collegata all’implementazione di EBP[54]; le voci si riferiscono a norme e aspettative condivise che i clinici mettono al primo posto il benessere del cliente, sono competenti e hanno conoscenze aggiornate. I punteggi della scala di competenza dimostrano un’eccellente affidabilità, la validità dei criteri e la validità predittiva[23, 53- 56]. Gli item sono valutati su una scala da 1(mai) a 5(sempre).

La leadership dell’implementazione è stata misurata usando la scala di leadership dell’implementazione (ILS)[57], una scala a 12 item che misura la proattività del leader (α=,92), la conoscenza (α=,97), il supporto (α=,96), e la perseveranza (α=,95) nell’implementazione EBP. Considerate le elevate inter-correlazioni tra le sottoscale ILS e per la parsimonia, abbiamo usato solo il punteggio totale (α==.98), che è supportato da un lavoro psicometrico [57]. La psicometria suggerisce un’eccellente coerenza interna e una validità convergente e discriminante[57]. Gli item sono valutati su una scala da 0(per niente) a 4(in grandissima misura).

Il clima di implementazione è stato misurato usando la scala del clima di implementazione (ICS)[58], una misura di 18 item di clima strategico intorno all’implementazione EBP. Le sei sottoscale della misura ICS includono il focus organizzativo su EBP (α==.91); il supporto educativo per EBP (α==.86); il riconoscimento per l’utilizzo di EBP (α==.91).86); premi per l’utilizzo di EBP (α==.87); selezione del personale per EBP (α==.93); e selezione del personale per l’apertura (α==.95) [59]. L’ICS produce dei punteggi per ciascuno di questi fattori, oltre a un punteggio totale. Date le elevate inter-correlazioni tra le scale ICS e per la parsimonia, abbiamo usato solo il punteggio totale (α==.94), che è supportato da un lavoro psicometrico [58]. I dati psicometrici suggeriscono una buona affidabilità e validità[58]. Gli item sono valutati su una scala da 0(per niente) a 4(in grandissima misura).

Covariates

Le covariate sono state incluse nei modelli sulla base della teoria e di ricerche precedenti che mostrano che l’età del cliente[45], la dimensione organizzativa[60], le caratteristiche demografiche del clinico (cioè, età, sesso, livello di istruzione, anni di esperienza clinica, esperienza in un’iniziativa EBP prima della linea di base[23]), e gli atteggiamenti del clinico nei confronti degli EBP (come misurato dalla Evidence-Based Practice Attitude Scale (EBPAS)[61]) sono correlati all’uso delle tecniche di psicoterapia da parte dei clinici [23,62-65].

Piano di analisi dei dati

Abbiamo usato modelli di regressione a tre livelli di effetti misti con una distribuzione gaussiana per generare stime dell’uso medio della tecnica dei medici al basale e nel tempo [66]. I modelli sono stati stimati tramite informazioni complete sulla massima probabilità[67] in HLM 6.08[68] e hanno incorporato intercettazioni casuali e un effetto casuale per il tempo a livello clinico e organizzativo per tenere conto della struttura dei dati annidati. Le analisi preliminari hanno indicato che la forma funzionale ottimale per il tempo era una singola tendenza lineare basata su confronti di modelli che utilizzavano il criterio di informazione bayesiano (BIC) di Schwarz, dove valori più bassi indicavano un adattamento superiore. Le differenze nei valori BIC di 5,6 (per uso CBT) e 3,4 (per uso di tecnica psicodinamica) hanno fornito una prova positiva della superiorità del modello di trend lineare rispetto alle parametrizzazioni quadratiche e categoriche del tempo[69]. La tabella 1 presenta la media grezza di ogni variabile dipendente per onda. Le analisi preliminari hanno inoltre confermato la presenza di una significativa varianza nell’uso da parte dei clinici delle tecniche CBT (ICC (1) =.17, p<<.001) e delle tecniche psicodinamiche (ICC (1) =.09, p<<.001) a livello organizzativo. Tutte le analisi controllate per tutte le covariate sopra descritte (cioè, età del cliente, età del clinico, sesso, educazione, anni di esperienza, atteggiamenti verso EBP, partecipazione all’iniziativa EBP prima dell’ingresso nello studio e dimensione dell’organizzazione)[23, 44, 45]. Non mancavano dati a livello organizzativo. Le covariate a livello clinico avevano una mancanza <4%; i risultati del test MCAR di Little hanno indicato che mancavano completamente a caso (χ 2 = 26,10,^{df = 22}, p = 247 ); abbiamo imputato questi valori covariari usando la media seriale [66].Tabella 1Statistiche descrittive per variabili dipendenti e indipendentiOnda 1(n==112) Onda 2 (n==164) Onda 3 (n==151) Media (o %) SDMedia (o %) SDMedia (o %) SDMedia (o %) SDMedia (o %) SDVariabilidipendentiLivello clinico Utilizzo di tecniche CBT (1-5)3.25.703.33.673.673.40.61 Uso di tecniche psicodinamiche (1-5)3.41.663.38.673.673.49.65 Variabili dipendenti Livello clinico a cui il clinico ha partecipato (0-5).63.86.74.991.121.27 Anni di esperienza clinica8.807.438.997.437.897.04 Età dei clinici in anni38.4111.9138.5412.0437.1811.06 Atteggiamenti dei clinici verso EBP (0-4)2.93.512.94.482.90.49 Età del cliente in anni10.703.6810.703.703.4811.053.26 Ha partecipato all’iniziativa EBP prima dell’ingresso nello studio? (sì/no)42%38%38%50% Livello d’istruzione del corso di laurea5%7%7%7% Laurea magistrale86%83%83%83% Laurea specialistica10%10%10%11%.Sesso femminile75%77%83% Livello di organizzazione(N= 20) Dimensione dell’organizzazione (# bambini clienti serviti all’anno) a678490 Cultura competente (T-score, μ=50, σ=10)48.6313.08. Attuazione riconoscimento climatico (0-4)1,91,84. Attuazione clima-ricompensa climatica (0-4).54,51. Attuazione leadership-proattiva (0-4)2,33.74 Leadership nell’implementazione -conoscente (0-4)2,84,65 Leadership nell’implementazione – di supporto (0-4)3,04,73 Leadership nell’implementazione – di supporto (0-4)2,81,75aVariabile è stato diviso per 100 per l’analisi

Il cambiamento medio nell’uso autodichiarato dei clinici delle tecniche di psicoterapia (ipotesi 1) è stato testato in modelli con un effetto principale lineare per le onde e le covariate. Questo ha stimato il cambiamento complessivo nell’uso delle tecniche di psicoterapia da parte dei clinici attraverso le onde. L’influenza della partecipazione dei clinici alle iniziative EBP sull’uso delle tecniche di psicoterapia (ipotesi 2) è stata testata aggiungendo una variabile variabile variabile nel tempo che indicizzava il numero cumulativo di iniziative a cui ciascun clinico aveva partecipato ad ogni ondata (da 0 a 5). Le relazioni tra le variabili organizzative di interesse al baseline e le successive tendenze nell’uso medio delle tecniche di terapia da parte dei clinici nel tempo (ipotesi 3) sono state testate aggiungendo un termine principale di effetto e interazione per ogni moderatore organizzativo. A causa delle elevate inter-correlazioni tra le caratteristiche organizzative (media r==.66), ogni caratteristica organizzativa è stata testata separatamente. La questione dei confronti multipli è complessa e contestata[70, 71]. Per evitare errori di tipo II e la chiusura prematura di importanti linee di indagine, abbiamo usato la procedura Benjamini-Hochberg (B-H) con un tasso di falsificazione di 0,25 per valutare la significatività statistica dei test dei moderatori per ogni variabile di risultato[72]. Per ogni test moderatore, riportiamo i risultati del test B-H di significatività statistica, i valori p non aggiustati e aggiustati e le misure della dimensione dell’effetto. Le dimensioni dell’effetto sono state calcolate utilizzando due metriche. In primo luogo, abbiamo calcolato il cambiamento percentuale nell’uso della tecnica dall’onda 1 all’onda 3. In secondo luogo, abbiamo calcolato una differenza media standardizzata nell’uso della tecnica dall’onda 1 all’onda 3. Dopo aver specificato ogni modello, abbiamo esaminato i residui ai livelli 1, 2 e 3 e abbiamo confermato la sostenibilità delle ipotesi statistiche sottostanti, tra cui la normalità, l’omoscedasticità e la forma funzionale[67].

Risultati

Demografia clinica

I clinici erano per l’80% di sesso femminile(n= 271), avevano una media di 37,52 anni (SD= 11,40), e avevano 8,37 (SD= 7,19) anni di esperienza. Il sedici per cento dei medici ha approvato l’identificazione come ispano/latino. Per quanto riguarda la razza, i medici hanno approvato l’identificazione come Bianco (43,5%), Nero (30,6%), Asiatico-Americano (5,9%), Indiano Americano o Nativo dell’Alaska (1,2%), e Altro (16,5%). Per il 2,4% del campione sono mancate o non sono state segnalate informazioni razziali. La maggior parte dei medici aveva un master (n=288, 85%). Le tre sezioni trasversali dei clinici non differivano per età, sesso, educazione, anni di esperienza, o atteggiamenti verso EBP (tutti ps>.25). I dati demografici del campione corrispondono ampiamente ai dati demografici nazionali dei clinici della salute mentale per quanto riguarda il genere e l’etnia/razza[73].

Partecipazione dei clinici alle iniziative EBP

A conclusione dello studio, 171 (50%) medici avevano partecipato a una o più iniziative EBP. Di questo gruppo, 100 medici (29%) hanno partecipato a una, 39 (12%) a due, 19 (6%) a tre, dieci (3%) a quattro e tre (1%) a cinque iniziative. Si veda la Tabella 1 per il numero medio di iniziative a cui i medici hanno partecipato per ondata.

Tendenze nell’uso della tecnica di psicoterapia da parte dei medici nel tempo

C’è stato un aumento nell’uso medio da parte dei clinici delle tecniche CBT attraverso le onde, controllando per le covariate (B_adj(09, SE=. 04, p=.021); in particolare, l’uso medio di CBT è aumentato di 0,09 punti per onda, con un conseguente aumento del 6% dell’uso medio corretto delle tecniche CBT da parte dei medici dall’onda 1 (M=3,18) all’onda 3 (M=3,37). Ciò rappresenta un piccolo aumento medio standardizzato dell’uso di CBT di d==.29. Al contrario, non è stato osservato alcun cambiamento nell’uso medio corretto delle tecniche psicodinamiche da parte dei medici (B_adjda onda 1 (M=3,37) a onda 3 (M=3,41) . La Tabella 1 e la Fig. 2 mostrano i mezzi non aggiustati della CBT e dell’uso psicodinamico ad ogni onda (Tabella 2).Fig. 2Mezzi non corretti di CBT e uso psicodinamico ad ogni ondaTabella 2Effetti del tempo e della partecipazione alle iniziative EBP sull’uso da parte dei medici di tecniche di psicoterapia basate su prove e non basate su proveUso di tecniche cognitivo-comportamentaliUso di tecniche psicodinamicheModello 1AModello 2AModello 2AModello 1BModello 2BB[95% CI]B[95% CI]B[95% CI]B[95% CI]B[95% CI]B[95% CI]B[95% CI]Tempo.09*[.02-.17].07[-.01-.15].02[-.06-.10].02[-.06-.10].02[-.06-.10]Numero cumulativo di iniziative EBP.09*[.01-.16].01[-.06-.09]K==20 organizzazioni, N==340 medici; terapia cognitivo-comportamentale CBT, pratica EBP basata sull’evidenza. Tutti i modelli di controllo per la dimensione dell’organizzazione, l’atteggiamento del clinico verso la pratica basata sulle evidenze, la partecipazione del clinico alle iniziative di pratica basata sulle evidenze al momento dell’ingresso nello studio (sì/no), la formazione del clinico, gli anni di esperienza, l’età, il sesso e l’età del cliente*p<.05; **p<.01; ***p<.001

Fig. 2.Mezzi non regolati di CBT e uso psicodinamico ad ogni onda

Relazione tra la partecipazione all’iniziativa EBP e l’uso della tecnica di psicoterapia da parte dei medici

La partecipazione dei clinici alle iniziative EBP durante lo studio è stata positivamente correlata all’aumento dell’uso delle tecniche CBT, al controllo per l’onda e a tutte le covariate (B_adj09, SE 04, p 019). Per ogni ulteriore iniziativa EBP, l’uso della tecnica CBT da parte del clinico è aumentato del 3%. Per i medici che non hanno partecipato a nessuna iniziativa EBP, l’uso medio corretto della tecnica CBT è aumentato dall’onda 1(M=3,14) all’onda 3 (M=3,28) di d==,21, un piccolo effetto. In media, i clinici dello studio hanno partecipato a .85 iniziative EBP alla fine dello studio, che corrisponde ad un aumento medio corretto dell’uso di CBT dall’onda 1 (M=3.14) all’onda 3 (M=3.36) del 7% o d==.32, un piccolo effetto. Per i medici che hanno partecipato a due iniziative EBP entro la fine dello studio, l’uso medio corretto del CBT è aumentato dall’onda 1 (M=3.14) all’onda 3 (M=3.46) del 10% o d==.47, un effetto medio. Per il 9,6% dei medici che hanno partecipato a tre o più iniziative EBP alla fine dello studio, l’uso medio corretto di CBT è aumentato di d= .61 (13%) o più, un effetto medio-grande. Si veda la Fig. 3. La partecipazione alle iniziative EBP non era legata all’uso della tecnica psicodinamica da parte dei medici (B_adjFig. 3Cambiamento medio corretto dell’uso del CBT per un clinico che ha partecipato a 0, 1 e 4 iniziative

Fig. 3.Fig. 3. Variazione media corretta dell’uso della CBT per un medico che ha partecipato a 0, 1 e 4 iniziative

Associazioni tra le caratteristiche organizzative di base e le tendenze nell’uso medio delle tecniche di psicoterapia da parte dei medici

Una buona cultura organizzativa al punto di partenza prevede una variazione nel tempo della media di utilizzo della tecnica CBT da parte dei medici (Tabella 3). In particolare, i risultati del modello di regressione a effetti misti hanno indicato che le organizzazioni con culture più competenti alla linea di base hanno mostrato un maggiore aumento dell’uso medio delle tecniche CBT da parte dei clinici attraverso le onde (B_adj007, SE=. 003, p=.048; variazione percentuale= 8%, d==.41) rispetto alle organizzazioni con culture meno competenti (variazione percentuale = -2%, d=-.12). Questo effetto è rimasto significativo dopo l’adeguamento secondo la procedura B-H false discover. Nessuna delle caratteristiche organizzative ha moderato l’effetto del tempo sull’uso della tecnica psicodinamica regolata media dei medici prima o dopo la correzione di B-H (vedi Tabella 3).Tabella 3Relazioni tra le caratteristiche organizzative di base e il cambiamento nell’uso da parte dei clinici di tecniche di psicoterapia basate sull’evidenza e non basate sull’evidenza nell’arco di 5 anniUtilizzo della tecnica cognitivo-comportamentaleUtilizzo della tecnica psicodinamica Cambiamento da W1 a W3 (Cohen’s d)% Cambiamento da W1 a W3 (Cohen’s d)ModeratoreB[ 95% CI]pp_adj
Moderatore = BassoModeratore = AltoB[95% CI]pp_adj
Moderatore = BassoModeratore = Cultura organizzativa di alto livello -2% (d=-.12) 8% (d=-.41) -3% (d=-.41).18) 4%(d=.20) Effetto principale del moderatore a W1-.007[-.023-.008].311-.005[-.018-.007].403 Effetto principale dell’onda.047041-.135].272.003 [-.083-.090].936 Moderatore per interazione delle onde.007^a[.001-.013].048.144.005[-.002-.011].130.334Clima di attuazione3% (d==.14)5% (d==.26)3% (d===.17)-1% (d=-.05)■ Principale effetto del moderatore a W1.090[-.332-.511].660.188[-.138-.514].240 ■ Principale effetto dell’onda.065022-.152].134.020 [-.063-.103].618 Moderatore per interazione delle onde.039[− .133–.210].641.641− .072[− .226–.081].334.334Implementazione Leadership1%(d=.07)8% (d=.38)-1% (d=-.08)4%(d=.20) Effetto principale del moderatore a W1-.064[-.376-.247].669-.145[-.408-.117].258 Effetto principale dell’onda.072086.020 [-.011-.155].086.020 [-.062-.102].618 Moderatore per interazione delle onde.073263.395.065 [-060-.207].263.395.065 [-.067-.198].312.334K=20 organizzazioni,N=340 medici. Terapia cognitiva comportamentale CBT, p_adj
p corretto con la procedura Benjamini-Hochberg con un tasso di falsificazione di 0,25. Onda W1 onda 1; onda W3 onda 3. Risultati basati su modelli di regressione a tre livelli di effetti misti con onda a livello 1, clinico a livello 2 e organizzazione a livello 3. Tutti i modelli controllano la dimensione dell’organizzazione, la formazione del clinico, gli anni di esperienza, l’età, il sesso, l’atteggiamento verso la pratica basata sull’evidenza, la partecipazione a iniziative di pratica basata sull’evidenza (EBP) all’ingresso nello studio (sì/no), e il numero cumulativo di iniziative EBP a cui hanno partecipato per onda, e l’età del cliente. I valori bassi e alti del moderatore corrispondono a ± 1 SD, l’effetto di respectivelyaEffetto è statisticamente significativo secondo il valore p non aggiustato e basato sulla procedura di Benjamini-Hochberg

Discussione

Questo studio rappresenta un’opportunità per imparare da un sistema che incoraggia l’implementazione di EBP[10, 14] e può informare la politica e la ricerca future. In primo luogo, in un sistema pubblico che supporta l’implementazione di EBP, l’uso di EBP è aumentato nel tempo e i clinici che hanno partecipato a iniziative di formazione sponsorizzate dal sistema hanno aumentato ancora di più il loro uso di EBP. In secondo luogo, una cultura organizzativa competente ha modificato l’effetto degli sforzi del sistema per aumentare l’implementazione, il che chiarisce un potenziale obiettivo futuro per le prove di strategia di implementazione [28,74]. Mentre il lavoro precedente ha identificato le associazioni correlazionali tra fattori determinanti come la cultura organizzativa competente e i risultati, questo studio fa avanzare il campo delineati prospetticamente la relazione tra cultura competente e cambiamento nel tempo. Nonostante il nostro entusiasmo per questi risultati, è importante notare che si tratta di limiti preliminari dello studio (ad esempio, l’autovalutazione dell’uso pratico e la mancanza di un sistema di confronto).

Come previsto, l’uso clinico degli EBP è aumentato modestamente nei 5 anni in cui il sistema ha creato un’infrastruttura centralizzata per de-silosare l’implementazione degli EBP [10]. Sebbene solo la metà dei clinici dello studio abbia partecipato ad iniziative EBP sponsorizzate dal sistema, c’è stato un aumento significativo dell’uso degli EBP a livello di sistema da parte dei clinici durante il periodo di studio. Le potenziali spiegazioni includono che i supervisori formati in questi EBP attraverso le iniziative EBP possono aver supportato i clinici non formalmente formati nell’applicazione di queste tecniche, che le interazioni tra pari possono aver aumentato l’interesse dei clinici per queste tecniche, o che la cultura di sistema che cambia potrebbe riflettere nuove priorità organizzative. I clinici che hanno partecipato alle iniziative di formazione EBP sponsorizzate dal sistema hanno aumentato il loro uso degli EBP il doppio rispetto a quelli non formati formalmente. Anche se questi aumenti sono promettenti, gli effetti non sono stati di grande portata e sollevano domande sul significato clinico. In un sistema di grandi dimensioni che serve oltre 30.000 bambini e famiglie all’anno, un aumento del 6% potrebbe avere un impatto sulla salute mentale della popolazione, ma sono necessarie ulteriori ricerche per comprendere l’impatto clinico di piccoli aumenti dell’uso degli EBP a livello di sistema. Gli studi futuri che valutano l’impatto dell’implementazione a livello di sistema devono includere i risultati dei clienti utilizzando progetti ibridi di implementazione efficace[75] per assicurare che l’obiettivo finale degli sforzi di implementazione (cioè, il raggiungimento e i risultati del cliente) sia raggiunto e che si possa rispondere alle domande relative al significato clinico e al rapporto costo-efficacia.

Coerentemente con la letteratura[53, 56, 76-78], i clinici che lavorano in organizzazioni con culture più competenti alla linea di base hanno mostrato un maggiore aumento dell’uso della CBT. Questo estende i risultati precedenti collegando prospetticamente la cultura della competenza all’aumento dell’uso di EBP nel tempo. I clinici che lavorano in tali organizzazioni possono essere più motivati a migliorare la loro competenza nelle pratiche aggiornate e hanno maggiori opportunità di partecipare alla formazione EBP grazie alla priorità EBP dei leader. Sebbene la cultura della competenza sia un costrutto più distale sul percorso di implementazione causale, questi risultati preliminari suggeriscono l’importanza di occuparsi dei fattori organizzativi generali nel processo di implementazione. Il lavoro futuro dovrebbe chiarire se la cultura della competenza è un obiettivo più potente per gli sforzi di implementazione rispetto alla formazione e alle iniziative di supporto continuo o se questi si traducono in un effetto sinergico.

L’uso di tecniche non basate su prove da parte dei clinici è rimasto stabile. Dato che c’è una scarsa conoscenza dell’effetto dell’erogazione di EBP insieme ad approcci potenzialmente controindicati[23], questi risultati indicano l’importanza di assistere alla deimplementazione[79, 80]. Inoltre, questa constatazione fornisce la prova di una validità discriminante e suggerisce che le relazioni osservate tra la partecipazione all’iniziativa e la cultura organizzativa competente non sono dovute a constatazioni spurie o a una comune varianza di errori di metodo[81].

I limiti metodologici dello studio includono che questo studio è stato condotto in un solo sistema e che gli aumenti di CBT osservati possono essere una tendenza nazionale; che i risultati possono essere influenzati dagli effetti di coorte; che ci siamo basati sull’uso di tecniche auto-riferite dai clinici[82, 83][84] piuttosto che sull’effettivo comportamento dei clinici o sui risultati dei pazienti; che il tasso di risposta è stato solo del 60%; che le strategie di implementazione non sono state manipolate sperimentalmente; e che questi risultati possono non generalizzarsi alle organizzazioni più piccole e/o alle organizzazioni di singoli clinici, dato che abbiamo focalizzato il nostro campionamento su organizzazioni con programmi più grandi. I limiti analitici dello studio includono il fatto che abbiamo condotto più test di moderatori, dati i nostri obiettivi esplorativi, il che ha aumentato la probabilità di un errore di tipo I; che lo studio potrebbe essere stato poco efficace nel rilevare gli effetti dei moderatori organizzativi, dato il campione di 20 organizzazioni a livello 3; e che i risultati includevano ampi intervalli di confidenza su tutti gli effetti che si sovrappongono quasi a zero.

Conclusioni

Nonostante i notevoli sforzi compiuti negli ultimi 20 anni per implementare gli EBP, raramente gli effetti a valle sono stati misurati sistematicamente [85]. Questo studio fornisce un’idea del cambiamento nell’uso degli EBP per i giovani con disturbi psichiatrici e suggerisce che gli sforzi del sistema per implementare gli EBP possono portare a modesti cambiamenti nel comportamento dei medici. Suggerisce anche la potenziale importanza di occuparsi dei fattori organizzativi quando si prendono di mira le strategie di implementazione. È lodevole che i sistemi stiano dando priorità agli EBP e che stiano applicando i principi della scienza dell’implementazione per generare un cambiamento nel comportamento del clinico. Se i risultati di questo studio vengono replicati in altri contesti, la ricerca futura dovrebbe sviluppare strategie di implementazione che vadano oltre la formazione e la consultazione per indirizzare e allineare le caratteristiche del sistema come le politiche e i finanziamenti e le caratteristiche organizzative, come le culture competenti, in modo da ottenere un’efficacia ottimale[86].

References

1. Hoagwood KE, Olin SS, Horwitz S, McKay M, Cleek A, Gleacher A. Scaling up evidence-based practices for children and families in New York state: toward evidence-based policies on implementation for state mental health systems. J Clin Child Adolesc Psychol. 2014; 43(2):145-157. DOI | PubMed
2. Bruns EJ, Kerns SE, Pullmann MD, Hensley SW, Lutterman T, Hoagwood KE. Research, data, and evidence-based treatment use in state behavioral health systems, 2001–2012. Psychiatr Serv. 2015; 67(5):496-503. DOI | PubMed
3. Rubin RM, Hurford MO, Hadley T, Matlin SL, Weaver S, Evans AC. Synchronizing watches: the challenge of aligning implementation science and public systems. Admin Pol Ment Health. 2016; 43(6):1023-1028. DOI
4. Regan J, Lau AS, Barnett M, Stadnick N, Hamilton A, Pesanti K. Agency responses to a system-driven implementation of multiple evidence-based practices in children’s mental health services. BMC Health Serv Res. 2017; 17(1):671. DOI | PubMed
5. Walker SC, Lyon AR, Aos S, Trupin EW. The consistencies and vagaries of the Washington state inventory of evidence-based practice: the definition of “evidence-based” in a policy context. Admin Pol Ment Health. 2017; 44(1):42-54. DOI
6. Mark DD, Rene’e WL, White JP, Bransford D, Johnson KG, Song VL. Hawaii’s statewide evidence-based practice program. Nurs Clin. 2014; 49(3):275-290. DOI
7. Cristofalo MA. Implementation of health and mental health evidence-based practices in safety net settings. Soc Work Health Care. 2013; 52(8):728-740. DOI | PubMed
8. Hemmelgarn AL, Glisson C, James LR. Organizational culture and climate: implications for services and interventions research. Clin Psychol. 2006; 13(1):73-89. DOI
9. Okamura KH, Wolk B, Courtney L, Kang-Yi CD, Stewart R, Rubin RM. The price per prospective consumer of providing therapist training and consultation in seven evidence-based treatments within a large public behavioral health system: an example cost-analysis metric. Front Public Health. 2018; 5:356. DOI | PubMed
10. Powell BJ, Beidas RS, Rubin RM, Stewart RE, Wolk CB, Matlin SL. Applying the policy ecology framework to Philadelphia’s behavioral health transformation efforts. Admin Pol Ment Health. 2016; 43(6):909-926. DOI
11. Stewart RE, Marcus SC, Hadley TR, Hepburn BM, Mandell DS. State adoption of incentives to promote evidence-based practices in behavioral health systems. Psychiatr Serv. 2018; 69(6):685-688. DOI | PubMed
12. Brown CH, Curran G, Palinkas LA, Aarons GA, Wells KB, Jones L. An overview of research and evaluation designs for dissemination and implementation. Annu Rev Public Health. 2017; 38:1-22. DOI | PubMed
13. Starin AC, Atkins MS, Wehrmann KC, Mehta T, Hesson-McInnis MS, Marinez-Lora A. Moving science into state child and adolescent mental health systems: Illinois’ evidence-informed practice initiative. J Clin Child Adolesc Psychol. 2014; 43(2):169-178. DOI | PubMed
14. Beidas RS, Aarons GA, Barg F, Evans AC, Hadley T, Hoagwood KE. Policy to implementation: evidence-based practice in community mental health–study protocol. Implement Sci. 2013; 8(1):38. DOI | PubMed
15. Brookman-Frazee L, Stadnick N, Roesch S, Regan J, Barnett M, Bando L. Measuring sustainment of multiple practices fiscally mandated in children’s mental health services. Admin Pol Ment Health. 2016; 43(6):1009-1022. DOI
16. Aarons GA, Hurlburt M, Horwitz SM. Advancing a conceptual model of evidence-based practice implementation in public service sectors. Admin Pol Ment Health. 2011; 38(1):4-23. DOI
17. Nilsen P. Making sense of implementation theories, models and frameworks. Implement Sci. 2015; 10(1):53. DOI | PubMed
18. Damschroder LJ, Aron DC, Keith RE, Kirsh SR, Alexander JA, Lowery JC. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implement Sci. 2009; 4(1):50. DOI | PubMed
19. Aarons GA, Ehrhart MG, Farahnak LR, Sklar M. Aligning leadership across systems and organizations to develop a strategic climate for evidence-based practice implementation. Annu Rev Public Health. 2014; 35:255-274. DOI | PubMed
20. Cameron KS, Quinn RE. Diagnosing and changing organizational culture: based on the competing values framework. Wiley: San Francisco; 2011.
21. Hartnell CA, Ou AY, Kinicki A. Organizational culture and organizational effectiveness: a meta-analytic investigation of the competing values framework’s theoretical suppositions. J Appl Psychol. 2011; 96(4):677. DOI | PubMed
22. Brownson RC, Royer C, Ewing R, McBride TD. Researchers and policymakers: travelers in parallel universes. Am J Prev Med. 2006; 30(2):164-172. DOI | PubMed
23. Beidas RS, Marcus S, Aarons GA, Hoagwood KE, Schoenwald S, Evans AC. Predictors of community therapists’ use of therapy techniques in a large public mental health system. JAMA Pediatr. 2015; 169(4):374-382. DOI | PubMed
24. Locke J, Lawson GM, Beidas RS, Aarons GA, Xie M, Lyon AR. Individual and organizational factors that affect implementation of evidence-based practices for children with autism in public schools: a cross-sectional observational study. Implement Sci. 2019; 14(1):29. DOI | PubMed
25. Guerrero EG, Fenwick K, Kong Y. Advancing theory development: exploring the leadership–climate relationship as a mechanism of the implementation of cultural competence. Implement Sci. 2017; 12(1):133. DOI | PubMed
26. Williams NJ, Glisson C, Hemmelgarn A, Green P. Mechanisms of change in the ARC organizational strategy: increasing mental health clinicians’ EBP adoption through improved organizational culture and capacity. Admin Pol Ment Health. 2017; 44(2):269-283. DOI
27. Saldana L, Chamberlain P, Wang W, Brown CH. Predicting program start-up using the stages of implementation measure. Admin Pol Ment Health. 2012; 39(6):419-425. DOI
28. Lewis CC, Klasnja P, Powell BJ, Tuzzio L, Jones S, Walsh-Bailey C. From classification to causality: advancing understanding of mechanisms of change in implementation science. Front Public Health. 2018; 6:136. DOI | PubMed
29. Powell BJ, Fernandez ME, Williams NJ, Aarons GA, Beidas RS, Lewis CC. Enhancing the impact of implementation strategies in healthcare: a research agenda. Front Public Health. 2019; 7:3. DOI | PubMed
30. Williams Nathaniel J., Beidas Rinad S.. Annual Research Review: The state of implementation science in child psychology and psychiatry: a review and suggestions to advance the field. Journal of Child Psychology and Psychiatry. 2018; 60(4):430-450. DOI | PubMed
31. Chambless DL, Ollendick TH. Empirically supported psychological interventions: controversies and evidence. Annu Rev Psychol. 2001; 52(1):685-716. DOI | PubMed
32. Garland AF, Brookman-Frazee L, Hurlburt MS, Accurso EC, Zoffness RJ, Haine-Schlagel R. Mental health care for children with disruptive behavior problems: a view inside therapists’ offices. Psychiatr Serv. 2010; 61(8):788-795. DOI | PubMed
33. Hofmann SG, Asnaani A, Vonk IJ, Sawyer AT, Fang A. The efficacy of cognitive behavioral therapy: a review of meta-analyses. Cognit Ther Res. 2012; 36(5):427-440. DOI | PubMed
34. Weisz John R., Kuppens Sofie, Ng Mei Yi, Eckshtain Dikla, Ugueto Ana M., Vaughn-Coaxum Rachel, Jensen-Doss Amanda, Hawley Kristin M., Krumholz Marchette Lauren S., Chu Brian C., Weersing V. Robin, Fordwood Samantha R.. What five decades of research tells us about the effects of youth psychological therapy: A multilevel meta-analysis and implications for science and practice. American Psychologist. 2017; 72(2):79-117. DOI | PubMed
35. Zhou X, Hetrick SE, Cuijpers P, Qin B, Barth J, Whittington CJ. Comparative efficacy and acceptability of psychotherapies for depression in children and adolescents: a systematic review and network meta-analysis. World Psychiatry. 2015; 14(2):207-222. DOI | PubMed
36. Abbass AA, Rabung S, Leichsenring F, Refseth JS, Midgley N. Psychodynamic psychotherapy for children and adolescents: a meta-analysis of short-term psychodynamic models. J Am Acad Child Adolesc Psychiatry. 2013; 52(8):863-875. DOI | PubMed
37. De Nadai AS, Storch EA. Design considerations related to short-term psychodynamic psychotherapy. J Am Acad Child Adolesc Psychiatry. 2013; 52(11):1213-1214. DOI | PubMed
38. Steel D. Encyclopedia of survery research methods. Edited by Layrakas PJ. SAGE Publications: Thousand Oaks, CA; 2008.
39. Stirman SW, Buchhofer R, McLaulin JB, Evans AC, Beck AT. Public-academic partnerships: the Beck initiative: a partnership to implement cognitive therapy in a community behavioral health system. Psychiatr Serv. 2009; 60(10):1302-1304. DOI | PubMed
40. Foa EB, Hembree EA, Cahill SP, Rauch SA, Riggs DS, Feeny NC. Randomized trial of prolonged exposure for posttraumatic stress disorder with and without cognitive restructuring: outcome at academic and community clinics. J Consult Clin Psychol. 2005; 73(5):953. DOI | PubMed
41. Beidas RS, Adams DR, Kratz HE, Jackson K, Berkowitz S, Zinny A. Lessons learned while building a trauma-informed public behavioral health system in the city of Philadelphia. Eval Program Plann. 2016; 59:21-32. DOI | PubMed
42. Linehan M. DBT skills training manual. Guilford Publications: New York; 2014.
43. Eyberg S. Parent-child interaction therapy: integration of traditional and behavioral concerns. Child Fam Behav Ther. 1988; 10(1):33-46. DOI
44. Skriner LC, Wolk CB, Stewart RE, Adams DR, Rubin RM, Evans AC. Therapist and organizational factors associated with participation in evidence-based practice initiatives in a large urban publicly-funded mental health system. J Behav Health Serv Res. 2017; 45(2):174-186. DOI
45. Benjamin Wolk C, Marcus SC, Weersing VR, Hawley KM, Evans AC, Hurford MO. Therapist-and client-level predictors of use of therapy techniques during implementation in a large public mental health system. Psychiatr Serv. 2016; 67(5):551-557. DOI | PubMed
46. Babbar S, Adams DR, Becker-Haimes EM, Skriner LC, Kratz HE, Cliggitt L. Therapist turnover and client non-attendance. Child Youth Serv Rev. 2018; 93:12-16. DOI
47. Weersing VR, Weisz JR, Donenberg GR. Development of the therapy procedures checklist: a therapist-report measure of technique use in child and adolescent treatment. J Clin Child Adolesc Psychol. 2002; 31(2):168-180. DOI | PubMed
48. Kolko DJ, Cohen JA, Mannarino AP, Baumann BL, Knudsen K. Community treatment of child sexual abuse: a survey of practitioners in the National Child Traumatic Stress Network. Admin Pol Ment Health. 2009; 36(1):37-49. DOI
49. Do M, Warnick E, Weersing V. Poster presented at the annual meeting of the Association for Behavioral and Cognitive Therapies (ABCT). National Harbor: MD; 2012.
50. James LR, Demaree RG, Wolf G. Estimating within-group interrater reliability with and without response bias. J Appl Psychol. 1984; 69(1):85. DOI
51. Brown RD, Hauenstein NM. Interrater agreement reconsidered: an alternative to the rwg indices. Organ Res Methods. 2005; 8(2):165-184. DOI
52. Bliese PD. Multilevel theory, research, and methods in organizations: foundations, extensions, and new directions. Jossey-Bass: San Francisco; 2000.
53. Glisson C, Landsverk J, Schoenwald SK, Kelleher K, Hoagwood KE, Mayberg S. Assessing the organizational social context (OSC) of mental health services: implications for research and practice. Admin Pol Ment Health. 2008; 35:98-113. DOI
54. Williams NJ, Glisson C. Testing a theory of organizational culture, climate and youth outcomes in child welfare systems: a United States national study. Child Abuse Negl. 2014; 38(4):757-767. DOI | PubMed
55. Aarons GA, Glisson C, Green PD, Hoagwood KE, Kelleher KJ, Landsverk JA. The organizational social context of mental health services and clinician attitudes toward evidence-based practice: a United States national study. Implement Sci. 2012; 7(1):56. DOI | PubMed
56. Olin SS, Williams NJ, Pollock M, Armusewicz K, Kutash K, Glisson C. Quality indicators for family support services and their relationship to organizational social context. Admin Pol Ment Health. 2014; 41(1):43-54. DOI
57. Aarons GA, Ehrhart MG, Farahnak LR. The implementation leadership scale (ILS): development of a brief measure of unit level implementation leadership. Implement Sci. 2014; 9(1):45. DOI | PubMed
58. Ehrhart MG, Aarons GA, Farahnak LR. Assessing the organizational context for EBP implementation: the development and validity testing of the implementation climate scale (ICS). Implement Sci. 2014; 9(1):157. DOI | PubMed
59. Beidas Rinad S., Stewart Rebecca E., Adams Danielle R., Fernandez Tara, Lustbader Susanna, Powell Byron J., Aarons Gregory A., Hoagwood Kimberly E., Evans Arthur C., Hurford Matthew O., Rubin Ronnie, Hadley Trevor, Mandell David S., Barg Frances K.. A Multi-Level Examination of Stakeholder Perspectives of Implementation of Evidence-Based Practices in a Large Urban Publicly-Funded Mental Health System. Administration and Policy in Mental Health and Mental Health Services Research. 2015; 43(6):893-908. DOI
60. Beidas RS, Skriner L, Adams D, Wolk CB, Stewart RE, Becker-Haimes E. The relationship between consumer, clinician, and organizational characteristics and use of evidence-based and non-evidence-based therapy strategies in a public mental health system. Behav Res Ther. 2017; 99:1-10. DOI | PubMed
61. Aarons GA, Glisson C, Hoagwood KE, Kelleher K, Landsverk J, Cafri G. Psychometric properties and US national norms of the evidence-based practice attitude scale (EBPAS). Psychol Assess. 2010; 22(2):356. DOI | PubMed
62. Garner BR, Godley SH, Bair CM. The impact of pay-for-performance on therapists’ intentions to deliver high-quality treatment. J Subst Abus Treat. 2011; 41(1):97-103. DOI
63. Henggeler SW, Chapman JE, Rowland MD, Halliday-Boykins CA, Randall J, Shackelford J. Statewide adoption and initial implementation of contingency management for substance-abusing adolescents. J Consult Clin Psychol. 2008; 76(4):556-567. DOI | PubMed
64. Jensen-Doss A, Hawley KM, Lopez M, Osterberg LD. Using evidence-based treatments: the experiences of youth providers working under a mandate. Prof Psychol Res Pr. 2009; 40(4):417. DOI
65. Williams JR, Williams WO, Dusablon T, Blais MP, Tregear SJ, Banks D. Evaluation of a randomized intervention to increase adoption of comparative effectiveness research by community health organizations. J Behav Health Serv Res. 2014; 41(3):308-323. DOI | PubMed
66. Enders CK. Applied missing data analysis. Guildford Press: New York; 2010.
67. Raudenbush SW, Bryk AS. Hierarchical linear models: applications and data analysis methods. Sage Publications: Thousand Oaks, CA; 2002.
68. Raudenbush SW, Bryk AS, Congdon R. HLM 6 for windows. In., 6.08 edn. Scientific software international, Inc.: Lincolnwood; 2004.
69. Raftery AE. Bayesian model selection in social research. Sociol Methodol. 1995; 25:111-164. DOI
70. Rothman K: No adjustments are needed for multiple comparisons. 1990; 1:43–46.
71. Michels K, Rosner B. Data trawling: to fish or not to fish. Lancet. 1996; 348:1152-1153. DOI | PubMed
72. Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. J R Stat Soc Ser B Methodol. 1995; 57(1):289-300. DOI
73. . Accessed: April 23, 2019.Publisher Full Text
74. Williams NJ. Multilevel mechanisms of implementation strategies in mental health: integrating theory, research, and practice. Admin Pol Ment Health. 2016; 43(5):783-798. DOI
75. Curran GM, Bauer M, Mittman B, Pyne JM, Stetler C. Effectiveness-implementation hybrid designs: combining elements of clinical effectiveness and implementation research to enhance public health impact. Med Care. 2012; 50(3):217-226. DOI | PubMed
76. Glisson C, Schoenwald SK, Kelleher K, Landsverk J, Hoagwood KE, Mayberg S. Therapist turnover and new program sustainability in mental health clinics as a function of organizational culture, climate, and service structure. Admin Pol Ment Health. 2008; 35(1–2):124-133. DOI
77. Glisson C, Hemmelgarn A, Green P, Williams NJ. Randomized trial of the availability, responsiveness and continuity (ARC) organizational intervention for improving youth outcomes in community mental health programs. J Am Acad Child Adolesc Psychiatry. 2013; 52(5):493-500. DOI | PubMed
78. Glisson C. Assessing and changing organizational culture and climate for effective services. Res Soc Work Pract. 2007; 17(6):736-747. DOI
79. Wang V, Maciejewski ML, Helfrich CD, Weiner BJ. Working smarter not harder: coupling implementation to de-implementation. Healthcare. 2018; 6:104-107. DOI | PubMed
80. McKay VR, Morshed AB, Brownson RC, Proctor EK, Prusaczyk B. Letting go: conceptualizing intervention de-implementation in public health and social service settings. Am J Community Psychol. 2018; 62:189-202. DOI | PubMed
81. Podsakoff N. Common method biases in behavioral research: a critical review of the literature and recommended remedies. J Appl Psychol. 2003; 88(5):879-903. DOI | PubMed
82. Bellg AJ, Borrelli B, Resnick B, Hecht J, Minicucci DS, Ory M. Enhancing treatment fidelity in health behavior change studies: best practices and recommendations from the NIH behavior change consortium. Health Psychol. 2004; 23(5):443-451. DOI | PubMed
83. Hogue A, Dauber S, Lichvar E, Bobek M, Henderson CE. Validity of therapist self-report ratings of fidelity to evidence-based practices for adolescent behavior problems: correspondence between therapists and observers. Admin Pol Ment Health. 2015; 42(2):229-243. DOI
84. Hurlburt MS, Garland AF, Nguyen K, Brookman-Frazee L. Child and family therapy process: concordance of therapist and observational perspectives. Admin Pol Ment Health. 2010; 37(3):230-244. DOI
85. McHugh RK, Barlow DH. The dissemination and implementation of evidence-based psychological treatments: a review of current efforts. Am Psychol. 2010; 65(2):73-84. DOI | PubMed
86. Aarons GA, Ehrhart MG, Farahnak LR, Hurlburt MS. Leadership and organizational change for implementation (LOCI): a randomized mixed method pilot study of a leadership and organization development intervention for evidence-based practice implementation. Implement Sci. 2015; 10(1):11. DOI | PubMed