Test di una teoria della leadership strategica di implementazione, del clima di implementazione e dell’uso da parte dei medici della pratica basata sull’evidenza: un’analisi di 5 anni di panel

Background

Aumentare l’erogazione di pratiche basate sull’evidenza (EBP) in contesti comunitari è uno dei principali obiettivi degli sforzi per trasformare l’erogazione di assistenza sanitaria e comportamentale a livello globale, data la diffusa evidenza di lacune nella qualità e nell’efficacia dei servizi sanitari[1- 4]. Mentre la scienza dell’implementazione ha contribuito con una miriade di quadri, metodi e risultati negli ultimi due decenni[5], c’è un crescente bisogno di comprendere i meccanismi o le leve che possono essere indirizzate per migliorare l’adozione, l’implementazione e il sostegno degli EBP nei sistemi sanitari e comportamentali[6-8]. I meccanismi rappresentano i processi causali attraverso i quali si verifica un risultato[9-11]. Ad oggi, molti framework di implementazione hanno proposto variabili concettualmente correlate all’implementazione degli EBP[12, 13], e i ricercatori hanno iniziato a convalidare le misure di questi costrutti[14] e a studiare come questi costrutti si relazionano tra loro e con i risultati dell’implementazione in studi trasversali[15]. Un passo successivo essenziale è quello di verificare se i cambiamenti di queste variabili contribuiscono a modificare i risultati dell’implementazione utilizzando disegni sperimentali, longitudinali e/o quasi sperimentali che incorporano controlli rigorosi[6, 9]. In questo studio, facciamo progredire la comprensione dei meccanismi che influenzano l’implementazione di EBP esaminando come i cambiamenti nella leadership organizzativa e nel clima influenzano l’uso di EBP da parte dei clinici per un periodo di 5 anni in un ampio campione di agenzie di salute comportamentale basate sulla comunità che servono i giovani [16].

Il ruolo dei leader di primo livello nell’implementazione di EBP

I quadri di implementazione pongono l’importanza dei leader organizzativi e il loro uso di specifici comportamenti di leadership come potenziali meccanismi per migliorare l’implementazione di EBP in ambito sanitario[17-20]. Queste strutture convergono sull’importanza dei leader a più livelli – dai dirigenti che prendono decisioni sull’implementazione di un EBP ai leader di primo livello che supervisionano direttamente i medici [21-23] – così come sull’importanza di allineare la leadership tra i vari livelli [24-26]. Inoltre, molte strutture suggeriscono l’importanza unica dei leader di primo livello, noti anche come middle manager, che supervisionano direttamente i clinici in prima linea[21, 27]. I leader di primo livello sono ritenuti importanti per supportare l’implementazione di EBP perché hanno frequenti contatti interpersonali con i clinici, svolgono un ruolo di primo piano nella supervisione e nella guida dell’assistenza clinica, e formano un ponte tra i dirigenti che spesso prendono decisioni sull’adozione di EBP e i clinici che hanno il compito di implementare EBP con i clienti[28, 29].

In questo studio, testiamo una teoria di leadership dell’implementazione proposta da Aarons et al.[24, 27, 30] che pone ipotesi specifiche riguardanti i tipi di comportamenti che i leader di primo livello possono utilizzare per influenzare il comportamento di implementazione degli EBP dei clinici e il meccanismo specifico attraverso il quale questi comportamenti influenzano la pratica clinica. Come mostrato nella Fig. 1, questa teoria suggerisce che quando i leader di primo livello usano uno specifico insieme di comportamenti chiamati ‘leadership di implementazione’, miglioreranno l’implementazione EBP dei clinici creando un clima di implementazione EBP all’interno dell’organizzazione che trasmette forti aspettative, supporto e ricompense per l’uso di EBP [31- 33]. A sua volta, la creazione di un clima di implementazione EBP all’interno dell’organizzazione serve come il più vicino, saliente e potente antecedente a livello organizzativo al comportamento di implementazione EBP dei clinici [30].Fig. 1Modello teorico dello studio. L’ipotesi 1 afferma che l’aumento dell’uso dei leader di primo livello nell’organizzazione del comportamento di leadership nell’implementazione migliorerà il clima di implementazione di EBP all’interno della loro organizzazione (percorso a). L’ipotesi 2 afferma che l’aumento del clima di implementazione di EBP all’interno dell’organizzazione contribuirà all’aumento dell’uso di EBP da parte dei clinici, controllando la leadership di implementazione (percorso b). L’ipotesi 4 afferma che l’aumento della leadership all’interno dell’organizzazione migliorerà indirettamente l’uso di EBP da parte dei medici attraverso il miglioramento del clima di implementazione di EBP all’interno dell’organizzazione (percorso a × percorso b). I coefficienti di percorso sono stimati utilizzando modelli di regressione econometrica a due vie a effetti fissi a livello di organizzazione; essi rappresentano le relazioni tra il cambiamento all’interno dell’organizzazione nell’antecedente e il cambiamento all’interno dell’organizzazione nel conseguente, controllando per tutte le caratteristiche organizzative stabili, le tendenze della popolazione nei conseguenti nel tempo, e le covariate variabili nel tempo del clima organizzativo molare, la leadership trasformazionale, e la composizione della forza lavoro (vedi Tabella 3, k = 73, N = 30).

Il clima di implementazione di EBP, definito come la misura in cui i dipendenti condividono la percezione che l’adozione e l’implementazione di EBP è attesa, sostenuta e premiata all’interno della loro organizzazione[31, 34, 35], è ipotizzato essere importante per plasmare il comportamento di implementazione dei clinici, in parte a causa della difficoltà intrinseca nel monitorare e controllare da vicino i processi di erogazione della sanità [36]. A differenza dei processi di produzione e dei processi di produzione, che sono altamente routinizzati, prevedibili e osservabili, il processo di erogazione di assistenza sanitaria comportamentale non è routinizzato e spesso imprevedibile, prodotto simultaneamente dai clinici e consumato dai pazienti, e si verifica in incontri privati[37]. Queste caratteristiche rendono difficile e costoso garantire che gli EBP siano erogati con fedeltà durante ogni incontro clinico. In alternativa, i leader organizzativi possono allineare le politiche, le procedure, le pratiche, gli incentivi e i supporti organizzativi per creare un clima di implementazione degli EBP che sposta gli atteggiamenti e la motivazione dei clinici verso l’uso efficace degli EBP nella loro pratica [31,33, 38]. Quando le percezioni dei clinici sul clima di implementazione di EBP sono elevate, ciò segnala una convinzione condivisa che l’uso di EBP è una priorità vera e duratura per l’organizzazione piuttosto che una tendenza passeggera che può essere ignorata. Studi trasversali dimostrano che le organizzazioni sanitarie variano significativamente nei loro livelli di clima di implementazione di EBP e che i clinici delle organizzazioni con livelli più alti di clima di implementazione di EBP hanno un atteggiamento migliore verso gli EBP e li utilizzano in misura maggiore rispetto a quelli delle organizzazioni con bassi livelli di clima di implementazione di EBP[39- 42]. Mancano, tuttavia, dati su se e come il clima di implementazione di EBP cambia nel tempo e come questi cambiamenti si relazionano al cambiamento del comportamento dei clinici.

I leader di primo livello sono chiamati a giocare un ruolo chiave nel plasmare il clima di implementazione di EBP perché sono la rappresentazione più saliente e immediata delle aspettative, delle politiche, delle procedure e delle pratiche dell’organizzazione che costituiscono la base per le percezioni del clima dei clinici [28]. Da un punto di vista interattivo, i leader di primo livello usano sia la leadership di trasformazione generale che i comportamenti di leadership di implementazione strategicamente focalizzati per influenzare le percezioni dei clinici sul clima di implementazione di EBP [36]. Come descritto dal modello di leadership a tutto campo, la leadership trasformazionale si riferisce ad un insieme di comportamenti di leadership generale che sono applicabili in molti contesti in cui il leader desidera ispirare e motivare i seguaci a perseguire un ideale o un corso d’azione[43]. I leader che sono trasformazionali servono come modelli di ruolo idealizzati delle qualità e dei comportamenti che sperano che i loro seguaci mettano in pratica. Essi presentano una visione basata sui valori che ispira l’azione e coinvolgono l’intelletto dei loro seguaci nel risolvere insieme le sfide critiche nel contesto di relazioni di sostegno [43]. All’interno del modello di Aaron et al. [24,27, 30], questi comportamenti di leadership generale formano una base necessaria ma non sufficiente su cui il leader costruisce per migliorare l’implementazione di EBP.

In contrasto con i comportamenti di leadership trasformazionali generalizzati e largamente applicabili, la leadership di implementazione si riferisce a comportamenti di leadership strategicamente focalizzati che riflettono l’impegno, il supporto e la perseveranza del leader durante l’implementazione di EBP [27,36, 44]. Mentre la leadership trasformazionale fornisce una base di fiducia per la relazione leader-clinico, la leadership di implementazione focalizza tale relazione, in parte, sull’integrazione dell’uso di EBP nella pratica clinica. Attingendo al concetto di meccanismi di incorporazione del clima, che rappresentano i comportamenti che i leader utilizzano per creare un tipo specifico di clima all’interno della loro organizzazione[24, 45], Aarons et al.[27] affermano che la leadership nell’implementazione si manifesta attraverso comportamenti di (a) pianificazione proattiva e rimozione degli ostacoli all’implementazione, (b) dimostrazione e applicazione delle conoscenze relative allo specifico EBP in fase di implementazione, (c) supporto e apprezzamento degli sforzi dei follower per implementare l’EBP, e (d) risposta efficace alle sfide e perseveranza nell’implementazione dell’EBP anche quando diventa difficile [27]. Questi comportamenti di leadership focalizzati sull’implementazione completano la leadership generale di trasformazione; insieme, i due tipi di leadership contribuiscono a una relazione positiva tra leader e seguaci che si concentra sull’imperativo strategico di integrare efficacemente EBP nell’erogazione delle cure[30]. Studi trasversali hanno dimostrato che livelli più alti di leadership di implementazione tra i leader di primo livello sono legati a livelli più alti di clima di implementazione di EBP[40, 46, 47] e ad atteggiamenti clinici superiori nei confronti di EBP[22]; tuttavia, non siamo a conoscenza di studi longitudinali che esaminino come la leadership di implementazione cambi nel tempo o che colleghino questi cambiamenti ai cambiamenti nel clima di implementazione di EBP.

Affinché la leadership dell’implementazione possa servire come meccanismo che influenza il comportamento dei medici nell’implementazione di EBP, deve essere vero che la leadership dell’implementazione è malleabile e che i cambiamenti nella leadership dell’implementazione contribuiscono al cambiamento del comportamento dei medici, direttamente o indirettamente (per esempio, attraverso il cambiamento del clima di implementazione di EBP) [6, 7]. In questo studio, affrontiamo entrambi questi problemi esaminando come e se la leadership di implementazione cambia in modo naturalistico nel tempo all’interno delle organizzazioni sanitarie comportamentali e verificando se questi cambiamenti sono associati a cambiamenti nel clima di implementazione EBP di un’organizzazione e nell’uso di EBP da parte dei clinici. Inoltre, verifichiamo se la teoria di Aarons et al. [24,27, 30] di Aarons et al. ha una validità discriminante, esaminando se i cambiamenti nella leadership di implementazione e nel clima di implementazione di EBP sono collegati al cambiamento nei comportamenti dei clinici non-EBP. Una premessa importante della teoria è che la leadership di implementazione e il clima di implementazione di EBP hanno effetti specifici e ben definiti sull’uso di EBP. Se i cambiamenti nella leadership dell’implementazione e nel clima di implementazione EBP prevedono cambiamenti in altri comportamenti della pratica non-EBP, questo metterebbe in discussione la validità della teoria o la validità delle misure utilizzate per testare la teoria.

Fig. 1.Fig. 1. Studiare il modello teorico. L’ipotesi 1 afferma che all’interno dell’organizzazione l’aumento dell’uso dei leader di primo livello del comportamento di leadership nell’implementazione migliorerà il clima di implementazione dell’EBP all’interno della loro organizzazione (percorso a). L’ipotesi 2 afferma che all’interno dell’organizzazione l’aumento del clima di implementazione di EBP contribuirà all’aumento dell’uso di EBP da parte dei clinici, controllando per la leadership di implementazione (percorso b). L’ipotesi 4 afferma che l’aumento della leadership all’interno dell’organizzazione migliorerà indirettamente l’uso di EBP da parte dei medici attraverso il miglioramento del clima di implementazione di EBP all’interno dell’organizzazione (percorso a × percorso b). I coefficienti di percorso sono stimati utilizzando modelli di regressione econometrica a due vie a effetti fissi a livello di organizzazione; essi rappresentano le relazioni tra il cambiamento all’interno dell’organizzazione nell’antecedente e il cambiamento all’interno dell’organizzazione nel conseguente, controllando per tutte le caratteristiche organizzative stabili, le tendenze della popolazione nei conseguenti nel tempo, e le covariate variabili nel tempo del clima organizzativo molare, la leadership trasformazionale, e la composizione della forza lavoro (vedi Tabella 3, k = 73, N = 30).

Ipotesi di studio

Ipotesi 1: l’aumento della leadership di implementazione all’interno dell’organizzazione da parte dei leader di primo livello prevede un aumento del livello di implementazione di EBP all’interno dell’organizzazione.

Ipotesi 2: Gli aumenti all’interno dell’organizzazione nel clima di implementazione dell’EBP prevederanno aumenti all’interno dell’organizzazione nell’uso dell’EBP da parte dei medici.

Ipotesi 3: Gli aumenti all’interno dell’organizzazione nel clima di implementazione dell’EBP non prevederanno aumenti all’interno dell’organizzazione nell’uso di tecniche non-EBP da parte dei clinici (prova di validità discriminante).

Ipotesi 4: Gli aumenti all’interno dell’organizzazione della leadership nell’implementazione di EBP aumenteranno indirettamente l’uso di EBP da parte dei clinici attraverso l’aumento del livello di clima di implementazione di EBP (es. mediazione).

Insieme, queste ipotesi (a) testano il meccanismo del clima di implementazione di leadership nell’implementazione di EBP descritto sopra e mostrato in Fig. 1, e (b) forniscono prove di validità discriminanti per il modello, testando se i cambiamenti ipotizzati nell’uso di tecniche auto-riferite sono specifici di EBP o si sono verificati sia per le tecniche EBP che per quelle non-EBP.

Metodi

Impostazione e progettazione dello studio

Utilizzando i dati raccolti a tre ondate in un periodo di 5 anni da un panel di 30 ambulatori di salute mentale per bambini [48], abbiamo condotto uno studio quasi sperimentale sulle differenze nelle differenze [49,50], incorporando modelli di regressione econometrica a due vie a effetti fissi [51], per verificare se i cambiamenti all’interno dell’organizzazione nella leadership dell’implementazione fossero associati a cambiamenti nel clima di implementazione di EBP e, in ultima analisi, a cambiamenti nell’uso di EBP da parte dei clinici. I modelli di differenza nella differenza che utilizzano dati provenienti da un pannello longitudinale sono l’approccio quasi sperimentale gold standard perché permettono agli investigatori di isolare le relazioni tra il cambiamento all’interno dell’unità di un’organizzazione nei presunti antecedenti e nei conseguenti, eliminando tutte le confound stabili, tra le unità, che possono spiegare la variazione nell’esito dell’interesse e controllando per le tendenze della popolazione nei conseguenti nel tempo[49].

In un classico disegno a differenza delle differenze, i dati longitudinali sono raccolti su un insieme di unità che non sperimentano mai l’esposizione (cioè, un’organizzazione che ha un clima di leadership di implementazione / EBP di implementazione continuamente basso) e su un insieme di unità che sperimentano l’esposizione dopo un periodo di tempo di base (cioè, un’organizzazione in cui il clima di leadership di implementazione / EBP di implementazione si sposta da basso ad alto). Secondo l’ipotesi di tendenza comune, l’effetto dell’esposizione è stimato come la differenza tra il cambiamento del risultato che si verifica nel gruppo esposto meno il cambiamento che si verifica nel gruppo non esposto (cioè la differenza nelle differenze)[49]. Questo approccio può essere generalizzato a studi in cui le unità sperimentano l’esposizione in tempi diversi (cioè, i cambiamenti nel clima di leadership di implementazione / EBP di implementazione si verificano a diverse ondate), e si muovono dentro e fuori di uno stato di esposizione, attraverso l’uso di modelli di regressione degli effetti fissi bidirezionali[49]. Inoltre, i modelli di regressione degli effetti fissi bidirezionali possono essere utilizzati per stimare le relazioni tra il cambiamento all’interno dell’unità in un antecedente continuo e le variabili conseguenti[51]; in queste analisi, ogni unità (cioè ogni organizzazione) serve come proprio controllo e gli effetti che sono stimati tra variabili continue rappresentano gli effetti all’interno dell’unità[51]. In questo studio, abbiamo applicato questi approcci per esaminare le relazioni tra i cambiamenti a livello di organizzazione negli antecedenti e le conseguenze all’interno di 30 ambulatori di salute mentale per bambini, misurati a tre ondate in un periodo di 5 anni. Abbiamo seguito la lista di controllo STROBE per la segnalazione degli elementi di questo studio longitudinale, quasi sperimentale[52] (vedi file aggiuntivo 1).

Le organizzazioni di questo studio sono state inserite all’interno di un sistema di salute comportamentale finanziato con fondi pubblici e tutti i dettagli dello studio più ampio, incluso il suo disegno generale e il contesto a livello di sistema in cui si è verificato sono pubblicati altrove[16, 53]. In breve, a partire dal 2013, la città di Philadelphia negli Stati Uniti ha lanciato l’Evidence Based Practice and Innovation Center (EPIC) per migliorare l’implementazione dell’EBP nella sua rete di fornitori di salute comportamentale finanziata da Medicaid, che serve oltre 600.000 persone all’anno[54]. EPIC supporta l’implementazione di EBP a livello di sistema attraverso una serie coordinata di attività politiche, fiscali e di assistenza tecnica che sono descritte altrove[55]. Durante il periodo di studio, EPIC ha sostenuto l’implementazione di psicoterapie cognitivo-comportamentali con un forte supporto empirico per il trattamento di una serie di disturbi psichiatrici, tra cui la terapia cognitiva,[56], l’esposizione prolungata,[57], la terapia cognitivo-comportamentale focalizzata sul trauma [58], la terapia comportamentale dialettica [59], e la terapia di interazione genitore-figlio [60].

Riconoscendo l’opportunità che questo sforzo a livello di sistema ha presentato, il nostro team di ricerca ha collaborato con la Città di Philadelphia per valutare i cambiamenti nell’uso dell’EBP da parte dei medici durante 5 anni e per esaminare come questi cambiamenti siano collegati a cambiamenti nelle caratteristiche organizzative che si presume influenzino l’implementazione dell’EBP [48]. Mentre il lavoro precedente ha valutato l’efficacia di EPIC[48], l’obiettivo di questo studio è stato quello di testare il modello teorico mostrato in Fig. 1.Il periodo di studio di 5 anni è iniziato immediatamente prima del lancio di EPIC nel 2013 ed è continuato fino al 2017. Il presente studio utilizza i dati di tutte e tre le ondate, comprese le valutazioni completate al baseline (2013), il follow-up a 2 anni (2015) e il follow-up a 5 anni (2017).

Partecipanti

Lo studio ha incorporato due livelli di organizzazione del campionamento e di medici. A livello di organizzazione, a partire dal 2012, abbiamo effettuato un campionamento mirato di organizzazioni finanziate con fondi pubblici che forniscono servizi di salute mentale ambulatoriali ai giovani di Philadelphia ammissibili a Medicaid. Dato che Philadelphia ha un unico sistema di pagamento (Community Behavioral Health; CBH) per i servizi di salute comportamentale pubblica, abbiamo ottenuto un elenco dal pagatore di tutte le organizzazioni che hanno presentato un reclamo nel 2011-2012. C’erano oltre 100 organizzazioni che fornivano servizi ambulatoriali ai giovani. La nostra intenzione era quella di utilizzare il campionamento mirato per generare un campione rappresentativo delle organizzazioni che hanno servito il maggior numero di giovani nel sistema. Abbiamo selezionato le prime 29 organizzazioni come popolazione di interesse perché insieme servono circa l’80% dei giovani che ricevono assistenza sanitaria comportamentale finanziata con fondi pubblici. La maggior parte delle organizzazioni rimanenti nel sistema erano molto piccole e non impiegavano molti medici e/o non vedevano molti giovani. Le organizzazioni che abbiamo reclutato erano geograficamente distribuite in tutta la contea di Philadelphia e avevano dimensioni diverse per quanto riguarda il numero di giovani serviti. Nel corso dello studio, abbiamo iscritto 22 delle 29 organizzazioni (76%). Alcune organizzazioni avevano più sedi con strutture di leadership e operazioni distinte in ogni sede; queste sono state trattate come unità separate nell’analisi per un totale di N=31 sedi, a cui ci riferiamo come organizzazioni in quanto segue. Delle 31 organizzazioni che hanno partecipato allo studio durante il periodo di studio di 5 anni, 18 hanno partecipato a tre ondate, nove hanno partecipato a due ondate e quattro hanno partecipato a un’unica ondata. Un’organizzazione è stata un outlier multivariato sulle misure dello studio alla terza ondata, con il risultato di un campione analitico finale di N = 30 organizzazioni con un totale di k = 73 osservazioni a livello di organizzazione in tre ondate (media di 2,4 osservazioni per organizzazione).

Il secondo livello di campionamento comprendeva tutti i clinici che hanno lavorato con i giovani all’interno di ogni organizzazione ad ogni ondata. In particolare, con il permesso dei responsabili dell’organizzazione, i ricercatori hanno programmato incontri di gruppo con tutti i clinici che lavoravano all’interno delle organizzazioni che fornivano servizi ambulatoriali per i giovani, durante i quali il team di ricerca ha presentato lo studio, ha ottenuto il consenso informato scritto e ha raccolto le misure in loco. L’unico criterio di inclusione era che i clinici fornissero servizi di salute comportamentale ai giovani (clienti di età inferiore ai 18 anni) attraverso il programma ambulatoriale. Non abbiamo escluso nessun medico che soddisfacesse questo criterio e abbiamo incluso i medici in formazione (ad esempio, i tirocinanti).

In totale, 496 medici sono stati inclusi nel campione analitico di 30 organizzazioni. All’interno di questo gruppo, 387 medici (78%) hanno fornito dati una volta; 94 medici (19%) hanno fornito dati due volte, e 15 medici (3%) hanno fornito dati tre volte. La maggioranza dei clinici era di sesso femminile (81%) e proveniva da diversi background razziali ed etnici (47% bianchi, 27% afroamericani, 15% “Altra razza”, 6% asiatici, <1% nativi hawaiani o di altre isole del Pacifico o indiani d’America o nativi dell’Alaska, 19% latini). L’età media era di 37,3 anni (SD = 11,41) con una media di 8,6 anni (SD = 8,5) di esperienza nei servizi umani e 2,7 anni (SD = 3,9) nella loro attuale agenzia. Il dieci per cento dei medici aveva un dottorato di ricerca e il resto aveva un master o un bachelor. Le caratteristiche demografiche dei clinici non variavano a seconda dell’ondata (tutte le p>>.10). L’approccio di campionamento a due livelli ci ha permesso di esaminare i cambiamenti nella leadership di implementazione, il clima di implementazione dell’EBP e l’uso dell’EBP a livello di organizzazione nel tempo, senza assumere che i singoli clinici fossero gli stessi ad ogni ondata.

Procedure

I clinici hanno completato i questionari di studio nel 2013, 2015 e 2017 durante un incontro da 1 a 1,5 ore e mezza con i ricercatori della loro organizzazione durante il normale orario di lavoro. Per garantire la riservatezza e ridurre al minimo le caratteristiche della domanda, i responsabili dell’organizzazione non erano presenti. I questionari hanno riguardato l’uso di tecniche di psicoterapia da parte dei clinici con un cliente rappresentativo, il comportamento di implementazione dei leader di primo livello, le percezioni dei clinici sul clima di implementazione EBP della loro organizzazione e sul clima organizzativo generale, così come le caratteristiche professionali e demografiche dei clinici. I questionari sono stati restituiti direttamente ai ricercatori e ai clinici è stato assicurato che i leader organizzativi non avrebbero avuto accesso ai loro dati a livello individuale. I partecipanti hanno ricevuto 50 USD per il loro tempo. Tutte le procedure di studio sono state approvate dal City of Philadelphia Institutional Review Board e dall’University of Pennsylvania Institutional Review Board.

Misure

Variabili dipendenti

L’uso di EBP dichiarato dai medici è stato misurato utilizzando la scala della terapia cognitivo-comportamentale (CBT) a 33 voci della Therapy Procedures Checklist-Family Revised (TPC-FR) [61]. I punteggi su questa scala indicano la frequenza con cui i medici utilizzano le tecniche cognitivo-comportamentali con un cliente rappresentativo. La ricerca precedente supporta l’affidabilità dei test di verifica della TPC-FR, la validità dei criteri e la sensibilità al cambiamento all’interno del terapista [61,62]. La misura presenta un elenco di tecniche specifiche di psicoterapia derivate da tre modelli ben consolidati (CBT, terapia familiare e terapia psicodinamica) e i clinici indicano la misura in cui utilizzano ogni tecnica con un cliente attuale che è rappresentativo del loro maggior numero di casi. Le risposte agli item sono fatte su un continuum che va da 1(raramente) a 5(la maggior parte delle volte). Abbiamo usato la scala di valutazione della CBT come variabile criterio principale in questo studio a causa del forte supporto empirico per l’efficacia della CBT nel trattamento dei disturbi psichiatrici giovanili[63- 67] e perché l’iniziativa del sistema più ampio ha sostenuto questo modello. Il coefficiente alfa per questa scala era α==,93 nel campione.

Per fornire l’evidenza discriminante di validità per il nostro modello teorico, abbiamo anche usato la scala psicodinamica a 16 punti del TPC-FR come risultato indicativo dell’uso da parte dei clinici di tecniche non-EBP per l’ipotesi 3. Le tecniche psicodinamiche hanno un supporto empirico più debole per il trattamento dei disturbi psichiatrici tra i giovani [68,69]. Il coefficiente alfa era α==,85 nel campione.

Per allineare i nostri livelli di teoria e di analisi, abbiamo aggregato le risposte dei clinici (cioè la media) sulla CBT e sulle scale psicodinamiche al livello dell’organizzazione ad ogni ondata. Così, le nostre variabili dipendenti rappresentavano la frequenza media con cui i clinici utilizzavano tecniche cognitivo-comportamentali (cioè, EBP) o psicodinamiche (cioè, non-EBP) con un cliente rappresentativo ad ogni onda[70, 71].

Variabili indipendenti

I clinici hanno valutato la leadership di implementazione del loro leader di primo livello (cioè il loro supervisore diretto) utilizzando la scala di implementazione a 12 voci (ILS)[27]. Questa scala valuta il comportamento di un leader per quanto riguarda (a) la proattività nel promuovere l’implementazione di EBP, (b) la conoscenza di EBP e l’utilizzo di questo per supportare i clinici, (c) il supporto quotidiano dell’implementazione di EBP e (d) la perseveranza attraverso gli alti e bassi dell’implementazione di EBP. Le risposte sono effettuate su una scala da 0(per niente) a 4(in grandissima misura) e si ottiene un punteggio totale calcolando la media delle voci. Gli studi psicometrici indicano che i punteggi sull’ILS mostrano un’eccellente coerenza interna e una validità convergente e discriminante[27]. Il coefficiente alfa nel campione era α==.98.

Le percezioni dei clinici sul clima di implementazione dell ‘EBP della loro organizzazione sono state misurate utilizzando il punteggio totale della scala climatica di implementazione a 18 voci (ICS) [31]. Questa scala si rivolge a sei sottodomini che catturano la misura in cui un’organizzazione si concentra su EBP, fornisce supporto educativo per EBP, riconosce i clinici per l’eccellenza in EBP, premia i clinici per aver dimostrato competenza in EBP, seleziona i clinici in base al loro acume EBP e seleziona i clinici per l’apertura generale. Le risposte sono effettuate su una scala da 0(Non a tutti) a 4(A Very Great Extent) e il punteggio totale è calcolato come media di tutte le voci. La ricerca precedente supporta la validità strutturale dell’ICS, l’affidabilità totale del punteggio e la validità convergente e discriminante [31,41, 46]. Il coefficiente alfa per questa scala era α==.94 nel campione.

Variabili di controllo

I modelli di regressione a due vie a effetti fissi controllano tutte le caratteristiche organizzative stabili e l’andamento della popolazione nel tempo; tuttavia, non controllano le potenziali variazioni nel tempo che si verificano all’interno delle organizzazioni da un’onda all’altra (ad esempio, il cambiamento da un’onda all’altra nella leadership generale o nel clima)[51]. Per affrontare questo, abbiamo incluso le seguenti variabili come covariate in tutte le analisi.

Il clima organizzativo molare è definito come la percezione condivisa dai clinici dell’impatto complessivo dell’ambiente di lavoro sul loro benessere personale; cioè se l’ambiente di lavoro è un luogo “buono” o “cattivo” per lavorare [72]. L’abbiamo valutato utilizzando la ben consolidata scala di funzionalità a 15 elementi della misura del contesto sociale organizzativo (OSC) per tenere conto dell’ambiente di lavoro generale e perché la ricerca precedente indica che questa caratteristica è legata all’uso dell’EBP da parte dei medici [53,73, 74]. La ricerca precedente sostiene la validità strutturale e la validità dei criteri di questa scala [73,75, 76]. Le risposte sono effettuate su una scala a cinque punti da 1(Mai) a 5(Sempre). Il coefficiente alfa era α==,92 nel campione.

La leadership trasformazionale dei leader di primo livello è stata inclusa nei modelli per isolare gli effetti della leadership di implementazione (vs. leadership trasformazionale) sul clima di implementazione di EBP e perché la ricerca precedente ha collegato la leadership trasformazionale al clima di implementazione di EBP, l’atteggiamento dei clinici verso EBP e l’adozione e il sostegno di EBP [42, 77-80 ]. I clinici hanno valutato la misura in cui i loro leader di primo livello hanno mostrato comportamenti di leadership trasformazionale utilizzando il Questionario sulla Leadership Multifattoriale[81, 82], che è una delle misure di leadership trasformazionale più utilizzate e ha eccellenti proprietà psicometriche[83]. Coerentemente con le ricerche precedenti, abbiamo usato il punteggio totale della leadership trasformazionale (mediato su una scala di 5 punti, da ” Per niente” a ” Frequentemente“, se non sempre), che incorpora quattro sottocategorie: Influenza idealizzata, Motivazione Inspirazionale, Stimolazione Intellettuale e Considerazione Individuale (20 items, α==.97).

Abbiamo incluso un’unica variabile variabile nel tempo della forza lavoro –la media degli anni di esperienza dei medici – nei nostri modelli basati su analisi preliminari bivariate che hanno mostrato che questa era l’unica caratteristica della forza lavoro variabile nel tempo associata al cambiamento nell’uso dell’EBP dei medici nel nostro campione (B=.02, SE=.01, p=.031 ). Nessun’altra caratteristica della forza lavoro variabile nel tempo, compresi gli atteggiamenti medi dei medici nei confronti dell’EBP misurati utilizzando la Scala degli atteggiamenti della pratica basata sull’evidenza [84], è stata associata all’uso dell’EBP (tutte le p>.10) e non c’erano prove che il turnover dei leader di primo livello prevedesse l’uso dell’EBP (p=.322). I clinici hanno riportato i loro anni di esperienza di lavoro come clinici e questa variabile è stata calcolata in media a livello di organizzazione ad ogni ondata per rappresentare l’esperienza media della forza lavoro dell’organizzazione ad ogni ondata.

Aggregazione dei dati

Coerentemente con le migliori pratiche[6, 70, 85], abbiamo generato valori a livello organizzativo per la leadership di implementazione, il clima di implementazione EBP, il clima organizzativo molare e la leadership trasformazionale aggregando (cioè facendo una media) delle risposte individuali dei clinici a livello organizzativo su queste rispettive scale. La validità di queste variabili composizionali è stata supportata da alti livelli di accordo inter-rater all’interno di ogni organizzazione, come misurato utilizzando la statistica_awg(j); tutti i valori_awg(j) erano superiori al taglio consigliato di .7 nel nostro campione[86, 87].

Analisi dei dati

Al fine di sfruttare al meglio la struttura dei dati, abbiamo condotto due serie complementari di analisi che hanno testato le ipotesi 1-4. Entrambe le serie di analisi hanno utilizzato modelli econometrici a due vie di regressione a effetti fissi [51], chiamati anche modelli lineari a pannello [88], a livello di organizzazione. In primo luogo, seguendo Wing et al.[49] e riflettendo un tradizionale disegno generalizzato della differenza nelle differenze, abbiamo categorizzato la leadership di implementazione e il clima di implementazione EBP all’interno di ogni organizzazione ad ogni onda come alto o basso sulla base di una divisione mediana e abbiamo usato questi indicatori dicotomici come misure di esposizione. I modelli di regressione degli effetti fissi bidirezionali sono stati specificati come:

pacchetto di classe 12pt, minimo, e’ stato specificato come: \cumentclassedocumentale\code(12pt)\code(12pt)\code(12pt)\code(12pt)\code(12pt)\code(12pt).
\\x22-Il pacchetto usufruisce di…\x22
\\x22Amssymb\x22…\x22
\pacchetto di imballaggio imballaggio di lusso…69pt inizia il documento. {Y}_{it}={\beta}_0+{\beta}_1{O}_{\mathrm{i}}+{\beta}_2{T}_{\mathrm{t}}+{\beta}_3{\mathrm{Z}}_{\mathrm{i}\mathrm{t}}+{\beta}_4{X}_{it}+{\varepsilon}_{it} $$\end{document}Yit=β0+β1Oi+β2Tt+β3Zit+β4Xit+ɛit

dove Y_it rappresenta il risultato per l’organizzazione i al momento t, O_i rappresenta un insieme di variabili fittizie che controllano per gli effetti combinati di tutte le caratteristiche organizzative stabili, T_t rappresenta un insieme di variabili fittizie che catturano gli effetti combinati delle tendenze della popolazione o degli shock che colpiscono tutte le organizzazioni al momento t, Z_it rappresenta un vettore di covariate variabili nel tempo, e X_it rappresenta la variabile di esposizione dicotomica che indica se l’organizzazione ha avuto una leadership di implementazione alta o bassa o un clima di implementazione EBP al momento t. La β₄ cattura l’effetto dell’esposizione, cioè il miglioramento medio del risultato attribuibile ad un’organizzazione che passa da un basso ad un alto livello di leadership di implementazione (nel modello 1) o di clima di implementazione EBP (nel modello 2). Le dimensioni dell’effetto per questi modelli sono espresse come Cohen [ 89 ] che cattura la differenza media condizionata e standardizzata del cambiamento tra le organizzazioni che si sono spostate da un basso ad un alto livello di leadership di implementazione (o clima di implementazione EBP) rispetto a quelle che non lo hanno fatto.

In secondo luogo, abbiamo utilizzato gli stessi modelli, ma abbiamo incluso nelle analisi la leadership di implementazione e il clima di implementazione di EBP come variabili continue (piuttosto che indicatori dicotomici). I coefficienti beta di questi modelli di regressione a due vie a effetti fissi rappresentano l’effetto del cambiamento all’interno dell’organizzazione in ogni predittore sul cambiamento all’interno dell’organizzazione in ogni risultato, controllando per tutte le differenze stabili tra le organizzazioni, l’andamento della popolazione nel risultato nel tempo, e gli altri predittori variabili nel tempo nel modello. Le dimensioni dell’effetto per questi modelli sono espresse come un R-squared incrementale; cioè la percentuale di varianza nel cambiamento all’interno dell’organizzazione del risultato rappresentata dal predittore focale che supera tutti gli altri predittori del modello. Tutte le analisi sono state implementate in R utilizzando il pacchetto plm[88]. Seguendo le migliori pratiche, le ondate di dati mancanti sono state gestite utilizzando la stima della massima probabilità[90]. A seguito della stima di tutti i modelli, abbiamo esaminato i grafici residui e altre diagnosi per confermare la tenacia delle ipotesi del modello.

Abbiamo utilizzato l’approccio basato sul prodotto dei coefficienti, in combinazione con il test di significatività congiunto[91, 92] e gli intervalli di confidenza asimmetrici di Monte Carlo al 95%, per testare la nostra ipotesi di mediazione (ipotesi 4)[93, 94]. Con questo approccio, le analisi di regressione sono utilizzate per stimare i due percorsi mostrati in Fig. 1che collegano la variabile indipendente al mediatore (“percorso a”) e il mediatore alla variabile dipendente, controllando per la variabile indipendente (“percorso b”). Il prodotto di queste stime del percorso (cioè, a*b) quantifica l’effetto indiretto o di mediazione[95]. La significatività statistica dell’effetto di mediazione viene testata utilizzando (1) il test di significatività congiunta, che rappresenta un approccio di test di significatività con ipotesi nulle, e (2) intervalli di confidenza asimmetrici al 95% sviluppati tramite metodi di simulazione Monte Carlo con 100.000 repliche[93, 96].

Risultati

Analisi preliminari

La tabella 1 presenta le statistiche descrittive per tutte le variabili dello studio alla prima ondata, nonché il cambiamento medio all’interno dell’organizzazione e la variazione del cambiamento all’interno dell’organizzazione da un’ondata all’altra. La Figura 2 mostra come l’antecedente primario e le variabili conseguenti sono cambiate all’interno delle organizzazioni nel corso del tempo. Al fine di verificare se ci sono state variazioni significative tra le organizzazioni nel modo in cui l’uso di EBP, la leadership nell’implementazione e il clima di implementazione di EBP sono cambiati da un’onda all’altra, abbiamo condotto una serie di test a campione. Questi test hanno confrontato il valore assoluto medio del cambiamento all’interno dell’organizzazione da un’onda 1 a un’onda 2 (e da un’onda 2 a un’onda 3) a un valore di popolazione pari a zero. Tutti i test t sono stati statisticamente significativi (tutti p<<.001), confermando che il valore assoluto del cambiamento all’interno dell’organizzazione da un’onda all’altra era significativamente diverso da zero per il nostro antecedente primario e le variabili conseguenti. Inoltre, la dimensione dell’effetto di Cohen per questi cambiamenti all’interno dell’organizzazione (valore assoluto) è stata d==.60 per l’utilizzo di EBP, d==.75 per la leadership di implementazione, e d==.74 per il clima di implementazione, che rappresenta gli effetti medi [89]. La tabella 1 mostraanche la percentuale di organizzazioni che hanno subito un moderato cambiamento (definito come un cambiamento di deviazione standard> .5 in entrambe le direzioni) da un’onda all’altra su ogni variabile. Queste analisi confermano che ci sono stati cambiamenti statisticamente significativi e sostanzialmente significativi all’interno dell’organizzazione nell’antecedente primario e nelle conseguenti variabili di interesse durante il periodo di studio.Tabella 1Statistiche descrittive per le variabili di studio alla linea di base e il cambiamento delle variabili tra le ondeVariableWave 1Δ dall’onda 1 all’onda 2Δ dall’onda 2 all’onda 3MeanSDMin.Max.Media Δ SDMin.Max.% Δ di +/- 0,5 SDMean ΔSDMin.Max.% Δ di +/- 0,5 SDAve. uso clinicodi tecniche CBT (1-5)3.18.422.394.22.11.30-.43.6563%-.01.33- 1.00.4846%Ave. uso clinico di tecniche psicodinamiche (1-5)3.35.322.804.07.02.26-.32.7653%.09.29-.60.7368%Dirigenza nell’attuazione (0-4)2.79.69.854.00-.04.79- 1.252.1463%.04.58- 1.571.0154% Clima di attuazione (0-4)2.05.521.113.30.01.54− 1.13.9658%− .01.45− 1.17.6750%Clima organizzativo molare (μ=50, σ=10)59.0214.5215.4184.434.434.7614.97-18.4743.3653%- 2.439,04- 22,2311,8147%Dirigenza trasformativa (0-4)2,76,67,743,58,05,74- 1,422,2142%,13,56-1,121,2958%K=73 osservazioni in tutte leN=30 organizzazioni. Terapia cognitiva comportamentale CBT; Δ== cambiamento; % Δ di +/- 0.5 SD==percentuale di organizzazioni che sono cambiate di più o meno la metà di una deviazione standard che è uguale ad una dimensione di effetto moderata (Cohen’s d). Le onde sono distanziate di circa 2 anni l’una dall’altraFig. 2Wave-to-wave, cambiamento all’interno dell’organizzazione nella leadership di implementazione, nel clima di implementazione EBP e nell’uso CBT clinico. Ogni riga rappresenta il cambiamento nei punteggi grezzi osservati di una singola organizzazione(k=30). Le onde sono distanziate di circa due anni l’una dall’altra. Terapia cognitiva comportamentale CBT, pratica basata sull’evidenza EBP

Fig. 2.Onda a onda, cambiamento all’interno dell’organizzazione nella leadership dell’implementazione, nel clima di implementazione di EBP e nell’uso clinico di CBT. Ogni riga rappresenta il cambiamento nei punteggi grezzi osservati di una singola organizzazione(k=30). Le onde sono distanziate di circa due anni l’una dall’altra. Terapia cognitiva comportamentale CBT, pratica basata sull’evidenza EBP

Effetto della leadership di implementazione sul clima di implementazione di EBP

La Tabella 2 presenta le analisi delle differenze nelle differenze di analisi testando le ipotesi 1-3; la Tabella 3 presenta analisi simili ma include la leadership dell’implementazione e il clima di implementazioneEBPcome variabili continue.Tabella 2 Analisi generalizzate delle differenze nelle differenze testando le ipotesi di studio.23.08.007.08.08.311 Alta leadership di implementazione.48.19.017-.03.10.740-.06.10.545 Leadership trasformativa-.08.21.697-.08.10.425-.18.10.095 Clima organizzativo molare.02.01.087-.01.01.335.01.01.01.01.248 anni di esperienza media dei clinici-.02.02.343.03.01.01.007.02.02.01.037D.92.55.25K di Cohen=73 osservazionisu N=30 organizzazioni. Si tratta di modelli di regressione a due vie a effetti fissi. Le esposizioni per la leadership di implementazione e il clima di implementazione EBP sono codificate come Basso=0 e Alto==1 sulla base di una suddivisione mediana. Pratica EBP basata sull’evidenza. L’uso dell’EBP è misurato come l’uso da parte dei clinici di tecniche di psicoterapia cognitivo-comportamentale; l’uso non-EBP è misurato come l’uso da parte dei clinici di tecniche di psicoterapia psicodinamica. L’effetto indiretto dell’esposizione a una migliore leadership di implementazione sull’uso dell’EBP da parte dei clinici attraverso un migliore clima di implementazione dell’EBP è d=.26Tabella 3 Analisi continuative variabili che testano le ipotesi dello studio di analisi di verifica delle ipotesi di implementazione dell’EBP Conseguenti Clima di implementazione dell’EBPUtilizzo clinico dell’EBPClinician use of non-EBPAntecedentsBSEpBSEpBSEpBSEp Clima di implementazione dell’EBP.36.13.009.10.13.424 Leadership nell’implementazione dell’EBP.44.14.004-.00.12.976-.13.12.305 Leadership nella trasformazione – 10.16.546-.15.13.245-.12.13.359 – Clima organizzativo polare.01.01.101-.01.01.01.239.01.01.01.01.179 anni di esperienza media dei clinici-.02.01.197.03.01.01.011.02.01.01.030Modello R2.59.33.19K=73 osservazioni su N=30 organizzazioni. Si tratta di modelli di regressione a due vie a effetti fissi che stimano l’effetto condizionato, all’interno dell’organizzazione, del cambiamento di ogni variabile antecedente al cambiamento della conseguente, controllando per tutte le altre variabili del modello così come l’andamento della popolazione nella conseguente nel tempo e tutte le caratteristiche organizzative stabili. Pratica EBP basata sull’evidenza. L’uso dell’EBP è misurato come l’uso da parte dei clinici di tecniche di psicoterapia cognitivo-comportamentale; l’uso non-EBP è misurato come l’uso da parte dei clinici di tecniche di psicoterapia psicodinamica. Effetto indiretto della leadership di implementazione sull’uso di EBP da parte del clinico attraverso il clima di implementazione di EBP=.16 (95% CI=.03 a .33)

L’ipotesi 1 è stata supportata da entrambe le serie di analisi. Come mostrato nella Tabella 2, le organizzazioni che sono passate da un basso ad un alto livello di leadership di implementazione hanno registrato aumenti significativamente maggiori nel loro livello di clima di implementazione EBP rispetto alle organizzazioni che non hanno cambiato il loro livello di leadership di implementazione (B=.48, SE=.19, p=.017). Ciò rappresenta un grande effetto di d==.92 secondo i criteri suggeriti da Cohen [89].

Come mostrato nella Tabella 3, risultati simili sono stati ottenuti nelle analisi che includevano la leadership di implementazione e il clima di implementazione EBP come variabili continue: all’interno dell’organizzazione gli aumenti della leadership di implementazione hanno previsto un miglioramento del livello del clima di implementazione EBP (B=.44, SE=.14, p=.004), rappresentando l’11% della varianza al di là di tutte le altre covariate (es, R2incremental==.11). Ciò rappresenta una dimensione moderata dell’effetto[89].

Effetto del clima di implementazione dell’EBP sull’uso dell’EBP da parte dei medici

Anche l’ipotesi 2 è stata supportata da entrambe le serie di analisi (vedi Tabelle 2 e 3). Come mostrato nella Tabella 2, le organizzazioni che sono passate da bassi ad alti livelli di clima di implementazione EBP hanno registrato un aumento significativamente maggiore dell’utilizzo medio di EBP da parte dei loro clinici rispetto alle organizzazioni che non hanno registrato alcun cambiamento nel clima di implementazione EBP (B=.23, SE=.08, p=.007), controllando per la leadership dell’implementazione e tutte le altre covariate. Ciò ha rappresentato un effetto medio di d==.55.

La tabella 3 mostra che risultati simili sono stati ottenuti nelle analisi che includevano la leadership di implementazione e il clima di implementazione di EBP come variabili continue: il miglioramento all’interno dell’organizzazione nel clima di implementazione di EBP prevedeva aumenti all’interno dell’organizzazione nell’uso di EBP da parte dei medici (B=.36, SE=.13, p=.009), il controllo per il cambiamento della leadership di implementazione e tutte le altre covariate. Ciò ha rappresentato una moderata dimensione di effetto di R2incremental=.14 [89]. I risultati di queste analisi hanno anche indicato che l’aumento degli anni di esperienza media dei medici prevedeva un aumento dell’uso di EBP (B=.03, SE=.01, p=.011).

Effetto del clima di implementazione dell’EBP sull’uso di non-EBP da parte dei medici

L’ipotesi 3 è stata progettata per fornire prove di validità discriminante per il modello teorizzato ed è stata supportata da entrambe le serie di analisi (vedi Tabelle 2 e 3). Focalizzandosi sulle analisi delle variabili continue della Tabella 3, il cambiamento all’interno dell’organizzazione nel clima di implementazione dell’EBP non era correlato al cambiamento all’interno dell’organizzazione nell’uso del non-EBP da parte dei clinici (B=.10, SE=.13, p=.424). L’unico predittore significativo in questo modello era la media degli anni di esperienza dei medici (B=.02, SE=.01, p=.030).

Effetto indiretto della leadership di implementazione sull’utilizzo di EBP da parte dei medici attraverso il clima di implementazione di EBP

L’ipotesi 4 ha testato il modello di mediazione completo ed è stata supportata dai risultati del test di significatività congiunta e dagli intervalli di confidenza asimmetrici del 95% in entrambe le serie di analisi. Come descritto in precedenza, le organizzazioni che sono passate da un basso ad un alto livello di leadership di implementazione hanno registrato un aumento maggiore del loro livello di clima di implementazione EBP rispetto alle organizzazioni che non hanno migliorato la leadership di implementazione (vedi Tabella 2, modello 1: B=.48, SE=.19, p==.19).017); e, le organizzazioni che sono passate da bassi ad alti livelli di clima di implementazione di EBP hanno registrato un maggiore aumento nell’uso di EBP da parte dei clinici rispetto alle organizzazioni che non sono migliorate nel clima di implementazione di EBP, mentre controllano per la leadership dell’implementazione (vedi Tabella 2, modello2: B= .23, SE=.08, p=.007). Sulla base di queste analisi, respingiamo l’ipotesi nulla del test di significatività congiunta e concludiamo che ci sono prove positive dell’effetto indiretto della leadership di implementazione sull’uso di EBP da parte dei clinici attraverso il miglioramento del clima di implementazione di EBP. Inoltre, l’intervallo di confidenza del 95% di Monte Carlo per questo effetto indiretto non includeva zero(a*b=.11, 95% CI=.01 a .25), fornendo un’ulteriore evidenza che l’aumento della leadership di implementazione ha avuto un effetto indiretto significativo sull’aumento dell’utilizzo di EBP da parte dei clinici attraverso il miglioramento del clima di implementazione di EBP. Risultati simili sono stati trovati per le analisi che includevano la leadership di implementazione e il clima di implementazione EBP come variabili continue (vedi Tabella 3; a*b=.16, 95% CI=.03 a .33).

Discussione

Questo studio fa progredire la teoria e la pratica dell’implementazione fornendo il primo test meccanicistico dell’ipotesi che i leader di primo livello possano migliorare l’implementazione di EBP in contesti sanitari attraverso l’uso di specifici comportamenti di leadership dell’implementazione che creano un clima di implementazione EBP all’interno della loro organizzazione. Lo studio convalida la teoria della leadership di primo livello dell’implementazione proposta da Aarons e colleghi[24] sostenendo l’ipotesi che l’aumento della frequenza dei comportamenti di leadership dell’implementazione da parte dei leader di primo livello contribuisca a miglioramenti da moderati a grandi miglioramenti del clima di implementazione di EBP e che, a sua volta, il miglioramento del clima di implementazione di EBP contribuisca ad un moderato aumento dell’uso di EBP dichiarato dai clinici. Inoltre, lo studio fornisce l’evidenza di una validità discriminante, tale che queste relazioni erano specifiche per i comportamenti di implementazione mirati e non si applicavano a comportamenti non mirati, non-EBP. Il fatto che queste ipotesi siano state testate all’interno di un design longitudinale, con differenze nelle differenze, che incorpora 30 organizzazioni misurate in un periodo di 5 anni, ci permette di fare le più forti deduzioni possibili sulle relazioni tra queste variabili, senza manipolarle in un esperimento randomizzato[49, 51]. A nostra conoscenza, questo studio è tra i primi a utilizzare un approccio metodologico rigoroso[49] per sostenere una comprensione meccanicistica della relazione tra i costrutti dei principali quadri scientifici di implementazione[17, 18] e la teoria[19, 25, 26, 28]. Come tale, esso rappresenta un passo avanti critico nell’avanzare le raccomandazioni per i rigorosi meccanismi di prova del lavoro e la teoria causale nella scienza dell’implementazione[7, 8, 97].

I nostri risultati confermano l’ipotesi, basata sulla teoria e su precedenti ricerche trasversali, che i leader di primo livello svolgono un ruolo critico nell’implementazione di EBP e dovrebbero essere un obiettivo delle strategie di implementazione[24, 26- 28]. L’importanza dei leader di primo livello per la creazione di un clima di implementazione EBP è probabilmente dovuta al loro frequente contatto interpersonale con i clinici in prima linea, al loro ruolo di supervisori e al loro status di ponte tra i dirigenti, che prendono decisioni sull’adozione specifica di EBP, e i clinici che hanno il compito di implementare EBP con i clienti[19, 25, 26]. Coerentemente con la teoria di Aarons e dei colleghi [30,98], i nostri risultati indicano che i leader di primo livello colmano il divario in parte creando un clima di implementazione EBP che trasmette alte aspettative, supporto e ricompense per l’uso efficace degli EBP negli incontri clinici. Questo studio fornisce un importante passo avanti nella nostra comprensione di come migliorare l’implementazione di EBP in ambito sanitario, identificando specifici comportamenti di leadership di implementazione che contribuiscono alla formazione di un clima di implementazione di EBP e al miglioramento dell’uso di EBP.

I comportamenti di leadership dell’implementazione descritti da Aarons et al.[27] (cioè proattivi, consapevoli, di supporto e perseveranti) hanno somiglianze con altre teorie di leadership dell’implementazione, come la teoria dei middle manager proposta da Birken et al.[21] e il concetto di campioni clinici[99], ed è necessario un ulteriore lavoro per chiarire dove queste teorie convergono e dove danno un contributo unico. Per esempio, sia Birken et al. che Aarons et al. sostengono che i leader di primo livello influenzano l’implementazione di EBP mettendo in atto comportamenti che contribuiscono ad un clima positivo di implementazione di EBP all’interno dell’organizzazione. Essi differiscono, tuttavia, nell’inquadrare questi comportamenti come meccanismi di incorporazione del clima (cioè, Aarons et al.[27]) rispetto all’impegno per l’innovazione e per colmare le lacune della comunicazione (Birken et al.[21]). La ricerca futura dovrebbe chiarire fino a che punto i costrutti di queste teorie rappresentino manifestazioni complementari e potenzialmente sovrapposte dello stesso insieme di costrutti sottostanti rispetto ad approcci unici per concettualizzare la leadership dell’implementazione. La ricerca è anche necessaria per sviluppare misure convalidate dei costrutti della teoria di Birken et al.

I risultati di questo studio indicano che ci sono importanti cambiamenti all’interno dell’organizzazione nella leadership di implementazione, nel clima di implementazione dell’EBP e nell’uso dell’EBP da parte dei clinici nel tempo, anche se la media di questi cambiamenti è a volte vicina allo zero, perché alcune organizzazioni cambiano in una direzione positiva e altre in una direzione negativa. Il fatto che alcune organizzazioni abbiano mostrato miglioramenti nella leadership di implementazione e nel clima, mentre altre abbiano mostrato un deterioramento o nessun cambiamento, nonostante la loro esposizione comune allo stesso contesto esterno, sottolinea la mutevolezza dei fattori del contesto interno e il loro ruolo potenziale nel plasmare l’implementazione di EBP[11, 12]. Le implicazioni di questo per la pratica sono che i leader possono cambiare i loro contesti organizzativi attraverso l’uso di comportamenti specifici e che questi cambiamenti possono fare la differenza nel comportamento dei clinici. Dal punto di vista della ricerca, questi risultati implicano che la leadership nell’implementazione e il clima di implementazione di EBP sono obiettivi mutevoli che potrebbero servire come punto focale per le strategie di implementazione progettate per migliorare l’implementazione di EBP.

Il passo successivo in questa linea di ricerca include prove comparative di efficacia confermate per testare le strategie di implementazione – come la strategia LOCI (Leadership and Organizational Change for Implementation strategy) [98]o la strategia TRIPLE (Training in Implementation Practice Leadership) [100] – che hanno come obiettivo la leadership dell’implementazione e il meccanismo del clima di implementazione EBP identificato in questo studio. L’intervento LOCI[30, 98], che mira alla leadership di implementazione e al clima di implementazione EBP attraverso la formazione e il coaching per i leader di primo livello insieme alla consultazione con i dirigenti, ha dimostrato di essere promettente nella ricerca pilota ed è attualmente in fase di studio in diversi contesti[30, 101, 102]. L’intervento di TRIPLE mira a costruire la capacità dei leader di valutare la qualità dell’attuale erogazione dei servizi; identificare EBP appropriati e fattibili; sviluppare il supporto per l’utilizzo di EBP; valutare e aumentare il coinvolgimento degli stakeholder nel miglioramento della pratica; e identificare e utilizzare i dati per monitorare la qualità e guidare il cambiamento della pratica. Una valutazione iniziale pre-post di TRIPLE con i leader di primo livello ha rilevato che il programma ha portato a miglioramenti nella leadership di implementazione e nel clima di implementazione di EBP[100]. Se queste strategie si rivelano efficaci in tutti i contesti, potrebbero presentare un approccio significativo per influenzare il cambiamento dell’implementazione. Tuttavia, ci sono una serie di domande a cui resta ancora da rispondere, in particolare per quanto riguarda lo smantellamento di questi approcci[102] per comprendere meglio il contributo relativo del focus sulla leadership e sul clima di implementazione EBP rispetto al cambiamento attitudinale e motivazionale del singolo clinico, così come le questioni dell’efficacia dei costi.

I punti di forza dello studio includono l’uso di un rigoroso design quasi sperimentale, lo sviluppo di prove di validità discriminanti rispetto al risultato (cioè, tecniche EBP vs. non-EBP), e la specificazione e la prova di un modello teorico robusto all’interno di un grande campione longitudinale. Tuttavia, è necessario notare diversi limiti. In primo luogo, lo studio ha utilizzato l’uso auto-riferito di EBP che non sempre è fortemente correlato con il comportamento reale[103]; studi futuri che utilizzano metriche osservazionali di fedeltà aumenterebbero il rigore. In secondo luogo, mentre avevamo un campione relativamente ampio e diversificato di 30 organizzazioni che incorporavano 496 medici, questo lavoro è stato condotto all’interno di un unico sistema che supportava attivamente l’implementazione di EBP tra i fornitori e quindi non poteva generalizzarsi ad altri sistemi. I passi successivi utili includono la replica di questo studio in diversi sistemi sanitari per testare la generalizzabilità dei risultati e la generalizzabilità della teoria. In terzo luogo, questo studio è stato di natura osservazionale; poiché non abbiamo manipolato sperimentalmente le variabili, non possiamo fare inferenze causali. Quarto, non si può escludere una comune varianza del metodo come spiegazione dei risultati del nostro studio, anche se abbiamo incluso diversi controlli rigorosi e abbiamo fornito prove di validità discriminanti rispetto al risultato. Infine, questi risultati sono probabilmente più rappresentativi delle organizzazioni più grandi piuttosto che dei fornitori di servizi terapeutici mono-clinici. Inoltre, le organizzazioni più piccole possono svolgere un ruolo vitale in fornitori di servizi culturalmente specifici o di nicchia.

Conclusioni

Questo studio porta ad una comprensione meccanicistica delle relazioni tra la leadership dell’implementazione, il clima di implementazione di EBP e l’uso di EBP da parte del clinico, offrendo così importanti obiettivi per migliorare l’implementazione di EBP in contesti di pratica clinica.

Informazioni supplementari

File aggiuntivo 1. 2. Lista di controllo STROBE.

References

1. Insel TR. Translating scientific opportunity into public health impact: a strategic plan for research on mental illness. Arch Gen Psychiatry. 2009; 66(2):128-133. DOI | PubMed
2. Collins PY, Patel V, Joestl SS, March D, Insel TR, Daar AS. Grand challenges in global mental health. Nature.. 2011; 475(7354):27-30. DOI | PubMed
3. Garland AF, Haine-Schlagel R, Brookman-Frazee L, Baker-Ericzen M, Trask E, Fawley-King K. Improving community-based mental health care for children: translating knowledge into action. Admin Pol Ment Health. 2013; 40(1):6-22. DOI
4. Weisz JR. Agenda for child and adolescent psychotherapy research: on the need to put science into practice. Arch Gen Psychiatry. 2000; 57(9):837-838. DOI | PubMed
5. Wensing M, Grol R. Knowledge translation in health: how implementation science could contribute more. BMC Med. 2019;17 10.1186/s12916-019-1322-9.
6. Williams NJ. Multilevel mechanisms of implementation strategies in mental health: integrating theory, research, and practice. Admin Pol Ment Health. 2016; 43(5):783-798. DOI
7. Lewis CC, Klasnja P, Powell BJ, Tuzzio L, Jones S, Walsh-Bailey C, et al. From classification to causality: advancing understanding of mechanisms of change in implementation science. Front Public Health. 2018;6 10.3389/fpubh.2018.00136.
8. Williams NJ, Beidas RS. Annual research review: the state of implementation science in child psychology and psychiatry: a review and suggestions to advance the field. J Child Psychol Psychiatry. 2019; 60(4):430-450. DOI | PubMed
9. Kazdin AE. Mediators and mechanisms of change in psychotherapy research. Annu Rev Clin Psychol. 2007; 3:1-27. DOI | PubMed
10. Kraemer HC, Kazdin AE, Offord DR, Kessler RC, Jensen PS, Kupfer DJ. Coming to terms with the terms of risk. Arch Gen Psychiatry. 1997; 54(4):337-343. DOI | PubMed
11. Tabak RG, Khoong EC, Chambers DA, Brownson RC. Bridging research and practice: models for dissemination and implementation research. Am J Prev Med. 2012; 43(3):337-350. DOI | PubMed
12. Breimaier HE, Heckemann B, Halfens RJ, Lohrmann C. The consolidated framework for implementation research (CFIR): a useful theoretical framework for guiding and evaluating a guideline implementation process in a hospital-based nursing practice. BMC Nurs. 2015;14 10.1186/s12912-015-0088-4.
13. Michie S, Johnston M, Abraham C, Lawton R, Parker D, Walker A. Making psychological theory useful for implementing evidence based practice: a consensus approach. BMJ Qual Saf. 2005; 14(1):26-33. DOI
14. Rabin BA, Lewis CC, Norton WE, Neta G, Chambers D, Tobin JN, et al. Measurement resources for dissemination and implementation research in health. Implement Sci. 2015;11 10.1186/s13012-016-0401-y.
15. Chaudoir SR, Dugan AG, Barr CH. Measuring factors affecting implementation of health innovations: a systematic review of structural, organizational, provider, patient, and innovation level measures. Implement Sci. 2013;8 10.1186/1748-5908-8-22.
16. Beidas RS, Aarons GA, Barg F, Evans AC, Hadley T, Hoagwood KE, et al. Policy to implementation: evidence-based practice in community mental health–study protocol. Implement Sci. 2013;8 10.1186/1748-5908-8-38.
17. Damschroder LJ, Aron DC, Keith RE, Kirsh SR, Alexander JA, Lowery JC. Fostering implementation of health services research findings into practice: a consolidated framework for advancing implementation science. Implement Sci. 2009;4 10.1186/1748-5908-4-50.
18. Aarons GA, Hurlburt M, Horwitz SM. Advancing a conceptual model of evidence-based practice implementation in public service sectors. Admin Pol Ment Health. 2011; 38(1):4-23. DOI
19. Stetler CB, Ritchie JA, Rycroft-Malone J, Charns MP. Leadership for evidence-based practice: strategic and functional behaviors for institutionalizing EBP. Worldviews Evid-Based Nurs. 2014; 11(4):219-226. DOI | PubMed
20. Flottorp SA, Oxman AD, Krause J, Musila NR, Wensing M, Godycki-Cwirko M, et al. A checklist for identifying determinants of practice: a systematic review and synthesis of frameworks and taxonomies of factors that prevent or enable improvements in healthcare professional practice. Implement Sci. 2013;8 10.1186/1748-5908-8-35.
21. Birken SA, Lee S-YD, Weiner BJ. Uncovering middle managers’ role in healthcare innovation implementation. Implement Sci. 2012;7 10.1186/1748-5908-7-28.
22. Guerrero EG, Frimpong J, Kong Y, Fenwick K, Aarons GA. Advancing theory on the multilevel role of leadership in the implementation of evidence-based health care practices. Health Care Manag Rev. 2018; 10.1097/HMR.0000000000000213.
23. Aarons GA, Wells RS, Zagursky K, Fettes DL, Palinkas LA. Implementing evidence-based practice in community mental health agencies: a multiple stakeholder analysis. Am J Public Health. 2009; 99(11):2087-2095. DOI | PubMed
24. Aarons GA, Ehrhart MG, Farahnak LR, Sklar M. Aligning leadership across systems and organizations to develop a strategic climate for evidence-based practice implementation. Annu Rev Public Health. 2014; 35:255-274. DOI | PubMed
25. O’Reilly CA, Caldwell DF, Chatman JA, Lapiz M, Self W. How leadership matters: the effects of leaders’ alignment on strategy implementation. Leadersh Q. 2010; 21(1):104-113. DOI
26. Birken S, Clary A, Tabriz AA, Turner K, Meza R, Zizzi A, et al. Middle managers’ role in implementing evidence-based practices in healthcare: a systematic review. Implement Sci. 2018;13 10.1186/s13012-018-0843-5.
27. Aarons GA, Ehrhart MG, Farahnak LR. The implementation leadership scale (ILS): development of a brief measure of unit level implementation leadership. Implement Sci. 2014;9 10.1186/1748-5908-9-45.
28. Kozlowski SW, Doherty ML. Integration of climate and leadership: examination of a neglected issue. J Appl Psychol.. 1989; 74(4):546-553. DOI
29. Birken SA, Lee S-YD, Weiner BJ, Chin MH, Schaefer CT. Improving the effectiveness of health care innovation implementation: middle managers as change agents. Med Care Res Rev. 2013; 70(1):29-45. DOI | PubMed
30. Aarons GA, Ehrhart MG, Moullin JC, Torres EM, Green AE. Testing the leadership and organizational change for implementation (LOCI) intervention in substance abuse treatment: a cluster randomized trial study protocol. Implement Sci. 2017;12 10.1186/s13012-017-0562-3.
31. Ehrhart MG, Aarons GA, Farahnak LR. Assessing the organizational context for EBP implementation: the development and validity testing of the implementation climate scale (ICS). Implement Sci. 2014;9 10.1186/s13012-014-0157-1.
32. Weiner BJ, Belden CM, Bergmire DM, Johnston M. The meaning and measurement of implementation climate. Implement Sci. 2011;6 10.1186/1748-5908-6-78.
33. Klein KJ, Sorra JS. The challenge of innovation implementation. Acad Manag Rev. 1996; 21(4):1055-1080. DOI
34. Jacobs SR, Weiner BJ, Bunger AC. Context matters: measuring implementation climate among individuals and groups. Implement Sci. 2014;9 10.1186/1748-5908-9-46.
35. Schneider B, Ehrhart MG, Macey WH. Organizational climate and culture. Annu Rev Psychol. 2013; 64:361-388. DOI | PubMed
36. Hong Y, Liao H, Hu J, Jiang K. Missing link in the service profit chain: a meta-analytic review of the antecedents, consequences, and moderators of service climate. J Appl Psychol. 2013; 98(2):237-267. DOI | PubMed
37. Glisson C. The organizational context of children’s mental health services. Clin Child Fam Psychol Rev. 2002; 5(4):233-253. DOI | PubMed
38. Kuenzi M, Schminke M. Assembling fragments into a lens: a review, critique, and proposed research agenda for the organizational work climate literature. J Manage. 2009; 35(3):634-717.
39. Powell BJ, Mandell DS, Hadley TR, Rubin RM, Evans AC, Hurford MO, et al. Are general and strategic measures of organizational context and leadership associated with knowledge and attitudes toward evidence-based practices in public behavioral health settings? A cross-sectional observational study. Implement Sci. 2017;12 10.1186/s13012-017-0593-9.
40. Shuman CJ, Liu X, Aebersold ML, Tschannen D, Banaszak-Holl J, Titler MG. Associations among unit leadership and unit climates for implementation in acute care: a cross-sectional study. Implement Sci. 2018;13 10.1186/s13012-018-0753-6.
41. Williams NJ, Ehrhart MG, Aarons GA, Marcus SC, Beidas RS. Linking molar organizational climate and strategic implementation climate to clinicians’ use of evidence-based psychotherapy techniques: cross-sectional and lagged analyses from a 2-year observational study. Implement Sci. 2018;13 10.1186/s13012-018-0781-2.
42. Guerrero EG, Fenwick K, Kong Y. Advancing theory development: exploring the leadership–climate relationship as a mechanism of the implementation of cultural competence. Implement Sci. 2017;12 10.1186/s13012-017-0666-9.
43. Bass BM, Riggio RE. Transformational leadership. Lawrence Erlbaum Associates, Inc.: Mahwah, NJ; 2006.
44. Klein KJ, Conn AB, Sorra JS. Implementing computerized technology: an organizational analysis. J Appl Psychol.. 2001; 86(5):811-824. DOI | PubMed
45. Schein EH. Organizational culture and leadership. Wiley: San Francisco, CA; 2010.
46. Lyon AR, Cook CR, Brown EC, Locke J, Davis C, Ehrhart M, et al. Assessing organizational implementation context in the education sector: confirmatory factor analysis of measures of implementation leadership, climate, and citizenship. Implement Sci. 2018;13 10.1186/s13012-017-0705-6.
47. Torres EM, Ehrhart MG, Beidas RS, Farahnak LR, Finn NK, Aarons GA. Validation of the implementation leadership scale (ILS) with supervisors’ self-ratings. Community Ment Health J. 2017; 54(1):49-53. DOI | PubMed
48. Beidas RS, Williams NJ, Becker-Haimes E, Aarons G, Barg F, Evans A, et al. A repeated cross-sectional study of clinicians’ use of psychotherapy techniques during 5 years of a system-wide effort to implement evidence-based practices in Philadelphia. Implement Sci. 2019;14 10.1186/s13012-019-0912-4.
49. Wing C, Simon K, Bello-Gomez RA. Designing difference in difference studies: best practices for public health policy research. Annu Rev Public Health. 2018; 39:453-469. DOI | PubMed
50. Lechner M. The estimation of causal effects by difference-in-difference methods. Foundations Trends® Econometrics. 2011; 4(3):165-224. DOI
51. Allison PD. Fixed effects regression models. SAGE Publications: Thousand Oaks, CA; 2009.
52. von Elm E, Altman DG, Egger M, Pocock SJ, Gotzsche PC, Vandenbroucke JP. The strengthening the reporting of observational studies in epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet. 2007; 370(9596):1453-1457. DOI | PubMed
53. Beidas RS, Marcus S, Aarons GA, Hoagwood KE, Schoenwald S, Evans AC. Predictors of community therapists’ use of therapy techniques in a large public mental health system. JAMA Pediatr. 2015; 169(4):374-382. DOI | PubMed
54. Beidas RS, Stewart RE, Adams DR, Fernandez T, Lustbader S, Powell BJ. A multi-level examination of stakeholder perspectives of implementation of evidence-based practices in a large urban publicly-funded mental health system. Admin Pol Ment Health. 2016; 43(6):893-908. DOI
55. Powell BJ, Beidas RS, Rubin RM, Stewart RE, Wolk CB, Matlin SL. Applying the policy ecology framework to Philadelphia’s behavioral health transformation efforts. Admin Pol Ment Health. 2016; 43(6):909-926. DOI
56. Stirman SW, Buchhofer R, McLaulin JB, Evans AC, Beck AT. Public-academic partnerships: the Beck initiative: a partnership to implement cognitive therapy in a community behavioral health system. Psychiatr Serv. 2009; 60(10):1302-1304. DOI | PubMed
57. Foa EB, Hembree EA, Cahill SP, Rauch SA, Riggs DS, Feeny NC. Randomized trial of prolonged exposure for posttraumatic stress disorder with and without cognitive restructuring: outcome at academic and community clinics. J Consult Clin Psychol. 2005; 73(5):953-964. DOI | PubMed
58. Cohen JA, Deblinger E, Mannarino AP, Steer RA. A multisite, randomized controlled trial for children with sexual abuse–related PTSD symptoms. J Am Acad Child Adolesc Psychiatry. 2004; 43(4):393-402. DOI | PubMed
59. Linehan MM, Comtois KA, Murray AM, Brown MZ, Gallop RJ, Heard HL. Two-year randomized controlled trial and follow-up of dialectical behavior therapy vs therapy by experts for suicidal behaviors and borderline personality disorder. Arch Gen Psychiatry. 2006; 63(7):757-766. DOI | PubMed
60. Thomas R, Abell B, Webb HJ, Avdagic E, Zimmer-Gembeck MJ. Parent-child interaction therapy: a meta-analysis. Pediatrics.. 2017; 140(3):e20170352. DOI | PubMed
61. Weersing VR, Weisz JR, Donenberg GR. Development of the therapy procedures checklist: a therapist-report measure of technique use in child and adolescent treatment. J Clin Child Adolesc Psychol. 2002; 31(2):168-180. DOI | PubMed
62. Kolko DJ, Cohen JA, Mannarino AP, Baumann BL, Knudsen K. Community treatment of child sexual abuse: a survey of practitioners in the national child traumatic stress network. Admin Pol Ment Health. 2009; 36(1):37-49. DOI
63. Weisz JR, Kuppens S, Eckshtain D, Ugueto AM, Hawley KM, Jensen-Doss A. Performance of evidence-based youth psychotherapies compared with usual clinical care: a multilevel meta-analysis. JAMA Psychiatry. 2013; 70(7):750-761. DOI | PubMed
64. Klein JB, Jacobs RH, Reinecke MA. Cognitive-behavioral therapy for adolescent depression: a meta-analytic investigation of changes in effect-size estimates. J Am Acad Child Adolesc Psychiatry. 2007; 46(11):1403-1413. DOI | PubMed
65. Reynolds S, Wilson C, Austin J, Hooper L. Effects of psychotherapy for anxiety in children and adolescents: a meta-analytic review. Clin Psychol Rev. 2012; 32(4):251-262. DOI | PubMed
66. McCart MR, Sheidow AJ. Evidence-based psychosocial treatments for adolescents with disruptive behavior. J Clin Child Adolesc Psychol. 2016; 45(5):529-563. DOI | PubMed
67. Chorpita BF, Daleiden EL, Ebesutani C, Young J, Becker KD, Nakamura BJ. Evidence-based treatments for children and adolescents: an updated review of indicators of efficacy and effectiveness. Clin Psychol (New York). 2011; 18(2):154-172.
68. Abbass AA, Rabung S, Leichsenring F, Refseth JS, Midgley N. Psychodynamic psychotherapy for children and adolescents: a meta-analysis of short-term psychodynamic models. J Am Acad Child Adolesc Psychiatry. 2013; 52(8):863-875. DOI | PubMed
69. De Nadai AS, Storch EA. Design considerations related to short-term psychodynamic psychotherapy. J Am Acad Child Adolesc Psychiatry. 2013; 52(11):1213-1214. DOI | PubMed
70. Chan D. Functional relations among constructs in the same content domain at different levels of analysis: a typology of composition models. J Appl Psychol. 1998; 83(2):234-246. DOI
71. Ehrhart MG, Raver JL. The Oxford handbook of organizational climate and culture. Oxford University Press: New York; 2014.
72. James LR, Choi CC, Ko CE, McNeil PK, Minton MK, Wright MA. Organizational and psychological climate: a review of theory and research. Eur J Work Organ Psychol. 2008; 17(1):5-32. DOI
73. Glisson C, Landsverk J, Schoenwald SK, Kelleher K, Hoagwood KE, Mayberg S. Assessing the organizational social context (OSC) of mental health services: implications for research and practice. Admin Pol Ment Health. 2008; 35:98-113. DOI
74. Olin SS, Williams NJ, Pollock M, Armusewicz K, Kutash K, Glisson C. Quality indicators for family support services and their relationship to organizational social context. Admin Pol Ment Health. 2014; 41(1):43-54. DOI
75. Glisson C, Green P, Williams NJ. Assessing the organizational social context (OSC) of child welfare systems: implications for research and practice. Child Abuse Negl. 2012; 36(9):621-632. DOI | PubMed
76. Aarons GA, Glisson C, Green PD, Hoagwood KE, Kelleher KJ, Landsverk JA. The organizational social context of mental health services and clinician attitudes toward evidence-based practice: a United States national study. Implement Sci. 2012;7 10.1186/1748-5908-7-56.
77. Aarons GA. Transformational and transactional leadership: association with attitudes toward evidence-based practice. Psychiatr Serv. 2006; 57(8):1162-1169. DOI | PubMed
78. Aarons GA, Sommerfeld DH. Leadership, innovation climate, and attitudes toward evidence-based practice during a statewide implementation. J Am Acad Child Adolesc Psychiatry. 2012; 51(4):423-431. DOI | PubMed
79. Brimhall KC, Fenwick K, Farahnak LR, Hurlburt MS, Roesch SC, Aarons GA. Leadership, organizational climate, and perceived burden of evidence-based practice in mental health services. Admin Pol Ment Health. 2016; 43(5):629-639. DOI
80. Aarons GA, Green AE, Trott E, Willging CE, Torres EM, Ehrhart MG. The roles of system and organizational leadership in system-wide evidence-based intervention sustainment: a mixed-method study. Admin Pol Ment Health. 2016; 43(6):991-1008. DOI
81. Bass BM, Avolio BJ. Multifactor leadership questionnaire. Redwood City, CA: Mind Garden; 2000.
82. Avolio BJ. Full range leadership development. SAGE Publications: Thousand Oaks, CA; 2011.
83. Antonakis J, Avolio BJ, Sivasubramaniam N. Context and leadership: an examination of the nine-factor full-range leadership theory using the multifactor leadership questionnaire. Leadersh Q. 2003; 14(3):261-295. DOI
84. Aarons Gregory A.. Mental Health Provider Attitudes Toward Adoption of Evidence-Based Practice: The Evidence-Based Practice Attitude Scale (EBPAS). Mental Health Services Research. 2004; 6(2):61-74. DOI | PubMed
85. Klein KJ, Kozlowski SW. Multilevel theory, research, and methods in organizations: foundations, extensions, and new directions. Jossey-Bass: San Francisco, CA; 2000.
86. Brown RD, Hauenstein NM. Interrater agreement reconsidered: an alternative to the rwg indices. Organ Res Methods. 2005; 8(2):165-184. DOI
87. LeBreton JM, Senter JL. Answers to 20 questions about interrater reliability and interrater agreement. Organ Res Methods. 2008; 11(4):815-852. DOI
88. Croissant Y, Millo G. Panel data econometrics in R: the plm package. J Stat Softw. 2008; 27(2):1-43. DOI
89. Cohen J. Statistical power analysis for the behavioral sciences. Lawrence Erlbaum Associates: Hillsdale, NJ; 1988.
90. Hedeker D, Gibbons RD. Longitudinal data analysis. Wiley: Hoboken, NJ; 2006.
91. MacKinnon DP. Introduction to statistical mediation analysis. Taylor &amp; Francis Group: New York; 2008.
92. Preacher KJ. Advances in mediation analysis: a survey and synthesis of new developments. Annu Rev Psychol. 2015; 66:825-852. DOI | PubMed
93. Preacher KJ, Selig JP. Advantages of Monte Carlo confidence intervals for indirect effects. Commun Methods Meas. 2012; 6(2):77-98. DOI
94. Hayes AF, Scharkow M. The relative trustworthiness of inferential tests of the indirect effect in statistical mediation analysis: does method really matter?. Psychol Sci. 2013; 24(10):1918-1927. DOI | PubMed
95. Hayes AF. Beyond baron and Kenny: statistical mediation analysis in the new millennium. Commun Monogr. 2009; 76(4):408-420. DOI
96. MacKinnon DP, Fairchild AJ, Fritz MS. Mediation analysis. Annu Rev Psychol. 2007; 58:593-614. DOI | PubMed
97. Campbell Norm R.C., Niebylski Mark L.. Prevention and control of hypertension. Current Opinion in Cardiology. 2014; 29(4):324-330. DOI | PubMed
98. Aarons GA, Ehrhart MG, Farahnak LR, Hurlburt MS. Leadership and organizational change for implementation (LOCI): a randomized mixed method pilot study of a leadership and organization development intervention for evidence-based practice implementation. Implement Sci. 2015;10(1) 10.1186/s13012-014-0192-y.
99. Soo S, Berta W, Baker GR. Role of champions in the implementation of patient safety practice change. Healthc Q. 2009; 12:123-128. DOI | PubMed
100. Proctor E, Ramsey AT, Brown MT, Malone S, Hooley C, McKay V. Training in implementation practice leadership (TRIPLE): evaluation of a novel practice change strategy in behavioral health organizations. Implement Sci. 2019;14 10.1186/s13012-019-0906-2.
101. Egeland KM, Skar A-MS, Endsjø M, Laukvik EH, Bækkelund H, Babaii A, et al. Testing the leadership and organizational change for implementation (LOCI) intervention in Norwegian mental health clinics: a stepped-wedge cluster randomized design study protocol. Implement Sci. 2019;14 10.1186/s13012-019-0873-7.
102. Brookman-Frazee L, Stahmer AC. Effectiveness of a multi-level implementation strategy for ASD interventions: study protocol for two linked cluster randomized trials. Implement Sci. 2018;13 10.1186/s13012-018-0757-2.
103. Hogue A, Dauber S, Lichvar E, Bobek M, Henderson CE. Validity of therapist self-report ratings of fidelity to evidence-based practices for adolescent behavior problems: correspondence between therapists and observers. Admin Pol Ment Health. 2015; 42(2):229-243. DOI