Test-retest di una valutazione neuropsicologica

[brokenglass]

Ciao,
volevo sapere che formula statistica occorre per dire se c'è stata una variazione significativa delle prestazione nel tempo.

Esempio:
Il signor Rossi effettua la prima valutazione a gennaio e la seconda a giugno.
Al test di memoria, rievoca 5 elementi su 10 (a gennaio) e 7 elementi su 10 (a giugno).

Possiamo dire che c'è stato un incremento significativo della prestazione di memoria?
Che formula statistica occorre per stabilirlo?

Grazie

[Calethiel]

Potresti usare il Reliable Change Index, ma dipende sempre per cosa ti serve.
Discussione dei risultati per una tesi? O miglioramento di un paziente dopo un trattamento? In entrambi i casi per dire che la memoria è migliorata, non dovresti comunque basarti per un solo test.
E in ogni caso quando è possibile, per valutazioni fatte a così breve distanza di tempo, è meglio usare le versioni parallele.

[brokenglass]

Ciao, mi serve per la mia attività clinica.
Sia per tenere monitorati alcuni pazienti, che per verificare gli effetti di un eventuale trattamento.
Certo, non mi baserò sul confronto di unico test per parlare di variazione dell'attività cognitiva in un dominio.

Ho notato che nella pratica clinica si tende spesso a fare un confronto "a occhio". Vorrei però utilizzare una metodologia più precisa.
In questo senso, ho visto che questa funzione è presente nel programma automatico dell'esame neuropsi breve.

Premetto che non mastico la statistica molto bene...
Questo Reliability Change Index come funziona? E' possibile implementarlo in excel?

Ti ringrazio molto

[sinapsi!]

Anche a me interessa!
Ho ad es. un paziente con demenza vascolare, faccio un valutazione iniziale somministrando Mmse, moda, matrici attentive, raccontino, span di cifre, parole bisillabiche, corsi, 15 parole di rey, fluenza semantica e fonetica, fab, disegno dell'orologio,tmt, matrici progressive, token test...poi un ciclo di 12-15 sedute di stimolazione cognitiva che si esauriscono nell'arco di un mese e mezzo, alla fine che test ripropongo per verificare se ci son stati miglioramenti?la versione parallela mi pare ci sia solo nelle 15 parole e nel raccontino e poi vale la pena dopo breve tempo ripeterli tutti?pensavo oltre alla valutazione completa iniziale di fare il moca che è più snello e rifarlo a fine del ciclo di sedute. Cosa ne pensate? Se ci dovessero essere variazioni in questo test tra il,prima è il dopo come interpretare il punteggio?cioe' se significativo o meno

[zizo13zizo]

Interessantissima domanda, brokenglass, complimenti.
Ma non credo che sia tanto semplice e soprattutto automatico rispondere.
Ultimamente mi soon dovuto occupare in perizia delle variazioni nel tempo (tre somministrazioni nell'arco di pochi mesi) die punteggi total all'MMSE in un soggetto molto anziano, e ho dovuto approfondire l'argomento.
PRIMO STEP: Va premesso che, per l'MMSE, così come per tutti i test in generale: “The interpretation of changes in test scores (especially of small changes) is not trivial, because test score changes may result from various factors such as measurement error, practice effect, normal aging and regression to the mean. Changes in test scores do not necessarily result from true cognitive change” . Ovvero: “L’interpretazione del significato di piccoli cambiamenti nel punteggio ad un test, non è affatto compito semplice: il cambiamento può essere dovuto a fattori i più diversi, come errori di misura, effetto dell’ apprendimento, normale invecchiamento e regressione verso la media. Variazioni nel punteggio al test non dipendono necessariamente da un vero cambiamento delle capacità cognitive”: cfr: Hensel, A.; Luck, T.; Luppa, M.; Glaesmer, H.; Angermeyer, M.C.; Riedel-Heller, S.G., “Does a reliable decline in Mini Mental State Examination Total Score predict dementia?”. Dementia and Geriatric Cognitive Disorders, 27, 50-58, 2009.
Continuo con un altro messaggio, così supera la soglia del neofita, e posso anche inviarTi un messaggio privato.

Caro/Cara Sinapsi (con questo sistema non si sa neppure se ha a che fare con un ragazzo o una ragazza).
Personalmente, non cambierei test (MoCA invece che MMSE) e forse non userei neppure le versioni parallele.
E' essenziale distinguere variazioni dovute al caso, ovvero alla normale variabilità test-retest dello strumento, da variazioni significative.
Poiché nessuna versione parallela correla al cento per cento con quella madre, si rischia di complicare il problema, non riuscendo più a distinguere fra fisiologica variabilità test-retest, la fisiologica variabilità fra versioni parallele, e variazioni significative.
Prima pietra di paragone è comunque la normale variabilità test-retest, a differenti distanze di tempo, dello strumento adoperato.
Purtroppo, non di tutti gli strumenti è nota e dichiarata la variabilità test-retest a diversi intervalli di tempo.
Per altri, i dati sono noti, e alquanto 'scoraggianti': la variabilità test-retest, anche con lo stesso esaminatore, e in assenza di variazioni significative dell'esaminato, è molto elevata e… variabile.
In ogni caso, non esiste una formula matematica certa, e soprattutto la faccenda varia da strumento a strumento.
Ad esempio, l'MMSE, a differenza di quanto dichiarato dagli Autori nel 1975, può presentare un'elevatissima variabilità test-retest in assenza di variazioni significative (anche di 2-4 punti grezzi)!
Il resto della discussione ad altra risposta a te e/o a Brokenglass

Caro/Cara Calethiel (con questo sistema non si sa neppure se ha a che fare con un ragazzo o una ragazza).
Personalmente, non userei le versioni parallele: o, almeno, non le userei da sole, ma solo in affiancamento alla versione già usata.
E' essenziale distinguere variazioni dovute al caso, ovvero alla normale variabilità test-retest dello strumento, da variazioni significative.
Poiché nessuna versione parallela correla al cento per cento con quella madre, si rischia di complicare il problema, non riuscendo più a distinguere fra la fisiologica variabilità test-retest, la fisiologica variabilità fra versioni parallele, e variazioni significative.
Che te ne sembra?

Caro/Cara Calethiel,
possiamo condividere cosa sappiamo del Reliable Change Index?
Io ne so molto poco.
Me ne sono dovuto recentemente occupare a proposito del MMSE.
A quel che ho capito, per Reliable Change Index si intende un "Cambiamento Significativo del Punteggio".
Ma è un parametro empirico, variabile da test a test, e stabilito in base a un criterio convenzionale.
Ad esempio, per quanto riguarda l'MMSE, ci sono diversi gruppi di ricerca sulla demenza in tutto il mondo, che si sono dati regole interne al gruppo e non sempre sovrapponibili. Per quanto riguarda l'MMSE, nessuno considera significativa (ovvero RCI) una variazione del punteggio grezzo totale di +1/-1 o di +2/-2. Ma poi le cose cambiano da studioso a studioso. Un RCI dell’MMSE non è mai inferiore a 2 punti; più in particolare, a titolo esemplificativo e non esaustivo, corrisponde a 2-3 punti grezzi nell’AgeCoDe Study (German Study on Ageing, Cognition and Dementia in Primary Care Patients) , a 2-4 punti grezzi nel Leipzig Longitudinal Study of the Aged , a 3-4 punti grezzi nel Canadian Study of Health and Aging , e ad almeno 4 punti nell’Amstel Project .
Tu, cosa sai aggiungermi in proposito?
Ti ringrazio molto.

[psychocircus]

poi un ciclo di 12-15 sedute di stimolazione cognitiva che si esauriscono nell'arco di un mese e mezzo, alla fine che test ripropongo per verificare se ci son stati miglioramenti?

Il miglioramento è valutabile non solo con la valutazione finale, ma anche da seduta a seduta.
In una buona riabilitazione cognitiva occorre annotare i risultati raggiunti dal paziente ad ogni incontro, affinchè si possa calibrare la difficoltà dei successivi esercizi.

Premesso ciò, per dire se ci sono stati o no miglioramenti, io terrei conto:
- dell'evoluzione delle performance nel corso delle sedute di stimolazione,
- dei punteggi ai test finali (ove possibile utilizzerei le versioni parallele, poichè solo 1 mese e mezzo tra pre e post è proprio un periodo breve)

Il tutto deve far parte di un ragionamento clinico più ampio; non facciamo l'errore di considerare i test come un vangelo a cui affidarci in modo acritico; i test vanno usati e sono utili, ma non basta, bisogna essere in grado di interpretare tutto il quadro clinico alla luce dell'intervento fatto.

[zizo13zizo]

Concordo completamente con psychocircus quando scrive che i test non sono un vangelo a cui affidarci in modo acritico (e anche il vangelo va interpretato, ed è pieno di insidie: cfr il recentissimo libro di Ravasi "Le pietre di inciampo del vangelo"): il tutto deve far parte di un ragionamento clinico più ampio.
Ma il RCI può essere utile, e in effetti è stato usato in più campi.
Esistono diversi modi per calcolarlo, che tengono conto della varianza di un determinato test in una determinata popolazione, e della variazione test-retest. Sto approfondendo l'argomento, con qualche difficoltà, perché alcuni articoli fondamentali sono introvabili. Vi terrò informati.

[Calethiel]

Calethiel = nome elfico femminile, come si può dedurre anche dall'immagine avatar. Anche nella vita reale donna.
Zizo13zizo? uomo o donna?

Detto questo, credo che con una periodo di riabilitazione di 1 mese e mezzo si veda poco o niente, io in genere i pazienti in trattamento li rivaluto dopo non meno di 6 mesi, a volte con gli stessi test, a volte con versioni parallele. Visto che su questi pazienti non devo pubblicare articoli quello che mi serve è vedere se c'è stato un miglioramento nella vita reale, se trovano beneficio dalla terapia. E il fatto che sia migliorato ad un test non significa che sia migliorata la funzione. Come dice psychocircus (sei diventato moderatore congratulazioni!) i test vanno interpretati, se il paziente mi va male alla figura di rey possono esserci molto spiegazioni, non necessariamente un problema prassico.
Detto questo, venerdì scorso al convegno sui centri per i disturbi cognitivi e le demenze (nuovo nome dei centri uva) si parlava proprio di come spesso negli studi i risultati vengono "abbelliti" per far apparire un miglioramento superiore di quanto è in realtà, usando ad esempio l'errore standard invece della deviazione standard, e che ora per confermare un miglioramento di un farmaco di vuole un cambiamento di 4 punti all'adascog e cambiamento adl/iadl. Ma anche questi sono criteri arbitrari. L'RCI si basa sull'attendibilità di un test ma alcuni test che utilizziamo hanno un campione normativo ridicolo, quindi quanto dobbiamo tenere in considerazione i risultati puri? Se un paziente è a -1.8 d.s. possiamo dire che è in norma? statisticamente si, ma molto probabilmente incontrerà difficoltà nella vita quotidiana.
Tutto questo per dire di non attaccarsi troppo ai numeri, ma di vedere il reale funzionamento del paziente