dubbio sui test e la loro affidabilita'

[Empowered]

ho , per curiosita' personale, chiesto di essere sottoposta ai seguenti "test" che vengono usati per valutazioni psicodiagnostiche.
mmpi ( 1990)
mmpi2 (2006 e 2009)
rorchach ( 2007)
ORT (2000-2008)
disegno della figura umana (2006-2008)
onestamente sono rimasta molto delusa da tutti....
Di lavoro faccio un mestiere che nulla ha a che vedere con la psicologia, mi ocupo di analisi polifunzionali su sistemi informatici ed ho trovato falle enormi su tutti i test, ed in particolare sul rorchach ( tanto considerato come elemento fondamentale in psicodiagnostica) un test che mi ha dato non poche perplessita'... io non ci ho visto altro che una serie di macchie di inchiostro ( apparentemente speculari ma con diverse piccole differenze tra la destra e sinistra del cartoncino ) e nulla piu'.
Il risultato e' che non ho avuto un buon giudizio da parte della psicologa che ha anche tentato di forzarmi indicandomi possibili soggeti da "vedere" dentro le macchie.
MMPI ed MMPI2 , test ovvi... lo schema e' facile , cosi' come e' ovvio e facile trovare le domande ripetute con schema invertito ed anche le finalita' cosi' come ho trovato facile pilotarlo pur mantenendolo nei valori di veridicita' il test e convincendo anche l'operatore che me lo ha somministrato.
ORT, facilissimo.... lo schema e' molto semplice e pilotarlo e' di estrema semplicita' basta avere uno schema preciso e fare attenzione ai dettagli da far spiccare nella narrazione per portare le conclusioni nella direzione voluta.
Disegno della figura umana, qua ho trovato molto divertente su come si possa far vedere o non vedere cio' che si vuole e come si vuole.
Quello che ho cercato di capire e' come siano considerati verita' assoluta in valutazioni che ( in alcuni casi) vanno ad incidere nella vita delle persone, test che non sono sicuri, ma hanno una serie di falle facilmente individuabili.Ho anche individuato sia su filesharing che su siti vari le "istruzioni per l'uso" dei suddetti test.
Non mi addentro su quelli di autovalutazione perche' li trovo troppo facili da aggirare ; altra questione sono i colloqui con gli operatori, mi sono resa conto ( specie in fase di valutazione per diagnosi con finalita' precise) di come sia facile costruire schemi ad hoc.
la mia domanda, e la pongo con dei dubbi che vorrei dipanare, e' questa: non essendoci una metodologia puramente scientifica, come si fa a capire il valore di affidabilita' dei test psicodiagnostici quando io, che non sono del mestiere, documentandomi un minimo sono riuscita in tutti i casi in cui ho fatto ed anche ripetuto i test dopo congrua distanza di tempo (e pagando discrete cifre...) a pilotarli a mio uso e consumo?

Serena

Ciao Serena, come non darti ragione: i test sono falsificabili. Tra i test che descrivi, stando a quanto descritto dalle interpretazioni dei test non credo tu sia riuscita a falsificare il Rorschach, che ha una risposta (vedere solo macchie, fissarsi sull'asimmetria) che coincide con la tua descrizione dei fatti: resistenza e falsificazione ai test.
La tua abilità nel falsificare i test mi stupisce, devi essere molto in gamba, non è facile farlo. Anche la cura del non-verbale (anche se probabilmente ad un'analisi dei micromovimenti sarebbero usciti fuori risultati di menzogna, con tutta l'abilità dubito tu possa controllare anche quelli).
Se proprio vogliamo essere nelle tue argomentazioni mi viene anche da aggiungere un'altra fallacia dei test stando a una scientificità hard. Come dice Marradi, se i test di misura misurano, come facciamo ad asserire che la unità di misura sia stabile (come può essere un metro) quando le variabili che rileviamo sono non osservabili?

Le tue osservazioni, legittime, possono essere fatte anche nelle tue argomentazioni, il tuo riduzionismo alla neurofisiologia non porta a risultati poi così soddisfacenti, spesso i farmaci che si basano su assunti riduzionistici non funzionano.

Inoltre c'è un'altra fallacia in quello che dici, "i test sono falsificabili" non significa che siano inutili. Non tutti provano a falsificare i test, e non tutti quelli che ci provano ci riescono. Tu ci riesci, l'errore c'è, ma non parlerei di inutilità dello strumento.

Inoltre questa tua resistenza allo strumento (che dici di poterti giocare come vuoi) a volte ti ha portato a risultati sconvenienti. Perché alzarsi e andarsene in un'intervista di selezione quando avresti saputo superare la prova e sfruttare a tuo vantaggio la situazione?
Sei riuscita a giocarti il test quella volta?

Restando d'accordo con te con la possibilità di falsificare di un test e su alcune delle fallacie fondamentali degli strumenti psicologici, ti aggiungo che innanzitutto l'errore degli strumenti non è esclusivo della psicologia. Si pensi ad errori medici ad esempio nella diagnosi di un tumore.

In ambito giuridico ci sono veramente tanti errori, la perizia psicologia o di un esperto in generale a mio parere non dovrebbe essere fatta di soli test. Ci sono metodi che analizzano micro espressioni facciali difficilmente controllabili, se potessi ti metterei alla prova anche se questo aspetto per vedere se sei veramente in grado di simulare anche lì.
Se ci riuscissi però ti direi solo che hai delle capacità eccezionali, non brucerei la mia biblioteca di psicologia perché ho trovato un caso che riesce ad aggirare il mio sistema di analisi.

Igor

[Empowered]

In ogni caso volendo essere più specifici il metodo dei test presuppone che tu non li conosca prima, quindi se tu conosci il test prima che ti sia applicato non è lo strumento che non funziona ma è il metodo che non è stato applicato come si deve. E' come dire prendo l'aspirina e la coca cola insieme e poi dico che l'aspirina non funziona.

[Johnny]

Come dice Marradi, se i test di misura misurano, come facciamo ad asserire che la unità di misura sia stabile (come può essere un metro) quando le variabili che rileviamo sono non osservabili?

perché le variabili che i test misurano sono campioni di comportamento, quindi osservabili, indicativi dei costrutti sottostanti.
Se voglio misurare l'intelligenza, non misuro "l'intelligenza" (concetto astratto), ma dei comportamenti che sono collegati all'intelligenza (saper risolvere un problema e il grado di difficoltà, saper ordinare delle storie figurate, ecc.).

[071Chomi]

.......................

[Empowered]

perché le variabili che i test misurano sono campioni di comportamento, quindi osservabili, indicativi dei costrutti sottostanti.
Se voglio misurare l'intelligenza, non misuro "l'intelligenza" (concetto astratto), ma dei comportamenti che sono collegati all'intelligenza (saper risolvere un problema e il grado di difficoltà, saper ordinare delle storie figurate, ecc.).

Si si parlavo solo del punto di vista di Marradi, che con una sottigliezza metodologica fa notare quanto se io decido che un comportamento equivale a un punto, quell'un punto diventa un'unità di misura che per sua natura dovrebbe essere qualcosa di stabile e univoco, mentre nel test quell'un punto si può ottenere in modi anche molto diverse (e non stabili come le unità di misura), Marradi fa anche notare quanto quell'unità di misura sia contesto dipendente.
Con questo non voglio criticare il concetto di test, l'importante è che praticamente può essere utile. Quello che dici è vero, Marradi critica solo il fatto che spesso in gergo si dica di misurare ad esempio l'intelligenza e non i campioni di comportamento osservabili e che si ritiene siano indicativi dell'intelligenza.
Ma sono questioni di parole, di fatto accade quello che dici tu