Lumi de Porțelan
Despre epoca fatală a psihologiei românești de conferințe
"In my dreams I'm jealous all the time As I wake I'm going out of my mind" Moby - "Porcelain"
Aduceri Aminte
Am început să discutăm, în episodul anterior (arhivă), despre cum psihologul Mihai Aniței reușise să învârtă, câțiva ani la rând, conferințe absconse, cu scopul de a-i ajuta pe niște colegi nevoiași. După cum urmează să vedem, aceste conferințe le ofereau cvasivizibilitate autorilor și viitorilor profesori universitari în cauză, fără a-i chinui cu un proces formal de peer review.
Scurt Istoric
Conferințele organizate de Mihai Aniței purtau numele de PSIWORLD, sub denumirea formală de Conferința Internațională „Psihologia și Realitățile Lumii Contemporane” (după cum poate fi observat și pe pagina de Facebook a conferinței, respectiv în Figura 1). Firește, orice spirit conservator va înceta să mai parcurgă acest text, după ce mi-am permis să batjocoresc și să denigrez preaînaltul și preaimportantpentruaficriticatul demers academic. Una ca aceasta nu reprezintă o problemă pentru noi, însă.
Fiind copilul minunat al inițiativei Procedia, jurnalele rezultate în urma conferințelor PSIWORLD pot fi regăsite pe ScienceDirect, chiar pe pagina jurnalului Procedia - Social and Behavioral Sciences (i.e., defunct, începând cu anul 2019). Așadar, nu doar că au existat, ba chiar mai mult, au fost și indexate în minim o bază de date internațională. Urmează să vedem, în plus, ceva chiar mai fascinant de atât.
Lumi Remarcabile
Vedeți, în Figura 1, textul „Web of Science”, pe coperta paginii de Facebook a conferinței? În general, nu prea poți minți cu așa ceva, având în vedere faptul că autorii și cercetătorii români folosesc mențiunea de „articole indexate în jurnale ISI” cu o reverență ieșită din comun (din nou voi face recomandarea articolului lui Pavlenko și Bojan, 2018). În astfel de momente, este bine să verificăm și site-urile oficiale ale conferințelor, pentru a valida, inițial, indexările remarcate.
Ce putem sesiza numaidecât, însă, precum în cazul conferinței analizate în episodul anterior, este că site-ul nu mai există, în prezent. Se pare că sufletele nobile au existat dintotdeauna, totuși, deoarece, precum în episodul anterior, avem ocazia, din nou, de a verifica arhive ale site-ului, în Wayback Machine. Chiar și în arhivă putem vedea că titlul de „jurnal indexat ISI” a venit pe merit, nu din vorbe goale sau iluzii (Figura 2).
O altă verificare, de această dată ceva mai robustă, este să căutăm direct în Web of Science, pentru a testa valoarea de adevăr a acestei indexări. Din nefericire, Web of Science poate fi accesat doar utilizând un tip de acces instituțional; dar, din nou, ne declarăm victorioși, putând profita din plin de un astfel de tip de acces, oferit de platforma Enformation. Pare că Web of Science chiar conține metadatele asociate articolelor prezentate în cadrul conferințelor PSIWORLD, cel puțin pentru anii 2011, 2012, 2013 și 2014 (Figura 3).
Utilizând cheile de căutare ce se pot observa în Figura 4, WoS ne va arăta toate articolele de la conferințele PSIWORLD.
Obținem, ulterior căutării, un număr de 688 de articole de la PSIWORLD, publicate în perioada 2011-2014 (Figura 5).
Dacă aș putea descărca și niște date din WoS, aș fi, probabil, cel mai fericit din lume; problema este că, la data de 16 octombrie 2022, data scrierii efective a acestui articol, echipa Enformation are ceva probleme (Figura 6) cu implementarea unui API al celor de la Clarivate (arhivă) (i.e., băieții care dețin Web of Science, din 2017, respectiv ProQuest, din iarna anului trecut).
Nu-i problemă, însă, deoarece putem face niște calcule rapide, datorită capabilităților de spion (pentru mai multe detalii, referitor la conceptul de surveillance publishing, vezi Pooley, 2022) extraordinare ale motorului de căutare WoS. Până acum, putem observa că există un număr de 2272 citări, pe toate articolele PSIWORLD din 2011 până în 2014, din care 81 de citări provin din autocitări. Un articol deține, în medie, un impresionant număr de 3.3 citări (Figura 7).
Vă amintiți cum am început treaba, pe acest Substack? Corect, clasificând articolele în funcție de numărul de citări. Putem face asta, din nou, datorită posibilităților avansate de a spiona, ale motorului WoS. Astfel, trebuie să dăm scroll peste 196 de articole cu zero citări (aproape o treime), pentru a ajunge la cele cu o singură citare (Figura 8).
Nu vom sta, acum, să vedem și alte clasificări. Ne vom uita, în schimb, la Figura 9, ce ne arată că numărul de citări a bubuit, pentru articole, în 2020, comparativ cu anii anteriori. Dar, după cum ne indică și literatura de specialitate, ne cam puteam aștepta la asta, deoarece pattern-urile de citări au fost amplificate artificial, pe perioada pandemiei COVID-19 (Aggarwal et al., 2021; Kambhampati et al., 2021).
Dacă sunteți curioși, în plus, cum arată Top 10 cei mai publicați autori de la PSIWORLD, WoS ne oferă și capabilitatea de a-i vedea, în clar, pe aceștia (Figura 10).
Această ierarhie este compusă din:
Mihaela Chraif - Conf. Univ. Dr. la Universitatea din București.
Mihai Aniței - Fost Prof. Univ Dr. la Universitatea din București.
Valeria Negovan - Fost Prof. Univ. Dr. la Universitatea din București.
Cristian Vasile - Prof. Univ. Dr. la Universitatea Petrol-Gaze din Ploiești.
Gabriel Albu - Prof. Univ. Dr. la Universitatea Petrol-Gaze din Ploiești.
Ana-Maria Cazan - Conf. Univ. Dr. la Universitatea Transilvania din Brașov.
Aurel Ion Clinciu - Prof. Univ. Dr. la Universitatea Transilvania din Brașov.
Florinda Golu - Prof. Univ. Dr. la Universitatea din București.
Romeo Zeno Crețu - Prof. Univ. Dr. la Universitatea din București.
Steliana Rizeanu - Prof. Univ. Dr. la Universitatea Hyperion din București.
București, Brașov și Ploiești…așa, da!
Lumi mai Puțin Remarcabile
Pentru o conferință ce practica tarife între 50 și 150 de euro (Figura 11), consider că ar fi mai mult decât util să vedem și dacă ne putem baza pe rezultatele statistice obținute de către cercetători.
Am mai vorbit noi…conform metodologiei utilizată tot de mine, aici, putem avea discuții despre obținerea rezultatelor statistice prin practici chestionabile de cercetare.
Pentru început, a trebuit să descarc volumele întregi PSIWORLD, din perioada 2011-2014. Am avut norocul că pot fi descărcate en gros de pe ScienceDirect. Astfel, după ce le-am descărcat, am obținut testele statistice cu ajutorul aplicației web Statcheck (Rife et al., 2016).
Pentru început, trebuie să știți, poate, că Statcheck a fost conceput pentru a testa raportarea eronată a valorilor p, în articolele de psihologie (Nuijten et al., 2015). Faptul că am descoperit o modalitate de a utiliza aplicația pe post de robot ce extrage, automat, date din articolele științifice, raportate în stilul Asociației Americane de Psihologie (arhivă), reprezintă strict o sclipire de moment, de acum câteva luni bune.
Așadar, putem observa, din datele extrase de Statcheck, faptul că 134, din 499 (aproximativ 27%) de teste statistice, raportează eronat valorile p. O astfel de chestiune se poate întâmpla fie ca urmare a unui calcul greșit, din partea programului de analiză statistică utilizat, fie ca urmare a unei tentative a cercetătorilor de a „manevra” valorile p, pentru a obține, pe nedrept, „semnificație statistică” (i.e., o lectură bună, aici, ar fi Ware & Munafò, 2014), acolo unde, în realitate, nu se află. Cu toate acestea, vă sfătuiesc să citiți bucata lui Schmidt (2017), despre cum Statcheck nu reprezintă un „glonț aurit”, atunci când vine vorba de detectarea inconsistențelor de raportare a valorilor p.
În fine, iată că a venit vorba să discutăm și despre calitatea potențială a rezultatelor testelor statistice provenite din articolele din PSIWORLD (Figura 12).
Înainte de a ne apuca - Statcheck poate extrage doar rezultatele testelor statistice raportate în stil APA; în cazul în care articolele au rezultate în tabele, nu sunt raportate APA sau sunt articole calitative, revizuiri ale literaturii de specialitate sau alte asemenea fantasmagorii, o astfel de analiză nu este de ajutor; curbele Z rulează strict pentru indici cantitativi, deoarece, surpriză, statistica presupune indici cantitativi.
Acestea fiind spuse, avem, pe total (Figura 12):
ODR - 82% teste semnificative statistic, pe hârtie.
EDR - 28% teste semnificative statistic, „pe bune”.
Șanse ca 54% dintre testele statistice (i.e., diferența dintre ODR și EDR, atunci când intervalele lor de încredere nu „se pupă”) să fi fost obținute cu ajutorul practicilor chestionabile de cercetare; în mod special, p-hacking (Head et al., 2015).
File Drawer Ratio - Pentru fiecare test semnificativ statistic publicat, există 2.63 teste nesemnificative statistic, nepublicate, băgate la sertarul lui Rosenthal (1979).
Soric FDR - Șanse ca 14% dintre testele statistice să fie fals-pozitive (i.e., indicate drept „semnificative statistic”, dar ele să nu fie, cu adevărat; vezi detalii și clarificări în articolul esențial al lui Simmons și al colaboratorilor săi, 2011), conform formulei propuse de Branko Sorić (1989).
Replication Rate - O putere medie de 80% a articolelor analizate.
Dacă vă mai amintiți, rețineam doar testele statistice F, t și Z, pentru maximizarea șanselor de a captura testele statistice utile și relevante, din cercetările analizate. În acest sens, rezultatele pot fi observate în Figura 13.
Reiterăm, așadar:
ODR - 81% teste semnificative statistic, pe hârtie.
EDR - 26% teste semnificative statistic, „pe bune”.
Șanse ca 55% dintre testele statistice (i.e., diferența dintre ODR și EDR, atunci când intervalele lor de încredere nu „se pupă”) să fi fost obținute cu ajutorul practicilor chestionabile de cercetare; în mod special, p-hacking (Head et al., 2015).
File Drawer Ratio - Pentru fiecare test semnificativ statistic publicat, există 2.81 teste nesemnificative statistic, nepublicate, băgate la sertarul lui Rosenthal (1979).
Soric FDR - Șanse ca 15% dintre testele statistice să fie fals-pozitive (i.e., indicate drept „semnificative statistic”, dar ele să nu fie, cu adevărat; vezi detalii și clarificări în articolul esențial al lui Simmons și al colaboratorilor săi, 2011), conform formulei propuse de Branko Sorić (1989).
Replication Rate - O putere medie de 79% a articolelor analizate.
Ceva Concluzii, pentru O Lume mai Bună de Nimic
Nu doar că autorii și cercetătorii români au descoperit și exploatat, acum un deceniu, modalitatea optimă de a escalada rapid ierarhia academică, publicând articole și indexându-le în baze de date internaționale; ba chiar mai mult, calitatea cercetărilor produse și aruncate în aceste baze de date este chestionabilă. Așadar, vă întreb, pe această cale: În cazul treimii de publicații cu citări nule, poate nu ne facem așa mari griji; dar ce ne facem cu articolele ce au primit citări? Cum ajung autorii să polueze, voluntar sau involuntar, științific? Se pare că se mai încheie încă o seară în care astfel de întrebări nu își găsesc răspunsul, iar astfel de cercetări, cu zero citări, nu își găsesc căminul călduros și ferit de criticile metaștiințifice obsesive. Pot doar să sper, cu această ocazie, că ați învățat cum să economisiți vreo 50-150 de euro, pe care să îi utilizați, ulterior, peste vreo 3 săptămâni, când va veni Black Friday peste noi.
Open Science Stuff
Toate materialele utilizate pentru analizele statistice le găsiți în folder-ele dedicate, pe platforma Open Science Framework, la adresa: https://doi.org/10.17605/OSF.IO/MVWSG