PISA este un program internațional al Organizației pentru Cooperare și Dezvoltare Economică, OECD, care evaluează competențele elevilor de aproximativ 15 ani. Rezultatele sunt folosite pentru compararea sistemelor educaționale și pentru observarea evoluțiilor. Ele nu sunt note de catalog, un examen național de absolvire sau o evaluare a fiecărui elev dintr-o țară.
Domeniile principale sunt lectura, matematica și științele. Evaluarea urmărește folosirea cunoștințelor în situații care cer înțelegere, raționament și aplicare. Într-un tabel de rezultate, scorul mediu reprezintă doar o parte a informației: distribuția competențelor, populația acoperită și incertitudinea statistică influențează interpretarea comparației dintre două sisteme.
Cine intră în populația evaluată
Documentația OECD definește grupul-țintă prin vârstă și participarea la educație. În mod obișnuit, sunt eligibili elevii între 15 ani și trei luni și 16 ani și două luni la începutul perioadei de testare, înscriși cel puțin în clasa a șaptea. Intervalul tehnic permite aplicarea unei reguli comune în sisteme cu calendare școlare diferite.
În consecință, elevii evaluați nu trebuie să fie în aceeași clasă în toate țările. Vârsta comună este un criteriu diferit de anul de studiu. Totodată, adolescenții care nu mai sunt înscriși în școală nu sunt reprezentați ca elevi testați. Indicatorii privind acoperirea populației sunt necesari pentru a înțelege această limită a rezultatelor.
Participanții sunt selectați printr-un eșantion, de regulă în două etape: mai întâi școlile, apoi elevii din școlile alese. Datele sunt ponderate pentru a reprezenta populația eligibilă potrivit metodologiei. Simplul număr de copii care au răspuns nu descrie întregul calcul, deoarece selecția și ponderile stabilesc contribuția răspunsurilor la estimările publicate.
Ce înseamnă folosirea cunoștințelor
Cadrul PISA pentru științe tratează competențe precum explicarea fenomenelor, evaluarea investigațiilor și interpretarea critică a datelor. Elevul poate întâlni o situație însoțită de un grafic, o descriere sau informații din mai multe surse. Cerința nu se limitează la recunoașterea unui termen; poate solicita alegerea unei explicații susținute de dovezile disponibile.
O distincție importantă este cea dintre o observație și concluzia formulată pe baza ei. Într-un exemplu generic, un grafic cu două variabile poate arăta o asociere, fără să demonstreze singur cauza. Competența de interpretare presupune folosirea informației oferite și observarea limitelor ei. Exemplul ilustrează un tip de raționament, nu reproduce o întrebare din test.
Evaluarea informațiilor științifice include și aprecierea credibilității unei surse sau a modului în care a fost realizată o investigație. Cadrul OECD discută aceste competențe în relație cu situații reale. Un răspuns care folosește informația relevantă și verifică dacă ea susține afirmația este diferit de memorarea izolată a unei definiții.
De ce scorul nu este o notă din zece
PISA folosește scale de competență pentru fiecare domeniu. Punctele din aceste scale nu sunt procente de răspunsuri corecte și nu se convertesc direct în note școlare. OECD precizează că nu există un scor general care să adune automat lectura, matematica și științele într-o singură notă. Fiecare domeniu are o interpretare proprie.
Elevii nu primesc obligatoriu un set identic de întrebări, iar evaluarea folosește proceduri statistice pentru estimarea performanței populației. Din acest motiv, rezultatul unui sistem nu este media unor note obișnuite de examen. Comparabilitatea este construită prin metodologia comună, prin legătura dintre instrumentele de evaluare și prin verificarea calității datelor.
Scorul mediu și nivelurile de competență se completează. Media sintetizează performanța pe scală, iar nivelurile descriu tipuri de sarcini pe care elevii le pot rezolva. Două sisteme cu medii apropiate pot avea distribuții diferite: unul poate avea mai mulți elevi la niveluri înalte, iar altul o concentrare mai mare în zona de mijloc.
Cum se interpretează nivelurile de competență
OECD folosește nivelul 2 ca reper de bază pentru participarea funcțională în societate în domeniile principale. În descrierea științelor, acest nivel implică folosirea unor cunoștințe pentru explicații simple, evaluarea unor aspecte elementare ale investigației și identificarea informațiilor relevante. Descrierea nivelului este mai precisă decât etichetarea tuturor elevilor printr-un singur adjectiv.
Procentul aflat sub un prag și scorul mediu nu măsoară exact același lucru. Primul arată partea populației evaluate care nu atinge nivelul descris, iar al doilea sintetizează ansamblul scorurilor. Într-un tabel, ambele pot fi importante pentru înțelegerea diferențelor. Proporția elevilor la niveluri avansate oferă, la rândul ei, o altă perspectivă.
Un nivel de competență este legat de sarcinile și domeniul evaluat, nu de valoarea unei persoane. Rezultatele publicate permit descrierea unor grupuri și sisteme. Ele nu înlocuiesc evaluările școlare individuale și nu justifică atribuirea automată a performanței medii a țării fiecărui elev, fiecărei școli sau fiecărui profesor din acel sistem.
Diferențele mici și clasamentele
Orice estimare bazată pe eșantion are incertitudine. Ghidul cititorului OECD explică verificarea semnificației statistice pentru diferențele dintre scoruri. Două valori apropiate pot apărea în ordine diferită într-un clasament, fără ca diferența să fie suficient de clară statistic. Ordinea numerelor și dovada unei diferențe între populații sunt chestiuni distincte.
De exemplu, două medii ipotetice de 470 și 472 de puncte nu permit, singure, concluzia că un sistem este demonstrabil superior. Sunt necesare informațiile despre eroarea de estimare și comparația statistică. Numerele sunt un exemplu de citire, nu rezultate atribuite unor țări. Notele metodologice ale tabelului arată cum trebuie interpretate valorile reale.
La compararea edițiilor trebuie verificat și grupul folosit pentru media OECD. Ghidul distinge medii calculate pentru seturi diferite de țări, în funcție de datele disponibile. O schimbare a componenței poate afecta comparația. De asemenea, marcajele și notele privind participarea, eșantionarea sau calitatea datelor trebuie citite împreună cu rezultatele.
Ce informații oferă contextul elevilor
PISA colectează și informații de context prin chestionare, pentru analiza relației dintre performanță și condițiile educaționale sau sociale. O asociere între două caracteristici nu dovedește automat că una a produs-o pe cealaltă. Interpretarea trebuie să țină cont de felul în care au fost obținute datele și de limitele comparației dintre grupuri.
Citirea unui rezultat presupune identificarea domeniului, a ediției, a populației reprezentate și a indicatorului prezentat. Procentul sub un nivel, media și schimbarea față de o ediție anterioară sunt informații diferite. Descrierile sarcinilor și notele tehnice explică sensul lor, inclusiv atunci când o poziție în clasament pare mai simplă decât datele din care a fost calculată.