Не пора ли нам отказаться от стандартизированных тестов? — Арло Кемпф

Посмотреть урок полностью: https://ed.ted.com/lessons/should-we-get-rid-of-standardized-testing-arlo-kempf

Несмотря на то, что в настоящее время в образовательном сообществе вокруг стандартов тестирования ведутся горячие споры, такой метод оценки применяют уже не одно тысячелетие. С одной стороны, результаты таких тестов помогают оценить некоторые параметры, с другой — если применять их неправильно, результаты могут быть обманчивы. Так что на самом деле оценивают типовые тесты? И до какой степени стоит им доверять? Арло Кемпф исследует этот вопрос.

Урок — Арло Кемпф, анимация — CUB Animation.

[Самое сложное в изучении чего-то нового —
это не воспринимать новые идеи,

а расставаться со старыми.
Тод Роуз. «Долой среднее!»]

Насколько мы знаем,
первые стандартизированные тесты

проводили ещё в Древнем Китае
более двух тысяч лет тому назад,

в эпоху Империи Хань.

С их помощью определяли профпригодность
на государственных должностях.

Тест содержал вопросы по философии,

сельскому хозяйству

и даже по военной тактике.

Следующие два тысячелетия типовые тесты
применяли во всём мире,

и сегодня ими можно измерить что угодно:

во Франции тест определяет,
как пожарный взбирается по лестнице,

в Канаде дипломаты сдают тест
на владение иностранными языками,

а школьники и вовсе пишут тесты постоянно.

В некоторых тестах оценка зависит

исключительно от результатов
других участников.

В других тестах полученные результаты
сравниваются с определёнными критериями.

В случае с лестницей и пожарным

можно зафиксировать время,
которое он потратил на подъём,

и сравнить со временем других пожарных.

Результаты можно изобразить в виде
так называемой колокообразной кривой.

Другой способ —
установить критерии заранее,

например, пронести определённый груз
на определённую дистанцию,

поднявшись на определённое
количество ступеней.

Так же можно оценить знания дипломата,
сравнив его тест с тестами коллег,

или заранее установить чёткие критерии,

позволяющие определить, на каком уровне
дипломат владеет иностранным языком.

Всё это можно изобразить
с помощью так называемого процентиля.

Если дипломат попадает в 70-й процентиль,
значит, 70% дипломатов справились хуже.

Если дипломат оказался в 30-м процентиле,
значит, 70% дипломатов справились лучше.

И хотя результаты типовых тестов
порой бывают спорными,

тест — это всего лишь
один из инструментов оценки.

Представьте, что стандартизированный
тест — это обычная линейка.

То, насколько она полезна,
зависит от двух вещей.

Во-первых, от того, что мы хотим измерить.

Линейкой нельзя измерить
температуру на улице

или громкость чьего-то пения.

Во-вторых, полезность линейки
зависит от её устройства.

Например, вам нужно измерить
окружность апельсина.

И хотя наша линейка и измеряет длину,
и это необходимая нам величина,

линейка недостаточно гибкая,
чтобы справиться с этой задачей.

Так что, если тест измеряет что-то,
для чего он не предназначен,

или составлен неправильно,

в итоге он может измерить
совсем не то, что нужно.

Если говорить о школе,

ученики, которые боятся сдавать тесты,
могут недостаточно хорошо справиться

с типовым тестом,

но не потому, что не знают ответов,

а потому, что слишком волнуются
и не могут сосредоточиться на вопросе.

Если ученик мало читает,

он может неправильно
понять условие задачи,

так что результат укажет
скорее на его неграмотность,

чем на проблемы с математикой.

Кого-то может запутаться в условии задачи,

если там встречаются
незнакомые культурные или бытовые реалии,

тогда ученик справится хуже,

и на результат повлияет отсутствие
знаний о реалиях,

а не успеваемость как таковая.

В таких случаях нужно составлять
тесты несколько иначе.

Кроме того, типовые тесты вряд ли помогут,

если нужно измерить абстрактные
способности или навыки,

например, творческие способности,

критическое мышление,
умение работать в команде.

Если тест неправильно составлен,

если тест оценивает не то,
для чего он разработан,

или что-то,
что не вполне можно им оценить,

результаты нельзя считать
надёжными или достоверными.

Надёжность и достоверность —
два важнейших понятия

в отношении типовых тестов.

Чтобы понять, чем они отличаются,

сравним эти понятия
с двумя сломанными термометрами.

Ненадёжный термометр,

сколько ни замеряй,
каждый раз показывает разную температуру,

надёжный, но недостоверный термометр
всегда показывает на 10 градусов больше.

Ещё достоверность зависит от того,
как интерпретировать результаты теста.

Если считается, что результаты теста
якобы демонстрируют то,

для чего фактически тест не предназначен,

тест может оказаться недостоверным.

Нельзя полагаться на линейку,
чтобы узнать, сколько весит слон

или что он съел на завтрак,

точно так же нельзя полагаться

на типовые тесты,
чтобы оценить уровень интеллекта,

узнать, как в реальной жизни
дипломат справится с трудностями

или насколько окажется храбрым пожарный.

То есть типовые тесты помогают нам
узнать что-то о множестве людей

в сжатые сроки,

но вряд ли позволят узнать многое
об одном конкретном человеке.

Многие учёные опасаются, что тесты
стригут людей под одну гребёнку

и приводят к неприятным переменам
в жизни экзаменуемых,

причём иногда последствия
могут быть очень далекоидущими.

Впрочем, виноваты не тесты.

Мы должны научиться создавать
правильные тесты для того,

что хотим измерить,

а также правильно
интерпретировать результаты.