Тайны ЕГЭ
Над тем, как обмануть ЕГЭ думают миллионы, и их не переиграть горстке чиновников
До того, как закон о ЕГЭ вступит в силу остался месяц.
Владимир Хлебников – это тот самый человек, который разработал технологию тестирования еще до начала эксперимента по ЕГЭ для централизованного добровольного абитуриентского тестирования, и с самого начала эксперимента руководил центром обработки результатов ЕГЭ. Ему лучше всех были видны и недостатки методики. Но когда он начал о них открыто говорить, это оказалось никому ненужно. Ведомство не пожелало ничего радикально менять.
Владимир Хлебников передал «Новой» свой аналитический материал.
Наиболее важным событием в современной Российской системе образования является отказ от жёстких учебных планов и программ в средних общеобразовательных учреждениях. Им была предоставлена значительная свобода творчества. Каждая школа имеет свой учебный план. Государственный контроль над учебным процессом производится только на этапе итоговой аттестации, т.е. по окончании начальной, основной (9 классов) и полной (11 классов) школы.
Органы управления образованием формально не вмешиваются в процесс обучения. Да и текущий контроль над учебными достижениями их мало интересует.
Одновременно с эти возникли и обострились две другие проблемы.
Первая – это коррумпированность при отборе поступающих в высшие учебные заведения для обучения за счет бюджета.
Вторая – это отсутствие каких-либо нормативно определённых ориентиров для выставления отметок (текущих и итоговых) за учебные достижения учащихся общеобразовательных учреждений. Фактически российская школа не имеет руководящих документов о том, за какие знания учащимся можно выставлять отметки «2», «3», «4» и «5». У каждого учителя, методиста или руководителя управления образованием по этому вопросу имеются собственные соображения.
Более того, традиционная для России пятибалльная система школьных отметок давно переродилась в четырёхбалльную, т.к. отметки «1» не существует. Отметка «2», по крайней мере, в итоговой аттестации тоже не выставляется. В итоге имеем трёхбалльную шкалу отметок – «3», «4» и «5», которая постепенно сужается до однобалльной – «4». Это связано с тем, что отметка «3» нежелательна, т.к. вызывает подозрение в том, что за ней скрывается отметка «2». Отметка «5» привлекает к себе внимание и учителю спокойней вместо нее ставить оценку «4». Более примитивную шкалу невозможно придумать. Это привело к тому, что Российская система оценок очень не точно отражает учебные достижения как отдельных учащихся, так и их групп.
Российское образование остро нуждается в более современной шкале оценок учебных достижений. Почти во всех республиках СНГ уже введена современная десятибалльная система школьных оценок.
Вместе с этим нужно разработать и ввести в действие требования, предъявляемые к знаниям школьников по всем предметам и темам для выставления соответствующих отметок. За восемь лет эксперимента по введению ЕГЭ ничего подобного не делалось.
Ни для кого не является секретом, а, наоборот, стала притчей во языцех, – нескрываемая помощь выпускникам со стороны преподавателей на итоговой аттестации.
Всё это свидетельствует о том, что Российская система образования нуждается в механизме получения объективных оценок учебных достижений – как для целей итоговой аттестации (средняя школа), так и для обеспечения социальной справедливости при приёме на обучение в вузы за счёт средств бюджета.
Единый государственный экзамен (ЕГЭ), безусловно, есть шаг в правильном направлении!
Велико значение слова «единый» во всей процедуре ЕГЭ. Очевидно, что едиными для всех участников экзамена должны быть требования к учебным достижениям, единая структура экзаменационных материалов (по предметам), единая процедура проведения и обработки результатов ЕГЭ, единая методика оценивания первичных результатов ЕГЭ (ответов на задания измерительных материалов).
Кроме того, должны быть обеспечены:
— научная обоснованность процедур и методик оценивания учебных достижений учащихся,
— высокая надежность результатов измерений – результаты ЕГЭ должны быть близки к результатам измерений учебных достижений иными способами,
— низкая погрешность измерений учебных достижений по результатам ЕГЭ (особенно в районе высших баллов),
— независимость результатов ЕГЭ от:
-использования множества неравносложных вариантов измерительных материалов,
-места и времен проведения ЕГЭ,
-состава исполнителей, привлекаемых для проведения ЕГЭ и обработки его результатов,
— абсолютная информационная безопасность экзаменационных материалов, процедуры проведения ЕГЭ и обработки его результатов от несанкционированного вмешательства,
— прозрачность всех процедур проведения ЕГЭ,
— соответствие требований итоговой аттестации и вступительных испытаний в вузы к измерительным материалам и процедуре проведения ЕГЭ,
— общественное согласие с результатами ЕГЭ и статусом их использования.
Перечисленные требования при проведении эксперимента по введению ЕГЭ не оценивались никогда.
Проведём краткий анализ той процедуры, которая с 1 января 2009 года по закону будет использована для решения проблем Российского образования.
Главное в ЕГЭ – это результаты. Что же измеряет ЕГЭ?!
Можно с уверенностью сказать, что смысл оценок по результатам ЕГЭ (тестовый балл) не понимает практически никто.
Тестовый балл, выставляемый по результатам ЕГЭ, рассчитывается по методике, разработанной в Федеральном центре тестирования. Методика создавалась для оформления результатов централизованного абитуриентского тестирования – акции сугубо добровольной как для учащихся, так и для вузов, учитывающих результаты централизованного тестирования. Результаты тестирования учащихся расставлялись в упорядоченный ряд по тестовым баллам, определённым в зависимости от количества верных ответов и сложности используемых вариантов тестов. Методика использует некоторые теоретические положения, устоявшиеся в зарубежных научных исследованиях. Хорошая научная база позволяла получать результаты, безусловно принимаемые вузами для отбора наиболее подготовленных поступающих.
Именно такая методика расчета тестовых баллов была перенесена из централизованного абитуриентского тестирования в единый государственный экзамен. С одной существенной поправкой. Если для централизованного тестирования учитывалось, что различные варианты тестов могут иметь различную сложность, то для ЕГЭ тогдашним руководителем Рособрнадзора было дано указание усреднить тестовые баллы, полученные по разным вариантам тестов. Поясним, что это означает.
Пусть два учащихся с примерным одинаковым уровнем подготовленности участвовали в тестировании. Каждый из них получил свой вариант теста. Варианты имели разную сложность. Одному ученику достался вариант более простой, а другому более трудный. Это явление весьма распространенное, т.к. создать даже два варианта теста одинаковой сложности практически невозможно.
Методика централизованного тестирования это улавливает и, не взирая на разное количество верных ответов, установит для таких испытуемых примерно одинаковые тестовые баллы. Это справедливо и наука это обеспечивает.
В ЕГЭ этого нет. Все участники, набравшие одинаковое число верных ответов (первичных баллов), получат одинаковый тестовый балл вне зависимости от сложности доставшегося варианта теста.
А эти варианты ох как отличаются друг от друга по сложности! Специалисты это хорошо знают.
Такой ЕГЭ не гарантирует точные и справедливые результаты. Следовательно, результаты ЕГЭ нельзя использовать для отбора поступающих в вузы, ввиду их научной необоснованности!
Гораздо хуже обстоит дело с использованием результатов ЕГЭ для целей итоговой аттестации. Повторим, что методика расчёта тестовых баллов ЕГЭ определяет уровень подготовленности учащихся, сравнивая их знания друг с другом, но не сравнивая с требованиями учебной программы. Эта методика предназначена только для отбора поступающих в вузы.
Для целей итоговой аттестации должны быть использованы критериально - ориентированные, а для отбора в вузы нормативно – ориентированные тесты.
Сделать суждение о степени освоения школьного предмета для итоговой аттестации по результатам ЕГЭ в принципе невозможно.
В Центре тестирования для итоговой аттестации разрабатывались совсем иные, итоговые критериально - ориентированные тесты. Результаты такого тестирования обрабатывались иначе, чем результаты абитуриентского тестирования.
До сих пор, никакие даже самые продвинутые тестологи мира не смогли создать теста, который является одновременно нормативно и критериально ориентированным и мог быть использован для целей итоговой аттестации и для отбора наиболее подготовленных поступающих в вузы.
Наши коллеги в Белоруссии, Азербайджане, Казахстане, Узбекистане не совмещают итоговую аттестацию со вступительными испытаниями. Государственные испытания в тестовой форме проводятся только для отбора поступающих в вузы, причем с привлечением служб национальной безопасности.
Россия пошла иным путём, который при всей его кажущейся привлекательности, не имеет последователей.
Отмеченные недостатки являются основными, препятствующими достижению поставленных целей ЕГЭ.
Можно ли исправить имеющиеся недостатки?
Для отбора поступающих в вуз проблема решается просто. Для этого достаточно изменить методику обработки первичных баллов таким образом, чтобы она учитывала различную сложность используемых вариантов тестов. Это сделать нетрудно, так как такая методика существует и много лет используется при проведении абитуриентского централизованного тестирования.
Многочисленные иные недостатки ЕГЭ при этом остаются, но о них скажем позднее.
Для целей итоговой аттестации проблема с ЕГЭ ремонту не подлежит. Итоговая аттестация требует иных измерительных материалов и методик обработки результатов их использования.
Процедуры итоговой аттестации и отбора поступающих в вузы несовместимы. Их необходимо разделить.
Перевод тестовых баллов ЕГЭ в пятибалльную шкалу для целей итоговой аттестации чиновники осуществляют произвольно. В первые годы эксперимента по введению ЕГЭ за основу бралось правило: двоечников и отличников устанавливалось по десять процентов от общего числа участников. Троечников и хорошистов – по сорок процентов от общего числа участников. В последующие годы доля учащихся с различными отметками во избежание нелепицы корректировалась. Так, например, неприлично ставить отметку «удовлетворительно» по математике за три-четыре верных ответа. На простейшие вопросы в части «А» даже восьмиклассник даст три-четыре верных ответа. Учащиеся 10-11-ых классов сразу смекнут, что тройка им уже гарантирована, и далее всерьез учиться не будут. Вот и пришлось для сохранения приличия ставить тройку за большее число верных ответов. А это привело к тому, что доля двоечников по математике возросла до стабильного по годам уровня в 22 – 23 процента от общего числа участников. Так уж учат у нас в школе математике.
Рассмотрим вопрос о погрешности измерений учебных достижений, получаемых при проведении ЕГЭ.
В Федеральном центре тестирования проводились расчеты погрешностей результатов ЕГЭ. Было определено, что в середине шкалы измерений (от 40 до 60 баллов) величина погрешности практически по всем предметам составляет ± 3 тестовых балла. Погрешности возрастают по мере смещения в сторону более низких и более высоких оценок. В районе 90 баллов погрешность составляет от 5 до 10 тестовых баллов. Эта погрешность неустранима при нынешней идеологии ЕГЭ, т.е. как говорят математики, - это погрешность метода. На практике это означает, что вуз, выбирая из двух поступающих с результатами 84 и 86 баллов по предмету, отдает предпочтение, казалось бы, лучшему – 86 балльному результату. В некоторых вузах результат меньше 85 баллов вообще не рассматривается. А на самом деле результаты этих поступающих 84±5 и 86±5 баллов, и кто из них лучше знает предмет уже не очевидно. Если тестовые баллы испытуемых отличаются друг от друга на величину меньшую, чем погрешность измерения, то делать суждение о превосходстве того или иного результата не корректно. Из этого следует, что ЕГЭ плохо дифференцирует испытуемых в наиболее важной для приема в вуз зоне – области наивысших тестовых баллов. Имеет ли право ЕГЭ на систематические неточности такого размера? Ничего не подозревающим выпускникам школ и приёмным комиссиям вузов величина тестового балла объявляется без тени сомнения.
Неучёт факта, что погрешность измерения в области высоких баллов недопустимо велика, приводит к тому, что результаты, указанные в свидетельствах ЕГЭ, не отражают реального уровня подготовленности испытуемых. Это зачастую вызывает неосознанное, но интуитивно верное возмущение выпускников и их родителей.
Как уменьшить погрешность измерений? Есть два способа.
Первый. Увеличить число заданий в тесте. Это нетехнологично. Тесты, содержащие сотни заданий разной сложности и разрабатывать трудно, и использовать не просто.
Второй. Разрабатывать и использовать батареи тестов обычной длины и различной сложности, предназначенные для использования в заданном интервале тестовых баллов и имеющие в этих интервалах минимальную погрешность.
Второй способ предпочтительнее.
Минимизация погрешности измерений тесно связана с проблемами оценивания (шкалирования) результатов тестирования. Это самые наукоёмкие вопросы ЕГЭ. За восемь лет эксперимента по введению ЕГЭ не было ничего сделано для создания и развития науки о педагогических измерениях в России. Руководители образования видимо считали, что для ЕГЭ наука не нужна. Это неверно.
Обсудим коротко экзаменационные материалы, используемые при проведении ЕГЭ. Их разрабатывает специализированное государственное учреждение Федеральный институт педагогических измерений (ФИПИ). Ежегодно для ЕГЭ по каждому предмету необходимо разработать десятки, а по математике и по русскому языку по сотне оригинальных вариантов тестов высокого качества. Разные варианты тестов должны быть в идеале одинаковой трудности и с одинаковыми измерительными свойствами. Эта задача невыполнима! Общественность не знает, по каким параметрам и измерительным свойствам отбираются тесты ЕГЭ. Материалы сдаются в тираж в феврале – марте. Удовлетворительное опробывание (не путать с апробацией) тестовых материалов к этому сроку провести невозможно. Измерительные свойства тестов, используемых в ЕГЭ, не знает никто ни до, ни после экзамена.
Ввиду высокого статуса ЕГЭ, к разработке измерительных материалов потянулось множество специалистов – предметников. Для них ЕГЭ – это и заработок, и престиж. Выбрать было из кого. Отобрали самых «маститых». Ну не могут они делать простенькие задания. И в части «С» появились задания убойной силы, причем не лучшего качества за исключением задач типа С3. Ну и кто может их выполнить? Все задания части «С» выполняют единицы испытуемых, а двоечников по математике более двадцати процентов от общего числа участников ЕГЭ, т.е. более двухсот тысяч человек. Зачем задания с такой трудностью тиражировать, рассылать по всей стране, собирать предметные комиссии для проверки, расходовать государственные средства? Все это ради единичных случаев, в то время, как сотни тысяч выпускников требуют более пристального внимания. Для чего делается такой разброс трудности заданий? Видимо у руководителей эксперимента была уверенность, что одним достаточно коротким тестом возможно оценить знания всех учащихся (и посредственных, и элитных). Но это невозможно. Кто из ученых дал такой совет? Нет таблетки от всех болезней.
Структура тестовых материалов ЕГЭ плохо продумана и нуждается в переработке.
Казалось бы, что качество тестов должно расти вместе с опытом их разработки. Но этого не происходит. Нарекания со стороны специалистов были ранее, есть и сейчас. Не вдаваясь в подробности, можно смело утверждать, что по процедуре разработки экзаменационных материалов ЕГЭ необходим соответствующий государственный стандарт, утверждённый Агентством по техническому регулированию (бывший Госстандарт). Содержание экзаменационных материалов, как и прописано в законе, остается в ведении системы образования. Но процесс разработки экзаменационных материалов, требования к качеству тестов, к их измерительным свойствам, их трудности, способности дифференцировать учащихся по степени подготовленности и прочим свойствам нужно определить и описать в соответствии с хорошо продуманной процедурой разработки стандартов. Иначе не понятно, что за тесты используются при проведении ЕГЭ. Неизвестны их измерительные свойства. С какой погрешностью они определяют уровень подготовленности учащихся?
Никто не знает ответа на эти вопросы. Никогда не публикуются материалы с характеристиками используемых тестов. На Западе такие публикации совершенно обязательны. Руководители Рособрнадзора такие задачи перед исполнителями не ставят. А те и довольны. Сами тесты разрабатывают, сами же их и хвалят. Хотя и признают, что бывают отдельные недостатки.
Исключительно большое значение для ЕГЭ имеет проблема информационной безопасности. Несанкционированное вмешательство в любой технологический элемент ЕГЭ может исказить результаты не только одного испытуемого или небольших групп на уровне класса или школы. Распространение злоумышленниками по каналам Интернет накануне экзамена похищенных вариантов тестов и ответов к ним может привести к искажению результатов ЕГЭ в целых регионах. Выпускники могут несправедливо получить высокие тестовые баллы, и аннулировать их будет невозможно. В вузы будут зачислены совсем не лучшие поступающие. Заметим, что самый большой вред – преждевременное раскрытие тестовых материалов в Интернете – совершают люди с наименьшей материальной мотивацией – хулиганы.
Нередки случаи прорешивания экзаменационных заданий группами преподавателей, собранных в якобы опечатанных кабинетах пунктов проведения ЕГЭ. Возможна подмена бланков ответов избранных испытуемых из резервных комплектов бланков и т.д. Сколь бы ни была изощрённой технология ЕГЭ, всех мер предосторожности предусмотреть невозможно. Свидетельством этого являются аномальные факты массового получения чрезвычайно высоких результатов ЕГЭ. Например, в 2005 году в ряде сельских районов Башкирии на ЕГЭ по математике оценку «отлично» получили до 85 процентов экзаменующихся. В том же году в одном из районов Кировской области были получены самые высокие в стране результаты по русскому языку. Такие результаты выпускникам Москвы и Санкт – Петербурга не снились.
Досадно, что зафиксировать нарушения на месте или отменить самые вопиющие результаты невозможно. Не позволят установленные организаторами правила и круговая порука.
Вмешательство в результаты ЕГЭ возможно! Это реальный факт. Процедура ЕГЭ не даёт никаких гарантий того, что несанкционированное вмешательство исключено.
Высокий статус ЕГЭ создаёт сильнейшую мотивацию к получению высоких результатов у выпускников и их родителей.
С другой стороны, по долгу службы учителя и руководители органов управления образования тоже далеко не безразличны к тому, как выглядят их выпускники и подведомственные учреждения по результатам внешнего контроля, т.е. ЕГЭ.
Имеем уникальную ситуацию – стремление всех лиц, причастных к ЕГЭ, к высоким результатам. А это сила не малая.
Уже выработался простой и безопасный способ всё устроить. Суть его такова. За несколько дней до экзамена учителя проводят консультации для выпускников. В органы управления образованием субъектов Федерации к этому времени уже поступают материалы ЕГЭ по соответствующему предмету. Материалы поступают с запасом, так что досрочное вскрытие одного «Секьюрпака» и ознакомление с его содержанием совершенно незаметно. Всем известно, что по каждому предмету на регион имеется всего лишь пять оригинальных тестов. Остальные варианты формируются путем перемешивания заданий из пяти оригинальных. Далее совсем просто. Из реальных материалов ЕГЭ специалисты – предметники быстро делают похожие тесты – аналоги. Материалы тиражируются и рассылаются в школы для использования на консультациях. Там материалы прорешиваются. Через пару дней выпускники на экзамене получают тесты, содержащие задания очень похожие на те, которые разбирались на консультации. Абсолютно точно повторить решения и указать верные ответы на все задания не сможет никто, но можно гарантировать, что в целом весь массив выпускников получит более высокие тестовые баллы ЕГЭ. Выбросов аномально высоких результатов не будет. Все довольны – выпускники, родители, учителя, руководители и пр. Выявить нарушение невозможно.
Резюме.
Вводимый законом с 2009 г. ЕГЭ научно необоснован, неправильно сконструирован, имеет массу существенных недостатков. Его использование не принесет пользы Российскому образованию.
Введение ЕГЭ целесообразно приостановить.
Необходимо с учетом накопленного опыта пересмотреть его основные положения. Создать концепцию по оцениванию учебных достижений учащихся, получить общественное согласие, разработать и внедрить новые методы и процедуры оценивания. Создать в России научную школу по оценке учебных достижений учащихся. Гордиться полученными результатами.
Не допускать возврата к ситуации десятилетней давности, когда оценки в школах и при поступлении в вузы отдавались на откуп тем же школам и вузам.
Это означало бы не только признание ошибок, допущенных при введении ЕГЭ, но и отбросило бы Российское образование на много – много лет назад. Нельзя предавать забвению труд сотен и тысяч энтузиастов по созданию в России научных и производственных основ объективного оценивания учебных достижений. Это было бы регрессом и ошибкой.
Владимир Хлебников,
доктор технических наук
