АКТУАЛЬНАЯ ТЕМА

Мы привыкли думать, что в нашей стране дети получают высококачественное образование. Однако когда российские школьники приняли участие в международной программе оценки знаний и умений учащихся PISA (Program for International Student Assessment) – 2000, результаты оказались по меньшей мере настораживающими.
Мы начинаем публиковать материалы, в которых рассказывается о том, как проводятся такие исследования, какого типа задания предлагаются школьникам разных стран для диагностики качества их знаний и умений. Разумеется, прежде всего нас интересуют данные о том, что понимают в современном мире под грамотным чтением и как владеют этим навыком наши ученики.
Уже подготовив публикацию, мы вспомнили о том, что 8 сентября объявлено Международным днем грамотности, и сочли это дополнительным подтверждением актуальности предлагаемых материалов.

А.Г. КАСПАРЖАК,
К.Г. МИТРОФАНОВ,
К.Н. ПОЛИВАНОВА и др.

Продолжение. См. № 14/2005

Новый взгляд на грамотность

По результатам международного исследования PISA-2000. М.: Логос, 2004

Фрагменты из части II

ЧАСТЬ II. НОВЫЕ ТРЕБОВАНИЯ К СОДЕРЖАНИЮ И МЕТОДИКЕ ОБУЧЕНИЯ В РОССИЙСКОЙ ШКОЛЕ

Введение

Результаты российских школьников в международном исследовании PISA (Program for International Student Assessment) – 2000 и их анализ убедительно показывают, что качество российского образования существенно отличается от качества образования за рубежом. Лучше наше образование или хуже – вопрос, видимо, праздный. Ответ на него определяется теми приоритетами, которые выбирает страна в сфере образования. Безусловным является тот факт, что в России иные приоритеты в образовании, чем в других странах.

Результаты российских пятнадцатилетних школьников оказались столь неожиданными, что с момента появления первых данных о них в образовательном сообществе нашей страны идут разговоры о том, что в международном исследовании PISA-2000 мы заняли место, не соответствующее нашим представлениям о качестве отечественной школы. Впрочем, надо отдать должное, реакция была «разной». Кто-то говорил о том, что тексты заданий не прошли культурной и речевой адаптации; кто-то обращал внимание на то, что наши девятиклассники не знакомы с тестом как формой контроля, и т.д. Тем не менее в Министерстве образования РФ, Национальном фонде подготовки кадров сочли необходимым разобраться в содержании заданий теста PISA, найти причины подобного «выступления» наших школьников в международном исследовании.

Было принято решение продолжить изучение самого инструментария PISA и полученных результатов, поскольку они предоставляют богатейший материал для дальнейшего анализа, а также могут служить основанием постановки новых вопросов и эмпирических проверок различных гипотез.

Анализ результатов российских школьников привел к выявлению списка тех действий и операций, которые составляли содержание заданий PISA и, соответственно, определяли содержание понятия «качество образования». Важно подчеркнуть, что в первую очередь нас интересовали не узкопредметные умения, а умения более высокого, можно сказать, универсального уровня, те, которые в той или иной степени требовались в решении всех задач и отдельных заданий.

Так, было обнаружено, что, сталкиваясь с непривычными по форме заданиями, ученик либо пытается реализовать привычные способы действия, либо просто отказывается от попыток найти ответ. Большие трудности при решении вызывает привлечение собственного опыта или знаний из других областей. Наши школьники не владеют навыками работы со сложно организованными фрагментами информации, представленными в разных форматах – текстовых, графических, знаковых. Эти «дефициты» в целом в наиболее общем виде могут быть определены как следствие жесткой «привязки» предметных способов действий учащихся к типу заданий и задач, а также обучающих материалов, применяемых в отечественной образовательной практике.

Сами тексты задач и заданий исследования P1SA были сопоставлены с традиционными учебными материалами, применяемыми в отечественной образовательной практике. Оказалось, что, в отличие от традиционных для нашей школы типов заданий, выполняя тестовые задания, ученик должен был всякий раз заново, новым способом связать имеющиеся условия задачи с информацией из других источников, создать собственную версию описанной в задаче ситуации. Часто для подобного «связывания» необходимо привлечение личного опыта школьника, инициативное использование дополнительной (известной ученику из других источников) информации. Фактически каждая задача – некоторая ситуация, случай, требующий собственного решения. Следует учесть, что личный опыт российских школьников не всегда совпадает с опытом их зарубежных сверстников. Это, в частности, делало некоторые задачи неоправданно трудными для наших учащихся.

На основании проведенного анализа были сформулированы основные признаки обучающих материалов, работа с которыми может способствовать повышению готовности российских учащихся к решению задач и заданий компетентностного типа. Результатом этой работы стали пакеты обучающих заданий по четырем образовательным областям – математике, естествознанию, обществознанию, филологии. Задачи и задания PISA рассматривались как модель обучающей системы, обеспечивающей высокий уровень успешности решения заданий типа PISA.

Необходимо сказать несколько слов о рабочем определении понятия компетентности. Общеизвестно, что единого определения термина «компетентность» пока нет; причем не только в нашей стране, но и за рубежом. Мы исходили из того, что компетентность – это способность человека результативно действовать в нестандартных ситуациях. При этом следует обратить внимание, что компетентность – интегративная характеристика. Два человека могут одинаково успешно решить какую-либо проблему, но использовать при этом совершенно разные средства и способы действий. Одно умение может компенсировать другое. С другой стороны, одни и те же умения и способности не гарантируют одинаково успешного результата. В качестве иллюстрации можно привести сюжет с двумя россиянами, которые договариваются с иностранцем. Один знает 50 слов, а второй 2000, но первого почему-то понимают, а второго – нет! Ясно, что в такой ситуации важен не только и не столько лексический запас, сколько некая интегративная характеристика – компетентность, включающая, помимо собственно словарного запаса, и коммуникативную составляющую, и актерские, и суггестивные способности; и т.д.

PISA как диагностический инструмент был создан специально для проверки уровня развития компетентности.

1. Содержание понятия «качество образования» в отечественной и зарубежной практике

1.1. Психолого-педагогический анализ результатов российских учащихся. Концептуальные основы исследования

Относительно низкие результаты российских учащихся могут быть объяснены самыми разными причинами. Рассмотрим наиболее частые объяснения.

Полученные низкие результаты являются следствием применения неадекватной системы тестирования (тест PISA непригоден для оценки качества российского образования).
Полученные результаты свидетельствуют о несоответствии содержания образования (программ преподавания) в российских школах содержанию, проверяемому тестом PISA.
Полученные результаты свидетельствуют о несоответствии методик преподавания, применяемых в российских школах, и, соответственно, учебных умений, формируемых у наших школьников, тому, что измерялось тестом PISA.
Полученные результаты объясняются существенными различиями между образовательной системой России и стран, учащиеся которых показали значительно лучшие результаты.

В нашем анализе мы исходили из предположения, что все перечисленные выше общие выводы исходно имеют право на существование, более того, указанные причины, по-видимому, вносят свой вклад в интегральный низкий результат. Однако эти предположения имеют общий характер и не могут быть операционализированы.

Потенциально возможное объяснение неуспеха – низкий уровень культурной адаптации текстов задач и заданий. Для проверки этой гипотезы были выделены недостаточно точно переведенные фрагменты текста, появившиеся при переводе неоправданные длинноты и англицизмы и другие языковые и культурные неточности. Далее был составлен текст (одной тетради), свободный от указанных недостатков. В школе-комплексе «Царицыно» г. Москвы в двух параллельных классах было проведено тестирование – в одном классе с использованием «невычищенных» текстов (таких, какие применялись в тестировании PISA-2000), в другом – с «чистыми» текстами. Процедура тестирования была стандартной, т.е. применяемой при проведении PISA-2000. Отличие состояло лишь в том, что все ученики работали с одним набором заданий (с одной тетрадью).

Различия в результатах оказались статистически не значимыми. Таким образом, недостаточная лингвистическая и культурная адаптация текстов заданий не приводит к существенному искажению результатов.

Можно также предположить, что факт неуспеха в тестовых процедурах может быть преодолен при условии, что школьники получат возможность приобрести опыт выполнения тестов. Здесь выделяются несколько взаимосвязанных направлений:

Работа с большим массивом заданий требует способности выбора стратегии собственных действий. Как показал предварительный анализ (опрос после выполнения заданий), наши школьники таких стратегий не применяют. Обучать таким стратегиям можно и нужно, однако их формированию и применению препятствует система оценивания, принятая в отечественной школе: максимальный балл ученик получает при условии выполнения всего массива заданий. Следовательно, стратегия отбора заданий, составления собственного плана действий по решению сложно организованного теста оказывается просто бессмысленной – в какой бы последовательности учащиеся ни решали предложенные задания, все равно «идеальным» является стопроцентное выполнение. Условием адекватного выбора стратегии является возможность ориентироваться хотя бы на 80% выполненных заданий. В этом случае стратегия вообще приобретает смысл.
Работа с заданиями из разных предметных областей предполагает способность отнести задание к определенной предметной области и затем применить сформированные способы действий. Поскольку в российской школе проверяется (в виде узкопредметных и даже тематических контрольных работ), как правило, то, что непосредственно перед тем было изучено, способность квалифицировать задание (вопрос) как относящееся к некоторой предметной области не формируется.
Выбор ответа в заданиях закрытого типа (а такие задания составляют большинство в тестах PISA-2000) предполагает наличие опыта приблизительной оценки результата и сопоставления его со списком ответов. Ориентация на точность и полноту ответа, характерная для отечественной школы, препятствует формированию этого опыта.

Таким образом, как мы видим, «учить выполнению тестов» недостаточно. Опыт выполнения тестов приобретается не столько в процессе их решения, сколько внутри особым образом организованной образовательной деятельности, требующей разных стратегий работы, дифференцированной оценки, да и, конечно, просто навыков.

В нашем исследовании была поставлена цель выявить те действия, которые должны уметь выполнять учащиеся для успешного решения тестовых заданий. Если в исследовании Центра оценки качества знаний в первую очередь внимание было сконцентрировано на предметных умениях (грамотности чтения, естественно-научной и математической), то мы в большей мере интересовались так называемыми общими компетентностями, универсальными для всех предметных заданий. В отечественной традиции их можно поставить в соответствие с общеучебными умениями и навыками.

Рассмотрев в отдельности все субтесты теста PISA-2000, мы обнаружили одну и ту же закономерность. Во всех областях компетентности российская выборка демонстрирует относительную успешность в легких заданиях (трудность – менее 500 баллов) и резко проваливается на трудных заданиях (трудность – более 600). Иными словами, трудность задания не является равномерно действующим фактором: трудные задания для российских школьников превратились в супертрудные. Что вызывает эту дополнительную трудность, предстоит разобраться. В сущности, это вопрос о том, почему российское образование «вырубает» область высших достижений (в тестах компетентности).

Для ответа на этот вопрос были проанализированы исходные определения уровней компетентности, на которые ориентировались составители теста при разработке тестовых задач и вопросов к ним. При описании низкого уровня компетентности (трудность заданий – не выше 450 баллов) используются термины и определения традиционной педагогики: привести пример, выполнить вычисление (в типовой задаче), найти информацию, прямо сформулированную в тексте со знакомым содержанием... При описании высокого уровня компетентности (трудность заданий – выше 550 баллов) ключевыми словами являются следующие: неопределенность, неоднозначность, противоречивость, недостаточная надежность информации, наличие альтернативных точек зрения, необходимость перейти от житейской ситуации к ее математической или естественно-научной модели...

Из приведенных выше данных следует общий диагноз современного российского образования: неплохо обеспечивая репродуктивный уровень мышления и деятельности, отечественная школа не обеспечивает становления более сложных уровней развития, остро востребованных в современном обществе, которое еще пытается стать плюралистическим.

1.2. Основные дефициты в учебных умениях, объясняющие причины неудач отечественных 15-летних школьников в тестах PISA

Наши ученики в целом умеют читать и понимать тексты и давать ответы в различных формах. Предварительно можно утверждать, что необходимость дать развернутый ответ в виде текста вызывает трудности у наших школьников, но не большие, чем у школьников других стран.
Российские школьники достаточно хорошо схватывают общую сюжетную канву (коллизию) текста, понимают его общее содержание, представленное в художественной форме, но невнимательны к деталям.
У российских школьников при решении задач по математике или естествознанию возникают трудности, если требуется дать качественный, а не точный (количественный, выраженный числом или знаком) ответ.
Затруднения возникают при работе с составными текстами. Так, если информация представлена в виде отдельных информационных фрагментов (в том числе разных по жанру), а понимание («вычитывание») информации предполагает сопоставление, сравнение, удерживание фрагментов и соединение их в общую информационную картину, – возникают трудности.
Школьники, как правило, ориентированы либо на общее содержание текста, либо на отдельные его фрагменты. В заданиях, требующих перехода от общего содержания к деталям и наоборот, результаты невысоки. Успешное решение большинства заданий-вопросов предполагает и разные способы чтения – просмотровое (ознакомительное), поисковое, с ориентацией на отбор нужной информации и т.п. Общий низкий результат заставляет предположить, что различные типы чтения у школьников не сформированы.
Задачи PISA и задания к ним составлены из текстов разных типов – бытовых, научно-популярных, публицистических и т.д. Отсутствие опыта работы с такими текстами, навыков получения информации из таких текстов – одна из причин низких результатов российских школьников.
Российские школьники не могут сами устанавливать тот уровень сложности, точности, детализации, который обеспечит успешное решение задачи. Как правило, при работе с естественно-научным содержанием они ориентированы на предельную точность и детальность, при работе с художественным текстом – на общее понимание.
Если задача или задание-вопрос содержит признаки (сигналы), которые формально позволяют отнести задачу к тому или иному учебному предмету, выбирается соответствующий способ решения, анализ содержания задания подменяется поиском внешних (часто ложных) указаний на способ решения.
Российские школьники не умеют привлекать информацию, которая не содержится непосредственно в условиях задачи. Задачи, в которых требуется использовать бытовые сведения, личный практический опыт, вызывают трудности. Трудности, таким образом, вызывают задания, в которых часть информации (простой и известной) необходимо вспомнить, домыслить и даже угадать.
Задачи и задания-вопросы к ним иногда организованы так, что необходимая дополнительная информация содержится в вопросе. Тогда эта информация должна быть выделена из вопроса, а сам вопрос уточнен и переформулирован. Такие вопросы-задания вызывают трудности.
Трудными для наших школьников оказались и задания-вопросы, требующие при ответе учета точки зрения или информированности адресата; трудны и задания, требующие реконструкции замысла, цели автора текста.

Обобщая полученные результаты, можно высказать следующие предположения:

1. Одна из основных причин невысокого результата – неумение российских учащихся работать с предлагаемой информацией: сопоставлять разрозненные фрагменты, соотносить общее содержание с его конкретизацией, целенаправленно искать недостающую информацию и т.д.

Обратим внимание, что в РISA-2000 основной упор был сделан на грамотность чтения. Возможно, именно поэтому при анализе полученных данных особенно рельефно выявились дефициты, связанные с работой с информацией, представленной в виде текстов, иллюстраций, графиков, схем и т.д. Поэтому и в нашем анализе мы в большей мере уделили внимание типу и качеству отечественных учебных текстов и тем способам работы, которым дети учатся.

2. Применение сформированных у школьников предметных умений затруднено тем, что, решая задачи, наши учащиеся некритически воспроизводят привычные, стереотипные способы действий. Сталкиваясь с заданиями типа PISA, школьники, не анализируя самостоятельно всю описанную ситуацию, воспроизводят сложившиеся связи: литературный текст – общие рассуждения, математический – точное, детальное решение. Сложившаяся система обучения «натаскивает» учащихся применять стандартные способы решения на основании «узнавания» задачи.

Мы полагаем, что эти особенности качества российского образования являются следствием системных характеристик обучения в российской школе – узкой предметности обучения и его квазиакадемической направленности. Их преодоление – перспективная задача развития системы образования.