Тест состоит из четырех блоков вопросов, позволяющих выявить уровень компетентности педагога по четырем ее составляющим: профессиональная компетентность - Документ. Качеством образования Компонент не входящий в структуру ким егэ

«КИМы - это стандартизированная экзаменационная работа, создаваемая в соответствии с требованиями теории педагогических измерений, позволяющая с достаточной объективностью и надежностью провести независимую государственную аттестацию выпускников общеобразовательных учреждений и отбор абитуриентов вузов».

При составлении КИМов определялось эффективное соотношение использования различных форм заданий в тесте для итоговой аттестации выпускников. При этом учитывался многолетний опыт зарубежных коллег. Чтобы обеспечить эффективный контроль знаний и умений выпускников отечественной школы, было решено включить в КИМы различные формы заданий: задания с выбором правильного ответа, задания на дополнение и задания со свободным развернутым ответом (ответ в виде эссе, рецензии, анализа текста).

КИМы по различным предметам включают три части - А, В, С. Каждая часть состоит из заданий, сгруппированных по форме. Общее количество заданий колеблется от 25 до 70.

Часть А предлагает задания с выбором ответа (задания закрытого типа). Эти задания достаточно легкие и направлены на проверку знаний фактического материала, правил, формул, определений и др. Доля таких заданий в зависимости от предмета колеблется. Они могут преобладать в количественном отношении над другими видами заданий, но весовой коэффициент таких заданий меньше, т.е. в суммарном взвешенном балле за решение одного задания типа А дается меньше очков, чем за решение заданий другого типа.

Часть В состоит из заданий открытого типа - из заданий на дополнение в виде числа или одного слова. В этих заданиях испытуемый сам конструирует правильный ответ, в отличие от заданий закрытого типа, где ответ уже дан и надо только определить правильный. Как правило эти задания сложнее, чем задания части А, поэтому их весовой коэффициент выше.

Задания частей А и В сконструированы таким образом, чтобы проверка проходила в компьютерном режиме.

В части С дается задание, которое предполагает свободный развернутый ответ. Это может быть полное решение математической задачи или написание текста. Задания части С проверяют умения выпускников размышлять, рассуждать на заданную тему, формулировать и грамотно выражать свои мысли письменно. Это часть теста проверяется независимыми экспертами. Это требует дополнительных материальных расходов и, в какой-то степени, дает возможность повлиять на выставление баллов по части С, но, тем не менее, включение этой части в КИМ увеличивает возможность проверки широкого спектра знаний и умений выпускников.

Примечание. На практических занятиях рассмотреть примеры КИМов для ЕГЭ и ГИА по конкретным дисциплинам (математике, физике, информатике, истории, технологии и др.).

1. Бахусова Е.В., Коростелев А.А., Монахов В.М. и др. Технологии В.М. Монахова – дидактический инструментарий модернизации образования: Учеб. Пособие. – М.–Тольятти: Волжский ун-т им. В.Н. Татищева, 2004. – 60 с.

3. Епишева О.Б. Технология обучения математике на основе деятельностного подхода: Кн. для учителя / О.Б. Епишева. – М.: Просвещение. 2003. – 223 с. (Б-ка учителя).

4. Звонников В.И. Современные средства оценивания результатов обучения: учеб.пособие для студ.высш.учеб.заведений / В.И. Звонников, М.Б. Челышкова. – М.: Издательский центр «Академия», 2007. – 224 с.

5. Качество образования. Достижения. Проблемы. Материалы IV Международной научно-методической конференции / Под общей ред. А.С. Вострикова. – Новосибирск: НГТУ, 2001.-433с.

6. Кларин. М.В. Технологический подход к обучению // Школьные технологии. № 5. 2003. – С. 3 – 22.

7. Майоров А.Н. Тесты и их виды. Тесты достижений. Школьные технологии. -№ 4. – 1998. – С.176.

9. Манько Н.Н. Технологическая компетентность педагога // Школьные технологии. 2002. № 5. – С. 33 – 41.

10. Монахов В.М. Технологические основы проектирования и конструирования учебного процесса. – Волгоград: Перемена. 1995. – 152 с.

12. Поташник М.М. Качество образования: проблемы и технологии управления (В вопросах и ответах). – М.: Педагогическое общество России, 2002. – 352 с.

13. Стратегия модернизации содержания общего образования: Материалы для разработки документов для обновления общего образования. – М.: ООО «Мир книги», 2001. – 66 с.

14. Чернилевский Д.В., Филатов О.К. Технология обучения в высшей школе: Учеб. издание / Под ред. Д.В. Чернилевского.- М.: «Экспедитор», 1996. – 288 с.

15. Янсуфина З.И. Совершенствование методической подготовки будущего учителя математики в педвузе на основе инновационных подходов к обучению: Учеб. пособие для студентов педвуза по специальности 010100 – Математика. – Тобольск: ТГПИ им. Д.И. Менделеева, 2004. – 156 с.

16. Челышкова М.Б., Хлебников В.А. Основные подходы к оценке качества подготовки обучаемых // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. Ст. М., 1999

17. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М., 1995

18. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995

Лекция 1. Понятие о качестве образования. Оценка результатов обучения как элемент управления качеством. Традиционные и новые средства оценивания результатов обучения……………………………………………………………………………………3

Лекция 3. История развития системы тестирования за рубежом и в России ………………………………………………………………………………………..……..8

Лекция 4. Педагогические тесты. Термины и определения. Классификация педагогических тестов ……………………………….………………………………….12

Лекция 5. Типы, формы и виды тестовых заданий ….………………………………..15

Практическое занятие 1 …………………………………………………………..……16

Лекция 6. Основные этапы разработки педагогического теста ……….......................21

Лекция 7. Проведение пробного тестирования. Показатели качества тестов…………………………..………………………………………………………….25

Практическое занятие 2 ………………………………………………………………..29

Лекция 8. Современная теория конструирования тестов…………………………….33

Лекция 9. Стандартизация теста и интерпретация результатов тестирования. ЕГЭ и качество образования…………………….………………………………………………34

Спецификация

контрольных измерительных материалов

для проведения в 2012 году единого государственного экзамена

по ЛИТЕРАТУРЕ

1. Назначение КИМ ЕГЭ

Единый государственный экзамен (далее – ЕГЭ) представляет собой форму объективной оценки качества подготовки лиц, освоивших образовательные программы среднего (полного) общего образования, с использованием заданий стандартизированной формы (контрольных измерительных материалов).

Контрольные измерительные материалы позволяют установить уровень освоения выпускниками Федерального компонента государственного стандарта среднего (полного) общего образования.

Результаты единого государственного экзамена по литературе признаются образовательными учреждениями среднего профессионального образования и образовательными учреждениями высшего профессионального образования как результаты вступительных испытаний по литературе.

2. Документы, определяющие содержание КИМ ЕГЭ

Содержание экзаменационной работы определяется на основе Федерального компонента государственного стандарта общего образования (приказ Минобразования России от 05.03.2004 № 1089). Некоторые позиции данного документа конкретизированы с опорой на Обязательные минимумы содержания основного общего и среднего (полного) общего образования по литературе, утвержденные приказами Минобразования России от 19.05.1998 № 1236 и от 30.06.1999 № 56 (обоснование приводится в пояснительной записке к кодификатору элементов содержания и требований к уровню подготовки выпускников общеобразовательных учреждений для проведения в 2012 году единого государственного экзамена по литературе).

3. Подходы к отбору содержания, разработке структуры КИМ ЕГЭ

Принципы отбора содержания и разработки структуры КИМ ЕГЭ по литературе соответствуют цели получения объективных и достоверных сведений о готовности выпускника к продолжению образования в учреждениях среднего специального и высшего профессионального образования гуманитарной направленности.

Многолетнее совершенствование КИМ ЕГЭ по литературе шло в направлении поиска оптимальной структуры экзаменационной работы, создания надежной системы ее оценивания, обеспечивающей объективность результатов экзамена. Сокращалось число заданий, проверяющих знание частных литературных фактов (в 2007 г. из экзаменационной модели были изъяты задания с выбором ответа: эксперимент показал их неэффективность, «инородность» по отношению к литературе, неоправданность знаниецентричного, «фактологического» подхода при проведении государственной (итоговой) аттестации по литературе), увеличивалось количество заданий с развернутым ответом, связанных с нравственной проблематикой художественных произведений, разрабатывалась типология заданий разной содержательной направленности, уточнялись критерии оценивания, определялось оптимальное соотношение заданий различного типа в структуре экзаменационной работы и др.

В каждый вариант КИМ включаются различные как по форме предъявления, так и по уровню сложности задания, выполнение которых выявляет уровень усвоения участником ЕГЭ основных элементов содержания различных разделов курса, степень сформированности предметных компетенций и общеучебных навыков.

Таким образом, при сдаче ЕГЭ по литературе от экзаменуемого требуется активизация наиболее значимых для предмета видов учебной деятельности: аналитического осмысления художественного текста, его интерпретации, поиска оснований для сопоставления литературных явлений и фактов, написания аргументированного ответа на проблемный вопрос и т. п.

Результаты ЕГЭ по литературе подтверждают, что сложившаяся экзаменационная модель по литературе позволяет адекватно оценить образовательные достижения выпускников по предмету, выявить уровень сформированности у выпускников основных предметных и надпредметных умений. Экзамен в данной форме позволяет дифференцировать участников ЕГЭ по уровню их предметной подготовки, дает вузам и ссузам объективные основания для отбора абитуриентов.

4. Структура КИМ ЕГЭ

Экзаменационная работа по литературе базируется на системе поэтапной проверки умений выпускников воспринимать и анализировать художественные произведения в их жанрово-родовой специфике с опорой на знания историко-литературного и теоретико-литературного характера. Подготовка к экзамену по литературе предполагает повторение учащимися всего материала курса, содержание которого определено нормативными документами по предмету.

В экзаменационной работе выделены три части, содержащие комплекс заданий для определения уровня подготовки выпускников по литературе.

В частях 1 и 2 предлагается выполнение заданий, включающих вопросы к анализу литературных произведений. Проверяется умение выпускников определять основные элементы содержания и художественной структуры изученных произведений (тематика и проблематика, герои и события, художественные приемы, различные виды тропов и т. п.), а также рассматривать конкретные литературные произведения во взаимосвязи с материалом курса.

Общая структура первых двух частей работы подчинена задаче широкого содержательного охвата литературного материала. Художественные тексты, предлагаемые для анализа, позволяют проверить не только знание выпускниками конкретных произведений, но и способность анализировать текст с учетом его жанровой принадлежности. Последнее задание в частях 1 и 2 работы предполагает выход в широкий литературный контекст (обоснование связи данного художественного текста с другими произведениями по указанному в задании аспекту сопоставления). Таким образом, опора на внутрипредметные связи изученного курса позволяет обеспечить дополнительный охват содержания проверяемого литературного материала.

Часть 1, предполагающая анализ фрагмента эпического, или лироэпического, или драматического произведения, состоит из 9 заданий:

7 заданий с кратким ответом (В), требующих написания слова, или словосочетания, или последовательности цифр;

2 заданий (C1, С2), требующих написания связного текста в объеме 5–10 предложений.

Часть 2, предполагающая анализ лирического произведения (стихотворения или фрагмента лирической поэмы), состоит из 7 заданий:

5 заданий с кратким ответом (В), требующих написания слова, или словосочетания, или последовательности цифр;

2 заданий (C3, С4), требующих написания связного текста в объеме 5–10 предложений.

Требования к выполнению заданий части 1 и части 2 едины.

Следование предложенному алгоритму работы позволяет экзаменуемым выявить место и роль эпизода (сцены) в общей структуре произведения (анализ фрагмента), раскрыть сюжетно-композиционные, образно-тематические и стилистические особенности анализируемого текста, обобщить свои наблюдения с выходом в литературный контекст.

Часть 3 работы требует от участников ЕГЭ полноформатного развер-нутого высказывания на литературную тему (таким образом, к отработан-ному в частях 1 и 2 литературному материалу добавляется еще один содержа-тельный компонент проверяемого курса). Выпускнику предлагается 3 вопро-са (C5.1–С5.3), охватывающие важнейшие вехи отечественного историко-литературного процесса: 1 – по произведениям древнерусской литературы, классики XVIII в. и первой половины XIX в.; 2 – по произведениям второй половины XIX в.; 3 – по произведениям XX в. Выпускник выбирает только один из вопросов и дает на него ответ в форме сочинения, обосновывая свои суждения обращением к произведению (по памяти). Работа такого типа дает выпускнику возможность выразить свое отношение к проблемам, подни-маемым писателем, понимание художественного своеобразия произведения. Написание сочинения требует большой меры познавательной самостоятельности и в наибольшей степени отвечает специфике литературы как вида искусства и учебной дисциплины, ставящей своими целями формирование квалифицированного читателя с развитым эстетическим вкусом и потребностью к духовно-нравственному и культурному развитию.

Ниже приводится таблица, представляющая распределение заданий по частям экзаменационной работы.

Таблица 1

Распределение заданий по частям экзаменационной работы

В структурном отношении части 1 и 2 экзаменационной работы выстроены ступенчато: от вопросов базового уровня, нацеленных на проверку теоретико-литературных знаний (часть 1: В1–В7, часть 2: В8–В12), к заданиям повышенного уровня обобщающего типа (часть 1: С1–С2; часть 2: С3–С4). Часть 3 включает альтернативные задания высокого уровня сложности (С5.1–С5.3), в наибольшей степени отражающие требования стандарта профильного уровня.

Для КИМ ЕГЭ в штатном режиме характерна определенная стабильность (в целом год от года сохраняется структура и содержание КИМ ЕГЭ по абсолютному большинству предметов).

Необходимые корректировки структуры и содержания работы (изменение количества заданий, усиление практико-ориентированной составляющей, увеличение доли заданий, выполнение которых требует опоры на логическое мышление, умения делать выводы и т.п.) вносятся постепенно после широко общественного обсуждения и апробационных исследований .

При этом КИМ ЕГЭ ежегодно совершенствуются по каждому общеобразовательному предмету:

Уточняются формулировки заданий и подходы к отбору экзаменационного материала,

Совершенствуется система оценивания отдельных заданий и экзаменационной работы в целом.

КИМ ЕГЭ 2012 г. усовершенствованы в сравнении с КИМ 2011 г. по всем предметам (наиболее существенно – по информатике и ИКТ, истории и литературе).

Основные направления совершенствования следующие:

Сокращено число заданий с выбором ответа в КИМ по истории, обществознанию, химии, географии.

Добавлены новые задания в КИМ по истории, математике, литературе, биологии, географии, обществознанию, информатике и ИКТ.

Расширен спектр проверяемых умений по физике, химии, истории, обществознанию, географии.

Усовершенствованы критерии оценивания заданий с развернутым ответом по истории, литературе, обществознанию, физике, химии, русскому и иностранным языкам.

Уточнены формулировки и требования заданий в КИМ по всем предметам.

Для КИМ 2012 г. характерно:

• 
  уменьшение числа заданий репродуктивного характера;
• 
  увеличение числа заданий на выявление степени понимания выпускником основных элементов содержания учебных программ, оценку сформированности умений применять полученные знания в различных ситуациях, анализ и обобщение информации, высказывание и аргументацию оценочных суждений.

Изменения КИМ 2012 года

Лекция 17. Единый государственный экзамен, его компоненты, технология проведения, шкалирование и интерпретация результатов.

1.Цели и задачи эксперимента по введению ЕГЭ.

2.Контрольно-измерительные материалы (КИМы).

3.Технология разработки КИМов, организации и проведения ЕГЭ.

4.Шкалирование результатов ЕГЭ и использование их в управлении качеством образования.

5.ЕГЭ и Общероссийская система оценки качества образования.

1. Цели и задачи эксперимента по введению Единого государственного экзамена.

1. Цели эксперимента по введению Единого государ­ственного экзамена . Эксперимент по введению ЕГЭ, начатый в 2001 г., Открывает новую страницу в развитии отечественной системы образования и имеет инновационный характер не толь­ко по замыслу, но и по форме проведения, по масштабам и отсутствию жесткой регламентации со стороны органов власти. Впервые в истории отечественного образования предпринята по­пытка не директивным, а экспериментальным путем определить целесообразность фундаментальной перестройки деятельности учебных заведений и системы управления качеством образова­ния.

Эксперимент имеет две цели: повышение доступности высшего образования и качества среднего школьного образования, реа­лизация которых достигается одновременно за счет совмещения в одной процедуре школьного выпускного экзамена и вступитель­ного экзамена в высшие учебные заведения . По результатам ЕГЭ выпускники школ получают две оценки, одна из которых выставляется в школьной пятибалльной шкале, а другая - в ст­обалльной шкале для предоставления приемным комиссиям вузов и ссузов.

Задачи, решаемые с помощью ЕГЭ. К числу основных задач, решаемых в ЕГЭ, относятся:

Объективизация оценки качества образования на основе со­здания механизма внешнего оценивания и использования педаго­гических измерений;

Повышение доступности профессионального образования, в первую очередь для молодежи из малообеспеченных семей и из отдаленных от вузовских центров мест проживания;

Объективизация требований к" общеобразовательной подго­товке абитуриентов учебных заведений в системе профессиональ­ного образования;

Снижение психологической нагрузки на выпускников обще­образовательных учреждений за счет уменьшения числа экзаме­нов; - развитие преемственности общего и профессионального об­разования, обеспечивающей готовность выпускников» школ про­должить образование;

Совершенствование системы.государственного контроля и управления качеством образования на основе независимой оцен­ки качества подготовки выпускников.

Решение последней задачи, в частности, позволяет говорить о существенном вкладе ЕГЭ в становление и развитие Общероссий­ской системы оценки качества образования (ОСОКО), создание которой происходит сейчас в России. Выполняя свои основные задачи, ЕГЭ является важным структурным элементом ОСОКО и одним из центральных звеньев в развитии и совершенствовании системы управления качеством образования.

Решение перечисленных задач обеспечивается выполнением ра­бот по ряду направлений, к которым относятся: формирование нормативно-правовой базы эксперимента; создание КИМ; разра­ботка технологии проведения ЕГЭ; обеспечение информацион­ной безопасности процедур, материалов и результатов экзамена; формирование информационных систем сопровождения экспери­мента и использования его данных в образовании; подготовка спе­циалистов для кадрового обеспечения эксперимента; мониторинг ЕГЭ; анализ и интерпретация данных мониторинга в целях повы­шения качества образования.

Схемы участия регионов в ЕГЭ и развитие эксперимента. После принятия решения об участии в ЕГЭ регион на добровольной ос­нове выбирает одну из возможных схем проведения экзамена, которая может отличаться от других количеством и составом пред­метов, добровольностью или обязательностью аттестации выпускников школ в форме ЕГЭ долей компьютерного тестирования и другими специфическими особенностями, обусловленными фи­нансовыми возможностями региона, его материальной базой, уровнем развития коммуникаций, числом вузов, их готовностью к участию в эксперименте и т.д.

В соответствии с основной линией на отсутствие жесткой директивности со стороны федеральных органов управления обра­зованием в ЕГЭ сохраняется максимально возможная вариатив­ность схем проведения, которые нередко меняют сами регионы в процессе развития эксперимента.

Несмотря на существующую нормативную базу, определяю­щую перечень обязательных предметов при итоговой аттестации выпускников школ, многие регионы в рамках работ по совершенствованию схемы проведения ЕГЭ отказываются от обязательных предметов и предоставляют выпускникам право самостоятельно­го выбора числа экзаменов и самого участия в ЕГЭ. Показательно, что по мере расширения сферы действия принципов вариативно­сти и добровольности число участников эксперимента неуклонно растет вместе с проявлением позитивного отношения общества к эксперименту.

Анализ данных мониторинга ЕГЭ убедительно свидетельствует о резком увеличении числа регионов, участвующих в эксперименте, и повышении доверия к ЕГЭ со стороны органов управления обра­зованием, профессионального сообщества вузов и школ, учащихся и их родителей. В частности число регионов - участников экспери­мента - изменилось с 6 в 2001 г. до 78 в 2005 г.,- а количество выпускников этих регионов, сдававших в 2005 г. экзамены в форме ЕГЭ по математике и русскому языку, превысило 50 % . Значи­тельно расширился список вузов и ссузов, принимающих абитури­ентов по результатам ЕГЭ. В 2005 г. в эксперименте приняли участие 1543 вуза (включая филиалы) и 1765 ссузов, тогда как в 2001 г. в нем участвовали лишь 16 вузов. Резко увеличилось общее количе­ство предметов, выносимых на ЕГЭ в регионах. Согласно данным мониторинга и региональной статистики, за годы эксперимента существенно возросло число выпускников из сельских районов, поступивших в вузы по результатам ЕГЭ. В целом тенденции экспе­римента говорят о том, что связываемые с ЕГЭ надежды на расши­рение доступности высшего образования для жителей сельских и отдаленных районов России полностью оправдываются. Это нахо­дит свое подтверждение в данных мониторинга ЕГЭ.

Участие учителей в проведении ЕГЭ. Учителя нередко выступа­ют организаторами проведения ЕГЭ в школах, однако они рабо­тают только с теми выпускниками, которые не являлись ранее их учениками. В этом случае педагоги принимают участие в подготов­ке к проведению экзамена, организуют саму процедуру тестиро­вания, обеспечивают сбор и отправку материалов экзамена.

При подготовке к тестированию учителя получают все необхо­димые материалы, включающие комплекты КИМ с запасными материалами на случай опечатки, списки выпускников, формы протоколов проведения тестирования, в которых отмечаются все отклонения от требований стандартизации» и руководство по про­ведению тестирования, включающее описание всех требований к проведению ЕГЭ.

После завершения экзамена организаторы собирают материа­лы: использованные и неиспользованные тесты, заполненный протокол проведения тестирования и прилагают списки учащих­ся. Эти материалы передаются в специальные центры для провер­ки и дальнейшей обработки, получившие в системе ЕГЭ название региональные центры обработки информации (РЦОИ). Задания с выбором ответов подвергаются автоматизированной проверке на местах или в Москве, а для проверки заданий с развернутыми ответами приглашаются эксперты, работа которых организуется по месту проведения экзамена в условиях полной информацион­ной безопасности и независимости экспертных суждений.

2. Контрольные измерительные материалы

Структура КИМ. В структуре КИМ выделяют три части (А, В, С), имеющие различное число заданий в зависимости от предме­та. Например, заданий по биологии и истории может быть 50, а по русскому языку- 40,

В части А по всем предметам содержатся только задания с выбором ответов. Задания части В значительно варьируют по форме и предполагают возможность краткого регламентированного от­вета, установления соответствия между элементами двух множеств и правильной последовательности различных процессов, явлений, объектов. Часть С предназначается для свободного конструирова­ния ответа. Например, при тестировании по русскому языку да­ется задание написать небольшую письменную работу (сочине­ние), по математике - дать развёрнутые решения заданий и т.д.

Содержание КИМ. Результаты ЕГЭ используются при итоговой аттестации учащихся и отборе абитуриентов. Содержание КИМ предназначено для получения персонифицированной информа­ции о достижении выпускниками школ базового и повышенно­го уровней подготовки по предметам. Поскольку при аттестации требуется проверить освоение- выпускниками большинства эле­ментов предметной подготовки, а время экзамена ограничено, для повышения репрезентативности охвата содержания образо­вания приходится варьировать спецификации КИМ ЕГЭ незна­чительно внутри одного года и более существенно по годам. Бла­годаря специальному планированию, осуществляемому предмет­ными комиссиями по разработке КИМ, за 2-3 года удается ох­ватить все необходимые содержательные элементы. Из-за вариа­ции спецификаций КИМ снижается сопоставимость результатов выпускников, но расширяются возможности использования ре­зультатов ЕГЭ на федеральном и региональном уровнях в монито­ринге качества образования. Таким образом, на основе анализа результатов по отдельным годам ЕГЭ удается получить обоснован­ную информацию о тенденциях в изменении общеобразователь­ной подготовки выпускников школ России.

В целом содержание КИМ отбирается на основе специфика­ций, которые ежегодно обновляются в Интернете и включают обобщенные планы экзаменационных работ со ссылками на соот­ветствующие позиции кодификаторов (пронумерованных переч­ней содержательных элементов по предметам). В содержании КИМ отображаются только предметные знания и умения, которым обу­чают в школе, хотя это противоречит современным воззрениям на приоритеты в обучении, принятым во многих, странах. Вслед­ствие этого российские учащиеся показывают невысокие резуль­таты в международных сравнительных исследованиях качества об­разования. Они не умеют выполнять задания, требующие приме нения знаний в ситуациях, имитирующих жизненные, или меж­дисциплинарных умений.

Анализ результатов выполнения КИМ в контексте содержа­тельной интерпретации дает важную информацию для совершен­ствования требований ГОС и повышения качества образования. Согласно результатам анализа, проведенного предметными ко­миссиями по разработке КИМ и опубликованного в 2006 г. в аналитическом докладе , задания базового уровня трудности выполняют в основном выпускники, получившие по ЕГЭ хоро­шие и отличные оценки. Процент учащихся этой группы, спра­вившихся со всеми заданиями базового уровня, несколько выше по математике и русскому языку (более 90 %) и ниже по осталь­ным предметам (не более 85 %). Около половины выпускников, получивших по результатам ЕГЭ «два» и «три», не осваивают и половины планируемого к изучению материала. Этот результат помогает выявить проблемы, связанные с завышенными требо­ваниями ГОС и излишним объемом содержания школьного об­разования.

3. Технология разработки контрольно-измерительных

материалов, организации и проведения

Единого государственного экзамена

Структуры, участвующие в организации и проведении ЕГЭ. К числу структур, осуществляющих организационно-управленческую и научно-методическую поддержку при реализации технологии ЕГЭ, относятся федеральные и региональные органы управления обра­зованием, Федеральный центр тестирования (ФЦТ), Федераль­ный институт педагогических измерений (ФИПИ), компания «КРОК», региональные центры обработки информации и различ­ные организации (вузы и другие образовательные структуры), выполняющие на конкурсной основе исследовательские проекты для формирования научно-методических основ технологии про­ведения ЕГЭ и совершенствования КИМ.

Технология разработки КИМ. Технологический ежегодный цикл разработки КИМ по предмету начинается с пересмотра кодифи­катора элементов содержания, подлежащих проверке, а также с создания спецификации и демонстрационного варианта КИМ. Обычно по 13 Предметам, заявленным в ЕГЭ, ежегодно разраба­тывается не менее 10 тысяч новых заданий. Помимо целевого за­каза на задания для пополнения банка ЕГЭ объявляется конкурс, в котором принимают участие все желающие авторы тестовых за­даний из различных регионов России. Материалы, представлен­ные на конкурс, проходят экспертизу, по результатам которой осуществляется отбор и покупка тестовых заданий для банка ЕГЭ. Специалисты ФИЛИ, используя банк, формируют варианты КИМ. Затем проводится экспертиза качества содержания вариан­тов, анализ их параллельности и соответствие заданий требовани­ям тестовой формы. После коррекции, основанной на результатах экспертизы, КИМ передаются на апробацию, проводимую на репрезентативных выборках учащихся: школ России. Обработка данных апробации и их анализ позволяют выполнить очередную коррекцию, после завершения которой получаются эквивалент­ные варианты КИМ с комплектами сопроводительной докумен­тации для проведения ЕГЭ, созданные в условиях высокого уровня информационной "безопасности и хранящиеся в специальных помещениях до начала ЕГЭ.

После проведения экзамена и обработки данных специалисты ФИПИ готовят аналитический отчет, содержащий рекомендации по совершенствованию КИМ, которые учитываются при выпол­нении очередного ежегодного технологического цикла.

Технология проведения ЕГЭ. При проведении ЕГЭ основной технологией является бланочная, предполагающая выдачу зада­ний выпускникам на бумаге. Реализация бланочной технологии зависит от организации, занимающейся ее осуществлением. Так, ФЦТ все материалы печатает в Москве, а затем перед началом экзамена передает пакеты с КИМ и бланками ответов в регионы, КРОК поддерживает технологию, при которой бланки ответов распечатываются по месту применения в регионах.

При использовании, компьютерного тестирования, в ЕГЭ тех­нология носит смешанный характер, поскольку задания части С с развернутыми ответами выполняются на бумажных бланках. Еди­ная технология проведения ЕГЭ пока еще не сложилась. Каждый из вариантов проведения эксперимента имеет свои достоинства и недостатки, выявить которые в полной мере можно лишь по его окончанию.

4. Шкалирование результатов Единого государственного

экзамена и использование их в управлении

качеством образования

Виды используемых шкал в ЕГЭ. В соответствии с заявленными целями и решаемыми задачами по данным ЕГЭ выставляются две оценки - в сто- и пятибалльной школьной шкале. Первую получают специалисты ФЦТ путем шкалирования первичных данных ЕГЭ, преобразования их в стандартную шкалу логитов на основе современной теории тестов. Вторая, школьная, выбирается спе­циалистами группы по шкалированию, организуемой Рособрнадзором во время экзаменов и состоящей из тестологов, представи­телей предметных комиссий ФИПИ и сотрудников ФЦТ. Для выбора границ интервалов стобалльной шкалы и установ­ления их соответствия оценкам четырехбалльной шкалы резуль­таты ЕГЭ по каждому предмету и всем регионам подвергаются многоаспектному анализу, включающему проблемы содержатель­ной: валидности школьных баллов и сопоставимости оценок по предмету в ЕГЭ разных лет.

Сопоставимость результатов ЕГЭ разных лет. Для обеспечения содержательной сопоставимости результатов тестирования мно­гие страны, в которых есть национальные экзамены в форме тес­тов или другие виды массового тестирования, вводят стандарти­зованные уровневые шкалы (см. раздел 13.5), позволяющие про­следить связь между содержанием тестов по годам. Важное пре­имущество уровневых шкал заключается в расширении возмож­ности интерпретации результатов экзаменов, поскольку тестовый балл можно дополнять содержательным описанием подготовки вьь пускников школ в терминах, освоенных и не освоенных темати­ческих элементов предмета.

Для введения содержательной интерпретации в практику ЕГЭ необходимо, прежде всего, провести цикл работ по совершен­ствованию структуры ГОС на основе идей уровневой дифферен­циации и содержательно описать различные уровни общеоб­разовательной подготовки по всем школьным предметам. Затем на репрезентативной выборке выпускников школ России следует построить устойчивую шкалу стандартных тестовых баллов и вы­делить диапазоны шкалы путем соотнесения их с содержанием заданий, выполненных на каждом уровне.

В терминах теории педагогических измерений сопоставимость означает возможность переноса результатов тестирования различ­ных лет на единую шкалу. Сопоставимость обеспечивает выпуск­нику возможность однократной сдачи ЕГЭ и использования своих результатов при неудачном поступлении в вуз в последующие годы, а управленцам - возможность проведения сравнительных иссле­дований качества образования.

Традиционный подход к решению проблемы сопоставимости основан на определении норм так называемого якорного теста для составления таблиц эквивалентности баллов по разным тес­там. В качестве якорного выбирается тест, который стандартизует­ся на национальной репрезентативной выборке испытуемых, тща­тельно сформированной из генеральной совокупности в масшта­бах всей страны.

На основе якорного теста определяются репрезентативные об­щенациональные нормы по различным предметам. Данные, со­бранные на национальной выборке по якорному тесту, служат для построения шкалы единых показателей. Каждый новый тест, разрабатываемый в последующие годы, калибруется относитель­но якорного теста, в результате чего можно установить, какой результат испытуемого в последующие годы эквивалентен пока­зателю в якорном тесте.

Для построения таблиц перевода в общем случае на одной и той же выборке испытуемых обычно используют метод равных перцентилей, согласно которому показатели считаются эквива­лентными, если они имеют равные перцентилей и получены на нормальной группе сравнения по параллельным вариантам тестов. К недостаткам метода можно отнести высокую стоимость, неиз­бежную коррекцию и совершенствование содержания тестов, из­менение содержания образования и приоритетов в учебных дог стяжениях, а к достоинствам - стабильность и высокую точность, поскольку результаты по всем последующим версиям тестов срав­ниваются с одним якорным тестом.

В связи с появлением теории IRT стали использовать более эффективные технологии, обеспечивающие сопоставимость ре­зультатов тестирования по различным годам. Эта технология ос­нована на включении в тесты различных лет групп якорных (об­щих) заданий, связывающих цепочкой результаты по более по­здним и более ранним версиям теста. Отсчет ведется от шкалы, построенной на эталонной группе сравнения. Тем самым каж­дый вариант очередной версии теста благодаря блоку общих за­даний связывается с предыдущим и последующим вариантами батареи тестов.

Для пользователей тестов обычно разрабатываются необходи­мые разъяснительные материалы, обеспечивающие перевод сы­рых баллов в производные показатели, сопоставимые с результа­тами эталонной шкалы. Дополнительные меры по повышению со­поставимости результатов тестирования обеспечиваются специ­альной теорией выравнивания тестов. Аналогичные современные методы планируется использовать в ЕГЭ.

5. Единый государственный экзамен и Общероссийская система оценки качества образования

Что понимают под Общероссийской системой оценки качества образования . Под Общероссийской системой оценки качества об­разования понимается совокупность организационных и функци­ональных структур, которая обеспечивает основанную на единой концептуально-методологической базе оценку образовательных до­стижений граждан, а также выявление факторов, влияющих на образовательные результаты .

Основная цель создания ОСОКО заключается в повышении объективности и обоснованности информационной основы си­стемы управления качеством образования в России, а также обеспечении всех участников образовательного процесса и общества в целом достоверной информацией о качестве образова­ния в стране.

В соответствии с поставленной целью к основным задачам ОСОКО можно отнести:

Оценку качества учебных достижений обучаемых и выпускни­ков учебных заведений на различных образовательных ступенях;

Разработку научно-методического обеспечения процедур и инструментария для оценки качества образования;

Создание структур, обеспечивающих качество инструмента­рия и технологий педагогических измерений (центров сертифика­ции);

Создание центров статистической обработки и анализа дан­ных о качестве образования, организацию системы подготовки и переподготовки педагогических кадров и т.д.

Процесс создания ОСОКО в России пока не завершен, поэто­му число основных задач по мере ее становления может меняться.

Построение ОСОКО предполагает широкое использование су­ществующих организационных структур, механизмов и процедур: ЕГЭ, центров сертификации, аттестации и аккредитации, цент­ров качества образования и мониторинга, работающих на единой научно-методической основе в рамках стратегии развития обще­российской системы оценки качества образования.

ЕГЭ в ОСОКО. ЕГЭ является неотъемлемым структурным эле­ментом ОСОКО и обеспечивает объективную информацию о ре­альном состоянии качества школьного образования. Данные ЕГЭ позволяют получить оценки состояния образовательных достиже­ний выпускников школ, выявить тенденции и динамику измене­ния системы среднего образования, сформировать совокупность основных факторов, влияющих на качество образования в раз­личных регионах, и оценить меру их влияния.

ЕГЭ не является единственным информационным источником ОСОКО. Несомненно, что помимо собранной в процессе экзаме­на информации о предметных знаниях и умениях выпускников школ необходимы дополнительные данные, характеризующие со­стояние качества образования на различных ступенях (оценки уме­ний применять знания, собранные с помощью портфолио и дру­гих средств аутентичного оценивания; оценки междисциплинар­ных, общеучебных и коммуникативных умений; данные об уров­не воспитанности обучаемых и результативности воспитательных воздействий; результаты участия учащихся в олимпиадах и твор­ческих конкурсах и т.д.).

Важным требованием, обеспечивающим корректность исполь­зования данных ЕГЭ в ОСОКО, является учет различных факто­ров при интерпретации результатов экзамена, лежащих зачастую за пределами влияния школы, но существенно влияющих на ка­чество образования.