Анализ результатов пробного тестирования гимназии № 1

2011-2012 учебный год

6.10 2011 года в гимназии проведено третье пробное тестирование, целью которого является адаптация учащихся к проведению ЕНТ, их информированности о технологии тестирования, контроля за качеством знаний и подготовки к ЕНТ.

Тестирование учащихся проведено по тестам НГЦТО КЭУ, результаты следующие

Всего в тестировании принимало участие 45 выпускников (из 49), т. е. 93 % учащихся.

100 и более баллов набрали 4 учащихся

Из результатов видно, что по сравнению с прошлым тестированием средний балл ниже на 2 ,8 балла. Учащиеся сидели по одному, сумки и сотовые телефоны убраны на последней парте, условия тестирования приближенные к условиям ЕНТ. Из предварительных результатов можно ожидать в этом году низкие результаты, поэтому необходимо активизировать подготовку к ЕНТ, использовать различные формы и методы работы.

Мониторинг результатов тестирований

Из диаграммы видно, что результаты нестабильные, ниже чем в прошлом году, однако наблюдается рост результатов в течение нескольких тестирований в этом году.

Результаты по сравнению с 1 тестирование несколько выше.

Результаты по математике повысились.

По всеобщей истории сдают 4 учащихся. результаты ниже, чем в прошлом году. Самое низкое качество знание по физике и математике. Плохо сдали на этом тестировании биологию.

Претендент на Алтын Белги первый раз подтвердила все пятерки.

Мониторинг тестирований претендентов на аттестат с отличием и Алтын Белги.

Фамилия

Русский язык р

История Казахстана

Математика

каз яз с рус яз

всего баллов

Фамилия

Русский

История Казахстана

Математика

каз яз с рус яз

предмет по выбору

всего баллов

наимен. пред.

Давлетшина

Абдрахметова

Кукетаева

Укубаева

Из результатов видно, что только имеет одну 4, остальные претенденты имеют тройки. Необходимо организовать индивидуальную работу с отличниками по подготовке к ЕНТ.

Пока никто не подтверждает все пятерки, плохие результаты по биологии, истории, математике.

1.Самые низкие результаты по физике, математике и истории Казахстана, высокие по англ. яз, каз. яз. Двоек нет. В этом учебном году 4 претендентов на аттестат с отличаем и 1 претендент Алтын белги все пятерки набрала только

2. Сравнительные результаты тестирования показывают нестабильность, рекомендовано всем преподавателям подготовить мониторинг индивидуальных результатов по пробным тестированиям.

3. Учителям–предметникам составить планы работы со слабоуспевающими и отличниками.

4. Классным руководителям проводить родительские собрания по субботам, пригласить родителей учащихся которые не набирают пороговый уровень поступления в ВУЗы.

тестовых результатов

Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).

Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов

Сфера применения тестов	Цель тестирования	Интерпретация результатов тестирования
Профессиональный отбор	Отбор наиболее соответствующих требованиям, со знаниями и умениями, критически важными для данной профессии	Ранжирование испытуемых по уровню профессиональной пригодности, компетентности, комплексный анализ результатов
Вступительное тестирование	Отбор наиболее подготовленных (определение проходного балла), выявление пробелов в структуре знаний	Ранжирование испытуемых по уровню подготовленности, статистическая обработка результатов
	Определение «места» в группе для каждого испытуемого в соответствии с выбранными критериями	Ранжирование испытуемых по измеряемому параметру, статистическая обработка результатов
Текущий контроль* 14 , мониторинг	Отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Анализ структуры и профиля знаний, статистическая обработка результатов
Дистанционное обучение	Стимулирование познавательной деятельности обучаемых, повышение мотивации к обучению, отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Ранжирование испытуемых по уровню подготовленности, анализ преподавателем (тьютором) структуры и профиля знаний, статистическая обработка результатов
Самостоятельное обучение (мультимедийные учебники, обучающие программы и т.п.)	Стимулирование познавательной деятельности обучаемых	Результаты тестирования испытуемые интерпретируют самостоятельно или с «подсказками» программы

Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.

При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.

Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.

Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.

Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).

Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).

Максимально возможное количество баллов в данном примере – 24.

Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.

При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).

Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.

Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.

Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.

Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.

Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.

Термин профиль знаний , которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).

Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов

№№ вариантов теста

Оценки за тестовые задания по разделам дисциплины (в пределах каждого раздела задания расположены в порядке возрастания их трудности)

Раздел 1

Раздел 2

Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний

№№ вариантов теста

Оценки за тестовые задания (задания расположены в порядке возрастания их трудности: №1 /самое легкое/  №10 /самое трудное/)

Суммарный балл по тесту

Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.

Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний .

Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.

Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы .* 15 В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.

Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.

К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).

Самостоятельная работа . Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.

Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.

В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».

Анализ пробного тестирования

за 20. 01.2016г. в 11-х классах

В 11-х классах обучается 85 учеников. Из них , данный пробный тест писали 31 учеников с казахским языком обучения и 51 с русским языком обучения.

Итоги теста от 20 .01.2016 исключая пятый предмет:

класс

Кол-во учащихся

100

110

всего

писало

11а

11 ә

11б

11э

итого

11 «а» класс :

8

1.Абсаматов Ғ -38 баллов; 2. Мошқал Е-47 баллов;

3.Құмар А - 41балл; 4. Нурмуханова И - 37 баллов;

5.Хусаинов Н- 44 балла; 6. Дәурен Б - 46 баллов;

7.Ертаева М - - 44 баллов; 8. Ибуллаева Ж -34 балла

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Нурмуханова И - 3 балла);

От 4-11 баллов - 9;

От 12- 19 баллов – 3;

Выше 20 баллов -1;

Средний балл –10 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8

От 22-25 баллов -4;

Средний балл –-16,2 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов -0;

Средний балл –-14,3 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов – 0;

Средний балл –-14,6 баллов

Предмет по выбору

Физика-9 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 4;

От 12-19 баллов- 3;

Средний балл -10,6 баллаов.

География -2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -0;

Средний балл -13 баллов

Всемирная история – 2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 2;

От 13-20 баллов – 0:

От21-25 баллов -0;

Средний балл -13 баллов

Английский язык -1

От 14-20 баллов-1;

Средний балл -19 баллов

Биология - 1 ученик

От4-12 баллов-0;

От 13-20 баллов -1;

От 21-25 баллов -1:

Средний балл -18 баллов

Әдебиет – 1

От 14-20 баллов -1;

Средний балл -18 баллов

Средний балл по классу- 52,14 баллов

11 «ә» класс :

Не набрали пороговый результат: 3

1.Есильбаева А -44 баллов; 2.Тойлыбай А – 25 баллов;

3.Кенженов К – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 0;

От 4-11 баллов - 8;

От 12- 19 баллов – 2;

Выше 20 баллов 0;

Средний балл –9,9 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 6;

От 22-25 баллов -2;

Средний балл –-18,40 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8;

От 22-25 баллов -0;

Средний балл –-15,7 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 5;

От 22-25 баллов – 1;

Средний балл –-15,7 баллов

Предмет по выбору

Физика-1 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 1;

От 12-19 баллов- 0;

Средний балл -4 баллаов.

География -3 ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -1;

Средний балл -13,6 баллов

Английский язык -2

От 14-20 баллов-2;

От 21-25 баллов -0;

Средний балл -17,5 баллов

Биология - 4 ученика

От4-12 балло-1;

От 13-20 баллов -3

От 21-25 баллов -0:

Средний балл -13,5 баллов

Средний балл по классу- 57,2 баллов

11 «б» класс :

Не набрали пороговый результат: 7

1. Абдрахмет А - 44 баллов; 2.Боргуль А- 43 баллов;

3. Гуляренко Е - 48 баллов; 4. Бурумбаев Т- 40 баллов;

5.Иванов А - 44 балла; 6. Кубжасарова А – 47 баллов;

7.Лигай К - 43 баллов;

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Бурумбаев Т- 3б) ;

От 4-11 баллов - 11;

От12-19 баллов- 15;

От 20-25 баллов- 0;

Средний балл –12 баллов

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 4;

От 14-20 баллов-16;

От 21-25 баллов-7;

Средний балл -17,2 баллов;

История Қазақстана

От 0- 3 баллов - 0

От 4-11 баллов - 3;

От 12-20 баллов-12;

Выше 20 баллов-12;

Средний балл ---16,8 баллов;

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 2;

От 12-20 баллов -25;

Выше 20 баллов-0;

Средний балл -14,5 баллов

Пятый предмет по выбору.

Физика -11уч-ся;

От 0-3 баллов -0 ;

От 4-11 баллов - 4

От 12 -19- 7 ;

Средний балл 14 баллов ;

Биология – 4;

От4-11 баллов -0 балла;

От 12-19 баллов – 4;

Выше 20 баллов -0

Средний балл -13,75 баллов;

География -8 человек;

От 4-11 баллов -6

От 12-19 баллов –0 ;

От 20-25 баллов -2 ;

Средний балл -13,9 баллов ;

Всемирная история -1 ученика;

От13 -20 баллов – 1;

От 21-25 баллов -0;

Средний балл -20,0 баллов ;

Английский язык -3

От 4 -11 баллов-0;

От 12-19 баллов – 1:

От 20-25 баллов -2;

Средний балл -19,3 баллов ;

Средний балл по классу -57,7 баллов.

11 «э» класс :

Не набрали пороговый результат: 6

1. Абдрахманова А - 42 балла; 2. Сейпышева К - 47 баллов;

3. Нежелев В– 42 балла; 4. Калиев К – 42 балла;

5. Сәмиева Л - 46 баллов; 6. Талгатов Ж – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 3(Абдрахманова А -3 б, Жибитенко М-3б, Сәмиева Л -3б);

От 4-11 баллов - 13;

От12-19 баллов-7 ;

От 20-25 баллов-0;

Средний балл –9,3 баллов

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 1;

От 12-20 баллов -21

Выше 20 баллов-1 ;

Средний балл -15,8 баллов

История Қазақстана

От 0- 3 баллов - 0;

От 4-11 баллов - 6;

От 12-20 баллов-12;

Выше 20 баллов-5;

Средний балл ---15,5 баллов;

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 5;

От 14-20 баллов-13

От 21-25 баллов-5;

Средний балл – 16,7 баллов;

Пятый предмет по выбору.

Физика -1 уч-ся;

От 4-11 баллов - 0;

От 12 -19- 1;

Средний балл -13 баллов ;

Биология – 5 учеников

От 0-3 баллов - 0;

От 4-11 баллов- 1;

От 12-19 баллов – 4;

От 20-25 баллов-0;

Средний балл - 11,2 баллов ;

География -5 ученика

От 4-11 баллов- 0;

От 12 -19 баллов- 5;

Средний балл - 13,4 баллов ;

Английский язык – 11

От 12-19 баллов -6;

Выше 20 баллов -5 ;

Средний балл - 18,7 баллов

Химия -1

От 12-19 баллов-1;

Средний балл - 12 баллов

Средний балл по классу- 56,4 баллов

Сранительный мониторинг по классам от 20.01.2016.

Сранительный мониторинг по результатм двух последних тестирований

Средний балл по школе составилл 55,9 баллов бех пятого предмета,что ниже предыдущего тестирования 2,1 баллов;

Количество учащихся, не набравщих пороговый результат составляет 24 учащихся, что составляет 32 % ;

Учителям –предметникам активизировать работу по анализу тестов и работы над ошибками;

Зам. дир. УВР: Кипчакбаева Л.С.

Важным условием проведения пробного тестирования является получение статистически достоверных результатов , что обеспечивается соблюдением ряда условий:

Пробное тестирование должно проводиться в нескольких параллельных* группах. При этом рекомендуется в каждой группе провести его дважды, но при условии, что испытуемые получат варианты теста с заданиями, на которые раньше не отвечали. Желательно, чтобы повторное пробное тестирование в одной и той же группе проводилось в разные дни;

Количество испытуемых в группах должно быть достаточно большим (не менее 20 человек);

Все параллельные группы должны находиться в одинаковых условиях (время, отводимое на тестирование, место и время проведения*);

Все испытуемые в пределах одной группы также должны находиться в идентичных условиях, без каких-либо «скидок» и «поблажек» для отдельных испытуемых. Все испытуемые должны получить примерно одинаковые по сложности (параллельные) задания;

Время, отводимое на пробное тестирование должно быть таким, чтобы наиболее подготовленные успели ответить на все вопросы теста*;

Для получения достоверных результатов следует свести к минимуму возможность подсказок среди испытуемых.

К пробному тестированию с использованием специализированной программы и ПЭВМ предъявляются примерно те же требования, что и при тестировании «на бумаге».

Анализ результатов пробного тестирования и отбор тестовых

Заданий

Матрица тестовых результатов

После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый. Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.

Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.

Таблица 3.4 – Матрица* тестовых результатов в группе из 10 человек

(для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)

№ пп

Фамилия

№№ варианта теста

Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/)

Суммарный балл по тесту

Абрамов

Дмитриев

Васильев

Борисов

Щетинин

Зыков

Григорьев

Кириллов

Иванов

Жуков

S

-

В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.

Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудности задания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.

Статистический анализ тестовых результатов и отбор заданий

Для включения в тесты

В табл. 3.5 приведены некоторые показатели, рассчитанные по результатам пробного тестирования.

Таблица 3.5 - Анализ результатов тестирования*

ПОКАЗАТЕЛИ	Номер задания
Кол-во правильных ответов
Кол-во неправильных ответов
Доля правильных ответов, p j		0,8	0,7	0,6	0,5	0,5	0,4	0,3	0,2
Доля неправильных ответов, q j		0,2	0,3	0,4	0,5	0,5	0,6	0,7	0,8
Потенциал трудности, q j /p j	0,00	0,25	0,43	0,67	1,00	1,00	1,50	2,33	4,00	-
Дисперсия баллов, p j ×q j		0,16	0,21	0,24	0,25	0,25	0,24	0,21	0,16
Коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту	-	0,41	0,62	0,75	0,82	0,82	0,75	0,62	0,41	-

Наиболее важными из приведенных в табл. 3.5 показателями являются:

1) потенциал трудности;

2) дисперсия баллов;

3) коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту.

Именно эти показатели являются критериями, по которым можно судить о том, может ли задание в тестовой форме использоваться в тестах, т.е. называться тестовым заданием .

Первый показатель соответствует требованию (см. раздел 1.2) известной трудности задания. Как видно из табл. 3.5, этому требованию не соответствуют задания №1 и №10, что подразумевает необходимость их «ревизии» разработчиком с целью выявления причин (задание слишком легкое или слишком трудное, неверно сформулировано, содержит «подсказку» в вариантах ответов, неверно воспринимается испытуемыми и т.п.). После «ревизии» задание либо перерабатывается, либо исключается и в тестах не используется.

Не менее важна и дисперсия баллов, которая может служить показателем дифференцирующей способности задания, т.е. его способности разделить группу испытуемых на сильных и слабых. Чем больше дисперсия баллов, тем лучше дифференцирующая способность задания. Однако, задания с невысоким значением дисперсии (например, задания №2 и №9) также могут использоваться в тестах (с учетом значения коэффициента корреляции с суммарными баллами по всему тесту). Такие задания позволяют более четко отделить совсем неподготовленных от тех, кто знает на «3» и, соответственно тех, кто знает на «5», от тех, кто «не дотягивает» до максимальной оценки.

Третий показатель – коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту , является наиболее важным. Если его значение невелико, то без соответствующего задания в тесте, видимо, можно обойтись. Напротив, задания с большим значением указанного коэффициента (выше 0,7) могут считаться «ведущими» или «тестообразующими» заданиями, «ключевыми» для данной дисциплины или ее раздела. Рекомендуют включать задание в тест при том условии, что коэффициент корреляции составляет величину не ниже 0,25-0,3.

Для вычисления коэффициента корреляции в нашем случае наиболее удобной представляется формула

где - балл за задание; - суммарный балл по тесту; - количество испытуемых в группе.

Рассчитаем для примера коэффициент корреляции балов по заданию №5 с суммарными тестовыми баллами применительно к приведенной в табл.3.4 матрице тестовых результатов (см. табл. 3.6).

Таблица 3.6 – Расчет коэффициента корреляции S

При использовании для анализа тестовых результатов компьютерной техники целесообразно воспользоваться для расчета коэффициентов корреляции соответствующей функцией табличного процессора Excel.

Не менее важно и сопоставление результатов тестирования, полученных в параллельных (различных) группах. Такое сопоставление производится путем сравнения потенциалов трудности, дисперсий и коэффициентов корреляции баллов по заданиям с суммарными баллами по тесту, которые в идеале должны отличаться незначительно. Существенные отличия указанных показателей могут свидетельствовать либо о невысокой воспроизводимости тестовых результатов (т.е. на одинаковых по уровню группах один и тот же тест дает различные результаты), либо о существенно различающемся уровне подготовленности испытуемых в разных группах (т.е. группы не являются параллельными).

Проверку параллельности групп можно произвести путем оценки однородности дисперсий суммарных тестовых результатов, используя соответствующие статистические критерии - Фишера, Кочрена, Бартлета . По этим критериям можно при достаточно высоком уровне значимости (рекомендуется 0,05) проверить, насколько параллельные группы отличаются по среднему уровню подготовленности.

Еще одним приемом, который можно использовать при обработке результатов тестирования, является объединение результатов тестирования параллельных групп. Этот прием рекомендуется использовать при небольшом числе испытуемых в отдельных группах, но перед «объединением» результатов желательно произвести проверку однородности дисперсий по критериям, упомянутым выше.