Компьютерное тестирование – недавно возникшее направление психодиагностических исследований (обследований), связанное с использованием средств электронно-вычислительной техники. Появление компьютерной психодиагностики обусловлено развитием информационных технологий. Попытки автоматизировать предъявление стимульного материала испытуемому и последующую обработку результатов предпринимались начиная с 30-х гг. XX в. Но лишь с 70-х гг. начинается подлинное развитие компьютерной психодиагностики в связи с появлением персональных компьютеров. С 80-х гг. компьютерные тесты разрабатываются в массовых масштабах. Сначала как компьютерные версии уже известных бланковых методик, а в 90-е гг. как специальные методики, учитывающие возможности современной техники и неупотребимые в бланковом виде, поскольку рассчитаны на сложный, изменяющийся в пространстве и времени стимульный материал, специфическое звуковое сопровождение и т. п. Начало XXI века отмечено тем, что все чаще управление тестированием передается компьютеру. Если в прошлые годы автоматизировались отдельные стадии исследования, например предъявление материала (очень удобно использовать компьютер вместо тахис-тоскопа), обработка данных (особенно громоздких в обработке тестов типа MMPI, 16PF, социометрии), интерпретация результатов (тест Люшера), то на современном этапе все чаще можно встретить программы, которые берут на себя все обследование целиком, вплоть до постановки диагноза, что сводит необходимость присутствия психолога к минимуму. И в этом есть свои плюсы и минусы.
Безусловными достоинствами компьютерных тестов (КТ) являются: быстрое проведение; высокая скорость и безошибочность обработки; возможность безотлагательного получения результатов; обеспечение стандартных условий тестирования для всех испытуемых; четкий контроль процедуры тестирования (невозможен пропуск вопросов, при необходимости может быть фиксация времени каждого ответа, что особенно важно для тестов на интеллект); возможность исключения психолога как дополнительной переменной (что имеет особое значение при проведении экспертизы); наглядность и занимательность процесса (поддержка внимания с помощью цвета, звука, игровых элементов, что особенно важно для обучающих программ); легкая архивация результатов; возможность объединения тестов в батареи (пакеты программ) с единой итоговой интерпретацией; мобильность экспериментатора (весь инструментарий на одной дискете); возможность проведения массовых исследований (например, через Интернет).
Недостатки компьютерных тестов: сложность, трудоемкость и дороговизна разработки программ; необходимость дорогостоящей компьютерной техники; сложность использования ЭВМ в полевых условиях; необходимость специального обучения испытуемого работе с КТ; трудности работы с невербальным материалом, особая сложность перевода в компьютерную форму проективных тестов; отсутствие индивидуального подхода к тестируемому (потеря части психодиагностической информации, получаемой в беседе и наблюдении); латентность этапов обработки и интерпретации данных (качество этих процедур полностью зависит от разработчиков программ). У некоторых испытуемых при взаимодействии с компьютером могут возникать эффекты «психологического барьера» или «сверхдоверия» . Поэтому данные о валидности, надежности и репрезентативности бланковых тестов не могут быть автоматически перенесены на их компьютерные аналоги, что ведет к необходимости новой стандартизации тестов.
Недостатки КТ вызывают настороженное отношение к ним психологов. Мало используются КТ в клинической психологии, где цена ошибки слишком высока. Л. С. Выготский выделял три уровня психодиагностики: симптоматический (выявление симптомов), этиологический (выявление причин) и типологический (целостная, динамическая картина личности, на основе чего строится прогноз) . Компьютерная психодиагностика на сегодняшний день находится на низшем уровне – уровне симптоматического диагноза, практически не давая материала для выявления причин и вынесения прогноза.
Но, по-видимому, КТ имеют большое будущее, где наверняка многие из перечисленных недостатков компьютерной психодиагностики будут решены благодаря дальнейшему развитию электронной техники и совершенствованию психодиагностических технологий. Залогом такого оптимизма является нарастающий интерес науки и практики к компьютерной диагностике, в арсенале которой уже сейчас имеется свыше 1000 КТ .
Если попытаться классифицировать ныне существующие КТ, то можно выделить следующие их виды:
1. По структуре
а) аналоги бланковых тестов;
б) собственно КТ.
2. По количеству тестируемых
а) КТ индивидуального тестирования;
б) КТ группового тестирования (для одновременной подачиидентичного материала на компьютерах, объединенных влокальную сеть).
3. По степени автоматизации тестирования
а) автоматизирующие один или несколько этапов обследования;
б) автоматизирующие все обсследование.
4. По задаче
а) диагностические КТ;
б) обучающие КТ (тесты-тренажеры, развивающие программы).
5. По адресату
а) профессиональные психологические;
б) полупрофессиональные;
в) непрофессиональные (развлекательные).
Пользователем профессиональных КТ является психолог, поэтому они разрабатываются специализированными лабораториями или центрами компьютерной психодиагностики (из числа которых стоит упомянуть центр «Гуманитарные технологии» в Москве, ЗАО «Иматон-М», лабораторию клинической психологии Психоневрологического института им. В. М. Бехтерева в Санкт-Петербурге и др.). Эти тесты имеют ряд специфических особенностей: 1) наличие архива (базы данных); 2) наличие пароля на вход в тест или базу данных для обеспечения конфиденциальности результатов; 3) развернутая интерпретация результатов с использованием профессиональных терминов, коэффициентов, с построением графиков (профилей); 4) наличие информации о разработчиках методики, сведений о валидности и надежности, справочных материалов о лежащих в основе методики теоретических положениях. Полупрофессиональные КТ ориентированы на специалистов смежных профессий, например на педагогов, менеджеров по персоналу. Такие тесты зачастую снабжены редуцированной интерпретацией без использования специальной лексики, просты в освоении и работе. Тесты подобного уровня могут быть предназначены и для неспециалиста, рядового пользователя персонального компьютера, интересующегося психологией. Наконец, существует также большое число непрофессиональных КТ, направленных на популяризацию психологических идей или преследующих развлекательные цели.
Пользуясь профессиональными или полупрофессиональными КТ, необходимо соблюдать те же этические принципы, что и при бланковом тестировании. Важно не распространять результаты тестирования и защищать свои файлы паролем, особенно если у компьютера несколько пользователей. И главное – «не сотворить себе кумира». Помнить, что КТ является только средством, только помощником и имеет свои границы применения (знанием чего профессиональный психолог отличается от шарлатана от психологии).
Введение ………………………………………………………………………......3
Глава I . Тесты как средства контроля ………………………………………..5
Схема создания тестовых заданий………………………………………...7
Применение компьютерного тестирования для контроля знаний. Мотивационный эффект……………………………………………….......14
Технологии и системы тестирования……………………………………21
Технология проектирования компьютерных тестов предметной области………………………………………………………………………30
Методические основы создания компьютерных тестов………………..33
Глава II . Типовые тестирования
2.1. Правила разработки тестового задания и теста…………………………39
2.2. Типовые ошибки разработки тестовых заданий………………………...42
2.3. Основные правила тестирования для тестирующих и испытуемых…..50
2.4. Оценивание тестирования………………………………………………..52
2.5. Анализ и обоснование тестирования…………………………………….57
2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах…………………………………………..62
2.7.Требования, предъявляемые к системам компьютерного тестирования…………………………………………………………………..64
2.8. Работа с тестером ADSoft Tester………………………………………...66
Заключение …………………………………………………………………….75
Список литературы …………………………………………………………...77
Приложение ……………………………………………………………………79
Введение.
Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация.
Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.
Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.
Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.
Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.
Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.
Цель данной работы- показать что с помощью тестирования удобнее проводить проверку знаний учащихся, это занимает меньше времени и дает объективную оценку знаний, что является очень важным в обучающем процессе.
Задачи данной работы:
раскрыть тему компьютерного тестирования;
показать как создаются тестовые задания, каковы правила разработки тестовых заданий и тестов, как они оцениваются, как производится анализ тестирования, каковы технологии и системы тестирования, какие типовые ошибки допускаются при разработке тестовых заданий;
ближе познакомится с работой одного из тестологов, ADSoft Tester;
основываясь на данном тестере разработать несколько тестов по предметам: информатика и английский язык.
Глава I . Тесты как средства контроля.
Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация.
Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.
Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.
Компьютерное тестирование
Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.
По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.
Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.
Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.
Для упрощения дальнейшего изложения введем ряд определений и понятий.
Прежде чем начать рассматривать данную тему, мы обратимся к словарю компьютерных терминов по информатике с целью выяснения точного определения термина тест. Согласно словарю компьютерных терминов по информатике(В. Д. Валединский) тест(test) –это проверка работоспособности аппаратуры или программы, обнаружение и устранение ошибок. Тестирование является важным этапом при разработке программного обеспечения.
Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.
Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.
Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.
Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.
Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.
Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний. Эффективный тест - оптимальный по объему полный тест.
Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.
Общие представления о компьютерном тестировании. С начала XXI в, в образовании при проведении тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление -- компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.
Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.
Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которого до сих пор не выявлены в полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.
Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников школ отдаленных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.
Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.
Первая форма-- самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.
Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 -- 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.
Третья форма -- компьютерное адаптивное тестирование -- базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.
Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестированием, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ, Предъявление вариантов теста на компьютере позволяет сэкономить средства, расходуемые обычно на печать и транспортировку бланковых тестов.
Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.
Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличиваются за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической динамической постановки проблем с помощью мультимедийных средств и др.
Благодаря компьютерному тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не достигнутых заданий теста.
Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков:
Типичные психологические и эмоциональные реакции учащихся на компьютерное тестирование. Обычно психологические и эмоциональные реакции учащихся на компьютерное тестирование носят позитивный характер. Учащимся нравится незамедлительная выдача тестовых баллов, протокола тестирования с результатам по каждому заданию, а также сам инновационный характер контроля в том случае, когда привлекаются современные гипермедийные технологии для выдачи теста. Динамическое мультимедийное сопровождение заданий на компьютере, объединенное программными средствами для представления в интерактивном режиме, по мнению учащихся, обеспечивает более точную оценку знаний и умений, сильнее мотивирует к выполнению заданий по сравнению с бланковыми тестами. Удобно также то, что вместо заполнения специальных форм для ответов можно просто выбрать ответ мышью. Если тестирование проходит в адаптивном режиме, то сокращаются время проведения экзамена и длина теста.
Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против ком-пьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.
Воздействие на выполнение теста предшествующего уровня компьютерного опыта. Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста. Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновацион-ных типов заданий, широко использующих средства компьютерной графики и другие новшества, влияние предшествующего ком- пьюгерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать уровень компьютерного опыта учащихся, для которых предназначается тест.
Для снижения влияния опыта работы с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.
Влияние интерфейса пользователя на результаты компьютерного тестирования. Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, от-ражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.
Тестирование как форма контроля знаний учащихся
Важным звеном процесса обучения является контроль знаний и умений обучающихся. Постепенный переход от традиционных форм контроля и оценивания знаний к компьютерному тестированию отвечает духу времени и общей концепции модернизации и компьютеризации российской системы образования.
Тест (test (англ.) – испытание, проверка, проба, мерило, критерий, опыт) – краткое стандартизированное испытание, в результате которого делается попытка оценить тот или иной процесс.
Функции тестирования
Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:
· Диагностическая функция заключается в выявлении уровня знаний, умений, навыков учащегося. Это основная, и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.
· Обучающая функция тестирования состоит в мотивировании учащегося к активизации работы по усвоению учебного материала. Для усиления обучающей функции тестирования, могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие в самом тесте наводящих вопросов и подсказок, совместный разбор результатов теста.
· Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность учащихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности.
Компьютерное тестирование имеет ряд преимуществ перед традиционными формами и методами контроля. Оно позволяет более рационально использовать время урока, охватить больший объем содержания, быстро установить обратную связь с учащимися и определить результаты усвоения материала, сосредоточить внимание на пробелах в знаниях и умениях и внести в них коррективы.
Основными достоинствами данной формы контроля знаний является:
Возможность детальной проверки усвоения учащимися каждой темы курса;
Осуществление оперативной диагностики уровня усвоения учебного материала каждым учеником;
Обеспечивает одновременную проверку знаний учащихся всего класса и формирует у них мотивацию для подготовки к каждому уроку;
Правильно оформленный тест повышает интерес к предмету;
Позволяет индивидуализировать работу с учениками;
Экономия учебного времени при контроле знаний и оценке результатов обученности;
Применение тестов позволяет решать проблему саморазвития.
Но, наряду с положительными, есть и отрицательные стороны в применении тестов:
Тестовый контроль не способствует развитию устной и письменной речи учащихся;
Выбор ответа может происходить наугад, учителю невозможно проследить логику рассуждений учащихся.
Основные формы тестовых заданий
1. Задания с выбором одного или нескольких правильных ответов.
Среди этих заданий выделяются такие разновидности, как:
1.1. Выбор одного правильного ответа по принципу: один - правильный, все остальные (один, два, три и т.д.) - неправильные.
Например: При недостатке какого витамина происходит нарушение роста и развития костей:
А) витамина А
Б) витамина В
В) витамина С
Г) витамина D
1.2. Выбор нескольких правильных ответов.
1.3. Выбор одного, наиболее правильного ответа.
Например:
К органическим веществам относятся:
А) белки
Б) белки и углеводы
В) белки, углеводы и жиры
Г) белки, углеводы, жиры и минеральные соли
Каждый из ответов в целом правдоподобен, однако 1-й и 2-й ответ является не полными. Не верен и 4-й ответ, поскольку минеральные соли не относятся к органическим веществам.
2. Задания открытой формы.
Задания сформулированы так, что готового ответа нет; нужно сформулировать и вписать ответ самому, в отведенном для этого месте.
3. Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества.
Например:
Установите соответствие:
Среда обитания Организмы
1) Организменная а) карась
2) Водная б) медуза
3) Почвенная в) крот
4) Наземно-воздушная г) дождевой червь
5) Наземно-водная д) воробей
Е) тигр
Ж) аскарида
З) лягушка
И) дизентерийная амеба
4. Задания на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).
Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности учителя. При создании тестов важно учитывать многие обстоятельства, например, личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.д.
Выбор формы зависит от:
· цели тестирования,
· содержания теста,
· технических возможностей,
· уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.
Разработчики тестов должны придерживаться следующих принципов:Тест должен соответствовать целям тестирования;
Нужно определить значимость проверяемых знаний в общей системе проверяемых знаний;
Должна быть обеспечена взаимосвязь содержания и формы теста;
Тестовые задания должны быть правильными с точки зрения содержания (корректными);
Тест должен соответствовать уровню современного состояния науки;
Содержание теста должно быть комплексным и сбалансированным;
Содержание теста должно быть системным, но, вместе с тем, вариативным.
В начале любого теста дается краткая инструкция по выполнению задания, например: "Выберите правильный ответ…", "Выберите наиболее правильный ответ…", "Впечатайте в свободном поле ответ…" и т.п. Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция. Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.
Главные требования ксистеме компьютерного контроля заключаются в том, что:
* тестовые вопросы и варианты ответов на них должны быть четкими и понятными по содержанию;
Текст заданий (и ответов!) компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.
* компьютерный тест должен быть простым в использовании;
На экране желательно иметь минимум управляющих кнопок, инструкции-подсказки по действиям обучающегося должны появляться только в нужное время в нужном месте, а не присутствовать на экране постоянно, загромождая его.
* в тестовую систему должна быть включена оценка степени правильности ответа на каждый заданный обучающемуся вопрос;
Наличие заранее разработанных правил выставления баллов –это одно из важных требований при тестировании. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный - ноль. Сумм всех баллов, полученных учеником, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием "тестовый балл испытуемого".
* тестовых вопросов должно быть настолько много, чтобы совокупность этих вопросов охватывала весь материал, который обучающийся должен усвоить;
* вопросы должны подаваться испытуемому в случайном порядке, чтобы исключить возможность механического запоминания их последовательности;
* вопросы не должны начинаться с номера или какого-либо символического обозначения для того, чтобы исключить запоминание вопроса по порядку его следования или символу, его обозначающему;
* варианты возможных ответов должны следовать так же в случайном порядке;
* необходимо проводить учет времени, затраченного на ответы, и ограничивать это время.
Технология составления теста
Тест представляет собой сформированный в определенной последовательности переченьзаданий, количество и состав, которых зависит от целей тестирования. Дидактическое содержание теста определяется целью тестирования и предметной областью.
Технология создания теста по предмету предполагает несколько последовательных этапов:
1.
Постановка целей и задачконтроля.2.
Определение целей тестирования:-
обучение (самостоятельный тренинг учащихся);-
текущий контроль знаний (диагностика усвоения, отдельных тем и разделов);-
рубежный контроль знаний;-
итоговый контроль знаний (по всей программе).Четко формулируется для чего разработан тест, какие функции выполняет.
Целью входного контроля является оценивание исходной подготовленности обучаемого по предмету, то есть степени владения им знаниями, требуемыми для успешного усвоения курса. Промежуточный контроль представляет собой тест, состоящий из 5-10 компактных заданий, реализуемых непосредственно после изучаемого материала и предназначенный для оперативного оценивания его усвоения. Рубежный - проводится по итогам изучения темы, раздела курса. Итоговый контроль предусматривается в конце изучения курса и покрывает его содержание в целом. Его результаты служат основой для аттестации обучаемого.
3.
Анализ и систематизация материала.4.
Разработка таблицы уровня сложности тестовых заданий, таблицы проверяемых в тесте понятий в соответствии с заданием.5.
Разработка тестовых заданий.6.
Экспертиза содержания и формы заданий (рецензирование) и корректировка.7.
Определение объема(количества тестовых заданий) в тесте и времениего выполнения.8.
Разработка методики тестирования, определение и расчет показателей оценки. Составляется элементарная шкала: количество тестовых заданий предъявленных к выполнению соотнесено с количеством правильных ответов. Определяется диапазон положительной оценки. Количество правильных ответов для получения зачета, оценки хорошо, отлично и т.д.9.
Апробация теста.10.
Корректировка и добавление новых заданий для улучшения системообразующих параметров теста на основании результатов апробации.11.
Формирование окончательного варианта теста.12.
Разработка инструкций для учащихся.
Источники:
1. http://testbuilder.narod.ru/theory.html
2. http://shcola6amursk.ucoz.ru/TEST.doc
Источник:Аннотация
Компьютерное обучение (КО) может иметь большой потенциал, при надлежащем использовании в целях повышения качества обучения. Однако это качество может повышаться путём использованием компьютерного тестирования (КТ) и, более конкретно, с использованием компьютерного адаптивного тестирования (КAT). В целях данной работы автор описывает механизм и преимущества компьютерного адаптивного тестирования, а также каким образом оно может улучшить процесс обучения в предметной области науки. Педагогу предлагается принять к рассмотрению некоторые ограничения и проблемы в реализации, также будет обсуждаться естественнонаучное образование. КЛЮЧЕВЫЕ СЛОВА Компьютерное адаптивное тестирование, КАТ, компьютерное тестирование, компьютерное обучение, естественнонаучное образование, оценивание, формирование обратной связи.
ВВЕДЕНИЕ
Компьютерное обучение имеет крайне большой потенциал для улучшения обучения во многих областях и дисциплинах, в том числе и в предметной области науки. Однако, компьютерное обучение должно тесно и постоянно контролироваться, для обеспечения его эффективности. Это особенно верно, так как некоторые предварительные исследования показали, что использование компьютера отрицательно коррелирует с достижениями в области математики и науки (Papanastasiou и Фердиг, 2003). Хотя не ясно, при каких обстоятельствах эти негативные последствия развиваются, и если есть причинно-следственная связь между этими переменными, почему она все еще существует. Следовательно, эти отношения должны напомнить педагогу, что использование компьютера - не обязательно "панацея", и что он не должен использоваться безответственно и занимать внимание студентов, которым трудно иметь дело с ним. Также эта отрицательная связь между использованием компьютера и достижением результатов должна напомнить педагогам о существовании значительной потребности в непрерывной созидательной и итоговой оценки в науке. С помощью правильного оценивания, проблемы, которые возникают во время обучения, могут быть определены и, возможно, исправлены, если их обнаружили достаточно рано. Однако, оценка также должна использоваться с умом таким образом, чтобы она могла дополнять процесс обучения. Так как компьютерное обучение является целью этой конференции, эта статья будет связана с компьютерным оцениванием. Цель данной работы - выйти за рамки простого компьютерного обучения для описания компьютерного адаптивного тестирования, и обсудить его последствия, преимущества, и как оно может эффективно дополнять компьютерное обучение в данной области науки.
Описание
Компьютерное тестирование (КT) может быть определено как любой вид оценивания, который осуществляется посредством компьютера. Однако компьютерное тестирование может принимать различные формы, в зависимости от того, насколько адаптирован тест (College Board, 2000). Например, некоторые компьютерные тесты, которые также называются фиксированные компьютеризированные испытания, являются чисто линейными (Парсхолл, брызг, Kalohn и Дэви, 2002). Это тесты, которые наиболее близко напоминают бумагу и карандаш для тестирования, поскольку они фиксированной формы, фиксированной длины, и тестовые задания заранее поставлены в определенном порядке. В отличие от фиксированных компьютеризированных испытаний, компьютерные адаптивные тесты (КАТ) представляют собой компьютерные тесты, которые имеют максимальную степень адаптивности, так как они могут быть адаптированы для каждого студента, исходя из суммарной сложности и порядка, в котором вопросы предоставляются испытуемому. Так что компьютерные адаптивные тесты (КAT) это компьютерны е тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исх одя из ответов на предыдущих шагах.
Преимущества компьютерных адаптивных тестов
Основными преимуществами компьютерного адаптивного тестирования связаны с тем, что они являются эффективными с точки зрения времени, а также используемых ресурсов. Эти преимущества будут обсуждены в следующем разделе с точки зрения испытуемых, с точки зрения педагога, который хочет определить уровень знаний студента, а также с точки зрения разработчика теста.
Эффективность
Адаптивные тесты дают возможность оценить способности испытуемого более точно и с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы студентов, различных по способностям. Для того чтобы сделать это большинство вопросов этого теста среднего уровня сложности (так как большинство студентов имеют среднюю успеваемость) В результате, тест такого содержания создает проблемы для студентов с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности студенту будет нелегко ответить. Следовательно, испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые студент смог разобрать. Другой, более конкретный пример такой ситуации приводится ниже. Преподаватель хочет провести тестирование по биологии на тему «печень» Вопрос низкого уровня требует установить место положения печени на картинках человека, а вопросы высокого уровня предполагают способность студента диагностировать болезнь печени по картинкам. В этом случае, если студент не может даже определить местонахождение печени на картине человеческого тела, нет причин задавать ему более сложный вопрос. При рассмотрении таких испытаний с точки зрения студента с глубокими знаниями биологии, ситуация несколько лучше, хотя она по-прежнему не совершенна. Большинство вопросов для него будет слишком легким для этого человека. Адаптивные тесты позволяют эффективно подбирать вопросы, которые специально предназначены для определённого уровня знаний каждого испытуемого. Когда все вопросы чётко направлены на способности каждого студента, педагог может достичь более надежных и достоверных выводов о фактических знаниях студента.
Обратная связь
Еще один из преимуществ компьютерного испытания в целом, а также компьютерных адаптивных тестов, является то, что они могут управлять прямой и непосредственной обратной связью студента и преподавателя (Wise & Plake, 1990). С типичным бумажным тестом, всегда возникает задержка по времени между преподавателем и тестируемым. Без формирования оценки, преподаватели не смогут определить призвано ли компьютерное обучение действительно помогать студенту в обучении или нет. Это особенно важно, потому что без надлежащего оценивания, некоторые студенты могут оказаться в невыгодном положении из компьютерного обучения. В дополнение к суммарной оценке, такой вид оценивания показывает, как каждый студент усвоил материал в целом, также возможно предоставление списка областей и предметов, вопросы по которым встречались у каждого студента, на основе его показателей в адаптивном тестировании. Однако у преподавателя может возникнуть такой вопрос, при непрерывном тестировании, возможно, что некоторые студенты запомнят тестовые вопросы и проинформируют других студентов о них. Однако, если адаптивный тест содержит относительно большую базу вопросов, такой проблемы не возникнет, особенно в свете того, что разные студенты должны получить разные задания, основанные на уровне их индивидуальных способностей.
Время
С точки зрения разработчика тестов, создание адаптивного теста отнимает много времени, но является более эффективным с точки зрения педагога. В частности, студенты при адаптивном тестировании должны ответить на меньшее количество вопросов, чем во время обыкновенного тестирования. Кроме того, обычное тестирование, как правило, проводится всей группой, определённое количество времени, которое может не устраивать некоторых студентов. Преподаватель и вся группа должна ждать, пока все студенты завершат тестирование, прежде чем они смогут перейти к другому виду деятельности. С компьютерным адаптивным тестированием, студенты могут сдавать экзамен, когда будут готовы, единственным условием является доступность компьютера, и они не должны ждать, пока вся группа будет готова приступать к тестированию, или пока вся группа закончит его. С точки зрения преподавателя, адаптивное тестирование является экономным по времени, а также ему больше не придется беспокоиться о создании тестов для группы до тех пор, пока КАТ в состоянии охватить изученный материал. Кроме того, преподаватель экономит время на проверке работ, так как тест оценивается компьютером.
Другие преимущества
Компьютерное адаптивное тестирование также имеет некоторые дополнительные преимущества. В компьютерном адаптивном тестировании высокий уровень безопасности, так как список вопросов больше не может быть украден, и списывание у соседей не выгодно, так как большинство вопросов теста для каждого индивидуально. Кроме того, при помощи КАТ могут быть собраны другие типы данных, такие как количество времени, затраченное для ответа на каждый вопрос или количество изменений, которые сделаны для студентов во время прохождения теста.
ЗАКЛЮЧЕНИЕ
Современные исследования в области тестирования и оценивания показали, что потенциал компьютер адаптивных тестов увеличился. Преимущества и возможности компьютерного адаптивного тестирования дают возможность шагнуть ещё дальше. Это заметно по количеству крупномасштабных тестирований (например, GRE, TOEFL, ASVAB), которые стали или становятся адаптивными (Papanastasiou, 2001). Тем не менее, на такой шаг всегда нужно идти с умом, чтобы такая процедура оценивания хорошо интегрировалась в процесс обучения для обеспечения его максимальной эффективности.
Ссылки
1.Bennett, R. E. (1999). Using new technology to improve assessment. RR99-6. Princeton, NJ: Educational Testing Service. 2. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum associates. 3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied psychological measurement, 23(3), 187-194. 4. O’Neill, K. (1995). Performance of examinees with disabilities on computer-based academic skills tests. Paper presented at the American educational research association, San Francisco, April, 1995. 5. Papanastasiou, E. C. (2001). A ‘Rearrangement Procedure’ for administering adaptive tests when review options are permitted. (Doctoral dissertation, Michigan State University, 2001). 6. Papanastasiou, E. (2002a). A ‘rearrangement procedure’ for scoring adaptive tests with review options. Paper presented at the National Council of Measurement in Education, New Orleans, LA. 7. Papanastasiou, E. (2002b). Factors that differentiate mathematics students in Cyprus, Hong Kong, and the USA. Educational Research and Evaluation, 8 (1), 129-146. 8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Computer use and mathematical literacy. An analysis of existing and potential relationships. Paper presented at the third Mediterranean conference on mathematics education, Athens, Greece, January 3-5, 2003. 9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer- based testing. NY: Springer. 10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, sound and alternative response modes. Paper presented at the National Council of Measurement in Education, April 9-11, 1996, New York. 11. The College Board. (2000, April). An overview of computer-based testing. RN-09. 12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21(1-2), 121-133. 13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing in higher education. Measurement and evaluation in counseling and development, 23, 3-10.
Elena C. Papanastasiou, Ph.D. University of Kansas and University of Cyprus Department of Education P.O. Box 20537 1678 Nicosia Cyprus