В 1997-1999 годах на кафедре ИСЭ Алтайского Государственного технического университета была разработана оболочка информационно-образовательной среды "Chopin" , предназначенная для разработки и поддержки авторских образовательных курсов в режиме "один преподаватель - много студентов", а также в режиме "компьютер-студент". Часть принципов и методов, примененных в разработке можно считать новыми для данной предметной области. В статье изложен подход, примененный для оценки качества электронных учебных пособий в составе информационно-образовательной среды.

Введение

В настоящее время много говорится об информационной технологии образования см например [1,2,3]. Процесс изучения предмета рассматривается как последовательность этапов, каждый из которых направлен на достижение конкретной цели. Выработаны стандартные показатели качества прохождения таких этапов. Сформировались психологические и педагогические теории, позволяющие выстраивать последовательность этапов обучения максимально близко к современным представлениям о структуре мышления. Вместе с тем, вопросы оценки качества некоторой образовательной технологии в целом, еще мало изучены см например [4]. Трудность построения методик оценки объясняется несколькими причинами:

• Различием в личностных характеристиках обучаемых
• Различием в способе (манере) обучения
• Различием в результатах обучения у разных обучаемых и д.р.

Важным обстоятельством является также то, что каждая образовательная технология требует затрат различных ресурсов. Термин "ресурсы" понимается здесь в широком смысле. Ресурсы могут быть материальными, ментальными и д.р. Специфика образовательной технологии как раз и состоит в наличии особого рода ресурсов. В последнее десятилетие в психологии значительное внимание уделяется депрессии и вызывающим ее причинам, депрессивным состояниям и их последствиям. Установлено что значительная умственная нагрузка в течении продолжительного времени может стать причиной депрессии. Депрессивное состояние отрицательно сказывается на различных личностных характеристиках и может продолжаться годами.

Электронные учебные пособия (ЭУП): показатели качества и алгоритм оценки.

Обобщая, можно сказать что оценивать качество образования и качество образовательной технологии следует с учетом произведенных затрат. При применении одной и той же технологии на различных обучаемых мы неизбежно получим различные результаты. Вместе с тем, из практики известно, что ряд технологий, позволяет получать стабильно высокий результат с малым процентом неудач. Основная идея статистического метода оценки может быть заимствована из классической теории тестирования. Каждый тест имеет ряд характеристик, рассчитываемых на основе результатов его прохождения. Количественное выражение этих характеристик позволяет сравнивать тесты между собой и устанавливать отношения "лучше - хуже". Рассмотрение количественных характеристик тестов имеет смысл только при указании входной выборки - то есть подробного описания контингента тестируемых, а также при указании цели теста. Устанавливать отношения типа "лучше-хуже" для тестов, направленных на различные объекты тестирования не имеет смысла. По аналогии с классической теорией тестирования [5,6,7,8,9] предлагается выдвинуть ряд показателей качества для ЭУП в целом, а также для отдельных элементов пособия. Минимальной единицей считается электронный урок. Знания о последовательности проведения уроков, обеспечивающие оптимальное обучение образуют электронный авторский курс (ЭАК). Электронным учебным пособием считается совокупность базы знаний (ЭАК), элементов предъявления (электронных уроков, которые могут быть реализованы отдельными программами) и технических модулей, обеспечивающих функционирование программной системы. Логика такого разделения состоит в следующем: каждая минимальная единица учебного пособия служит достижению определенной учебной подцели, которую невозможно или нецелесообразно декомпозировать. Электронное представление этой информационной единицы может быть удачным или не удачным, интуитивно понятным или чрезмерно сложным. К настоящему моменту существуют целые педагогические теории, посвященные тому, как должна выглядеть минимальная единица представления информации при обучении на компьютере. Часто они направлены на выяснение размеров, цвета, положения на экране символов и графики. Теории такого рода указывают на то, что то или иное цветовое сочетание, абстракции и т.п. положительно или отрицательно воздействуют а психику обучаемого и поэтому их лучше применять или не применять. Практика показывает, что безусловно это направление отрицать нельзя, но оценивать качество исходя только из подобных соображений неверно. Дело в том, что в зависимости от текущего психофизиологического состояния, различных обучаемые будут реагировать на стимулы по-разному. Поэтому конкретная реализация элемента предъявления информации должна строится на основе разработанных ранее психологических и педагогических теорий, а его оценка на основе статистики применения на четко заданной выборке. Таким образом, обобщая, можно сказать, что показатели качества электронного урока дают объективное представление о его удачности, в то время как показатели качества электронного курса в целом - о соответствии подобной структуры знаний заявленным целям обучения. В качестве основных показателей качества электронного учебного пособия в целом предлагается использовать следующие характеристики:

• Валидность
• Надежность
• Трудность
• Экономичность и избыточность
• Интегрированность
• Практичность

Валидность учебника - способность учебника соответствовать заявленным целям обучения. Необходимо различать несколько видов валидности

Таблица 1. Виды валидности ЭУП

Валидность ЭУП необходимо рассматривать с учетом произведенных при обучении затрат. Надежность - способность учебника показывать одинаково стабильные результаты при применении на нескольких, но примерно одинаковых выборках. Способность учебника мало менять свою стабильность при применении на различных выборках. Надежность можно определить как вероятность того, что средние результаты обучения отклоняться от идеальных не более чем на заданную величину. Трудность характеризует затраты на обучение по данному учебнику. Очевидно, что данный критерий многомерный. Свертка в один затруднена или невозможна. К основным затратным статьям следует отнести: материальные, временные, физические и умственные. Экономичность учебника - способность достигать поставленных целей за минимальное число шагов. Характеризуется распределением числа шагов, необходимых для достижения поставленных целей в разных выборках. Избыточность учебника - мера наличия в учебнике такой информации, овладение которой прямо не служит достижению поставленных целей обучения. Интегрированность учебника - степень его интеграции с другими учебниками. Степень зависимости результатов обучения по данному ЭУП от применения или не применения какого-либо другого учебника. Определяется через соответствующий коэффициент корреляции. Практичность учебника. Оценивается преподавателями и обучаемыми экспертно. Для объективизации результатов опроса возможно применение критерия знаков. Для оценки качества уроков в учебнике предлагаются следующие характеристики:

• Валидность урока
• Трудность
• Связность
• Избыточность
• Необходимость

Валидность и трудность для урока имеют смысл аналогичный валидности и трудности учебного пособия в целом. Связность урока характеризует меру его зависимости от других уроков, т.е. влияние усвоения одного урока на способность усвоить другой. Для тестов значимая корреляция между заданиями - это плохо. Для уроков, решение этого вопроса не однозначно. Для учебника связность информационных единиц - хорошо, а для справочника - плохо. Связность удобно представлять матрицей парных корреляций. Избыточность урока - мера информации, содержащейся в уроке, но не служащей прямо достижению учебных целей. Избыточная информация - это та, добавление которой уже не приводит к росту оценки по тесту. Часто урок получается избыточным при попытке достичь несколько разнородных целей, предъявить несколько не связанных единой целью информационных единиц: например грамматику и страноведческую информацию или наличие материала (картинки например) вообще без четкой цели. Избыточность можно оценить через средние характеристики (время внимания и т.п.). Смысл характеристики "необходимость урока" поясним примером. Если урок вообще исключить из ЭУП, то каков будет результат по данной учебной цели, не обучится ли слушатель как-нибудь на других уроках (для этого специально не предназначенных). Общий алгоритм оценки ЭУП может быть представлен следующими этапами:

1. Проведение предварительного тестирования
2. Обучение по ЭУП
3. Проведение заключительного тестирования
4. Определение показателей качества ЭУП

4.1. Внешняя валидность
4.2. Очевидная валидность
4.3. Сопоставительная валидность

4.3.1. Определение вида и параметров распределения выходных результатов
4.3.2. Определение вида и параметров распределения модельных результатов
4.3.3. Расчет валидности

4.4. Надежность
4.5. Трудность
4.6. Экономичность
4.7. Интегрированность
4.8. Практичность

5. Фиксация результатов в паспорте ЭУП