Эксперимент по проведению оценки качества результатов освоения образовательных программ высшего образования

В ходе реализации данного проекта был проведен эксперимент по тестированию обучающихся ВУЗов по направлениям подготовки «Экономика» и «Юриспруденция» с использованием специально разработанных оценочных средств. В тестировании приняли участие около 3,5 тысяч обучающихся второго и третьего курсов очной формы обучения, из них: 1914 человек по направлению подготовки «Юриспруденция» (из 12 вузов), 1521 человек – по направлению подготовки «Экономика» (из 11 вузов).

ВУЗы – участники эксперимента

Целями эксперимента были:

• апробация механизмов оценки знаний студентов в форме тестирования в ходе проведения процедуры государственной аккредитации образовательной деятельности образовательных организаций высшего образования;
• получение достоверной и объективной информации об уровне знаний обучающихся ВУЗов-участников эксперимента.

Задачи проводимого эксперимента:

1. Разработка процедуры оценки знаний обучающихся в процессе проведения государственной аккредитации образовательной деятельности ВУЗа.
2. Разработка инструментария для осуществления объективной оценки качества подготовки обучающихся во время проведения процедуры государственной аккредитации.
3. Оценка знаний обучающихся. Организация единовременного проведения тестирования во всех образовательных организациях, участвующих в эксперименте.
4. Подготовка предложений по совершенствованию процедуры оценки знаний обучающихся в рамках государственной аккредитации образовательной деятельности ВУЗа.

Эксперимент проводился в три этапа.

На первом, подготовительном, этапе проводился подбор ВУЗов – участников эксперимента, общественных наблюдателей, определялись единые даты проведения тестирования, разрабатывалось методическое обеспечение проведения эксперимента:

• инструкции для ответственного от образовательной организации, для организаторов в аудитории, для экспертов, для наблюдателей, участвующих в процедуре проведения оценки качества результатов освоения образовательных программ высшего образования, инструкция для верификатора (оператора по вводу данных в электронные ведомости);
• анкета для получения информации о зафиксированных трудностях, возникших в процессе эксперимента по оценке качества результатов освоения образовательных программ высшего образования;
• фонды оценочных средств (комплекты контрольно-измерительных материалов по направлениям подготовки «Экономика» («Микроэкономика», Макроэкономика», «Эконометрика»), «Юриспруденция» («Гражданское право», «Уголовное право», «Конституционное право») – рабочие и демонстрационные варианты).

В разработке фондов оценочных средств принимали участие эксперты и представители профессорско-преподавательского состава ВУЗов - членов профессиональных ассоциаций. Так, например, в подготовке контрольно-измерительных материалов по дисциплинам направления подготовки «Экономика» приняли участие члены Ассоциации ведущих вузов в области экономики и менеджмента, по дисциплинам направления «Юриспруденция» - члены Ассоциации юридического образования России.

В качестве общественных наблюдателей выступили представители общественных организаций (Российский Союз Молодежи, Российские студенческие отряды) и аккредитованные Рособрнадзором эксперты в сфере образования.

Для участников эксперимента были проведены вебинары, на которых демонстрировались версии тестовых заданий, объяснялась технология проведения тестирования и оценки результатов.

На втором этапе эксперимента проводилось непосредственно тестирование обучающихся по направлениям подготовки «Экономика», «Юриспруденция», а также осуществлялся сбор сведений о трудностях, возникших в ходе проведения тестирования.

Оценка знаний в форме тестирования осуществлялась 24-26 мая 2016 года с 10 до 12 часов по московскому времени.

Третий этап эксперимента предполагал обработку результатов тестирования, их оценку и подготовку предложений по совершенствованию самой процедуры проведения тестирования.

В качестве экспертов для оценки результатов тестирования привлекались разработчики фондов оценочных средств.

Результаты тестирования обучающихся ВУЗов-участников эксперимента выглядят следующим образом:

1) По направлению подготовки «Экономика»:

По всем дисциплинам средний процент выполнения заданий оказался ниже 50%. При этом меньше всего средний процент выполнения заданий по дисциплине «Микроэкономика» (29%), а больше всего - по дисциплине «Эконометрика» (45%) (рисунок 2).

Максимальные баллы, полученные по результатам тестирования по всем трем дисциплинам, меньше максимально возможных (рисунок 3). Наибольший разрыв между значениями максимально возможного и максимального балла за тест наблюдается по дисциплине «Микроэкономика» (26-20=6 баллов). Средний балл за выполнение заданий по этой дисциплине также самый низкий.

Средний процент выполнения заданий по направлению подготовки «Экономика»

Данные о баллах по дисциплинам направления подготовки «Экономика»

При переводе результатов тестирования в традиционную шкалу отметок получается, что большинство обучающихся не справились с заданиями по дисциплинам «Микроэкономика» (80% получили отметку «неудовлетворительно») и «Макроэкономика» (58% получили отметку «неудовлетворительно»). Если принять во внимание тот факт, что отметку «отлично» и «хорошо» получили только примерно 8% обучающихся по дисциплине Микроэкономика» и 18 % по дисциплине «Макроэкономика», то можно предположить, что задания тестов по этим дисциплинам были достаточно сложными для тестируемых. В целом наблюдается наличие дифференцирующей способности тестовых заданий по всем трем дисциплинам направления подготовки «Экономика».

Задания по всем дисциплинам направления подготовки «Экономика» предполагали, как решение задач, установление соответствия между двумя множествами элементов, так и изложение ответов в свободной форме. Анализ результатов ответов на конкретные тестовые задания по каждой из трех дисциплин показал наличие в вариантах сложных и простых заданий. Например, по дисциплине «Макроэкономика» трудным для выполнения оказался первый вариант теста (средний процент выполнения 26%, средний балл 6,28). К выполнению некоторых заданий в разных вариантах обучающиеся по дисциплине «Макроэкономика» вообще не приступали. Средний процент выполнения заданий, которые по результатам их выполнения были отнесены экспертами к сложным, составил от 3,4 % до 17,4%.

Кроме того, по дисциплине «Микроэкономика» по полученным результатам тестирования был отобран ряд вопросов из разных вариантов, которые нуждаются в переработке их содержания (либо исключении из варианта теста) в связи с их низкой дифференцирующей способностью.

По дисциплине «Эконометрика» сложным во всех вариантах для выполнения оказалось одно задание, средний процент выполнения которого составил 18,5%. Однако встретилось и достаточно простое задание, выполнение которого не вызвало затруднения у большинства обучающихся (средний процент выполнения по всем вариантам 84, 7%).

2) По направлению подготовки «Юриспруденция»:

средний процент выполнения заданий по дисциплинам направления «Юриспруденция» выше, чем по направлению подготовки «Экономика» и близок, либо выше 50% (рисунок 5). При этом выше средний процент выполнения заданий по дисциплине «Уголовное право» (58%).

Средний процент выполнения заданий по дисциплинам направления подготовки «Юриспруденция»

Максимальный балл, полученный обучающимся за тест, совпал с максимально возможным по дисциплине «Гражданское право» (рисунок 6). Разрыв между возможным и полученным максимальным баллом по дисциплинам «Конституционное право» и «Уголовное право» составляет 5 баллов. Средний балл за выполнение заданий ниже по дисциплине «Гражданское право».

Данные о баллах по дисциплинам направления подготовки

В тестах по направлению подготовки «Юриспруденция» также выявилось наличие простых и сложных заданий, в частности в тестах по дисциплине «Гражданское право». Задания предполагали выбор одного или нескольких вариантов ответов, указание краткого ответа, либо описание ответа в свободной форме. При переводе результатов в традиционную шкалу отметок по «Гражданскому праву» 61% обучающихся получили отметку «удовлетворительно», а почти 25% - неудовлетворительно. Средний процент выполнения заданий по данной дисциплине составил 38%. Процент выполнения сложных заданий по разным вариантам варьируется от 2,6% до 8,8%.

По итогам эксперимента были сформированы предложения по дальнейшему совершенствованию процедуры проведения тестирования в рамках государственной аккредитации образовательной деятельности образовательных организаций высшего образования:

1. При составлении контрольно-измерительных материалов ориентироваться на подготовку большей части заданий средней сложности.
2. Использовать единую спецификацию для контрольно-измерительных материалов в рамках одной дисциплины.
3. Предварительно (до начала массового использования) проводить тестологическую экспертизу фондов оценочных средств и контрольно-измерительных материалов.
4. Унифицировать форму бланков ответов для тестирования по всем дисциплинам разных направлений подготовки по образовательным программам высшего образования.
5. Для повышения объективности с целью проверки тестовых заданий одной работы привлекать не менее двух экспертов. В случае расхождения их суммарных оценок более чем на 1 балл приглашать третьего эксперта.
6. В случае, если в качестве экспертов будут выступать не авторы тестовых заданий, необходимо наличие «эталонов ответов» (ключей) и инструкции, содержащей критерии оценивания заданий.

В целом, по полученным результатам эксперимента можно сделать вывод о том, что поставленные цели проведения эксперимента были достигнуты, а задачи – выполнены:

• разработаны и апробированы механизмы оценки знаний студентов в ходе проведения процедуры государственной аккредитации образовательной деятельности ВУЗов;
• осуществлена оценка знаний обучающихся в форме тестирования;
• по результатам апробации составлены предложения по совершенствованию процедуры тестирования в рамках проведения государственной аккредитации образовательной деятельности ВУЗа.

Эксперимент показал, что оценка знаний в форме тестирования в процессе проведения государственной аккредитации оправдана и необходима, так как она позволяет получить объективную картину качества результатов освоения образовательных программ. Разработанные механизмы оценки знаний с учетом их дальнейшего совершенствования – действенны. Привлечение к проведению оценки знаний представителей общественных (в качестве наблюдателей) и профессиональных организаций (в качестве экспертов и общественных наблюдателей) повышает прозрачность проводимых процедур и качество получаемых результатов.