Прокторинг: это правда работает?
Что такое «Экзамус»?
«Экзамус» — это сервис, который помогает проводить онлайн-экзамены и контрольные. По его правилам во время тестирования студентам запрещено покидать рабочее место и пользоваться вспомогательными материалами. В кадре не должно быть посторонних людей. Как утверждается на официальном сайте, разработчики «Экзамуса» создали технологию, которая анализирует поведение пользователей и распознаёт их эмоции.
Во время сдачи экзаменов используется технология прокторинга (англ. proctor — контролировать ход экзамена). Следить за онлайн-экзаменом в реальном времени по веб-камере может специалист (очный прокторинг) или же программа, которая контролирует рабочий стол испытуемого, количество лиц в кадре, посторонние звуки и голоса. В НИУ ВШЭ прокторинг используется в различных видах аттестации, а этой весной из-за перехода на онлайн обучение многие контрольные мероприятия проводятся в формате синхронного и асинхронного прокторинга. В первом случае за ходом экзамена в режиме реального времени онлайн наблюдает сторонний проктор, во втором — система в автоматическом режиме отслеживает запрещённые действия.
В мае администрация Вышки вместе со Студсоветом собрала информацию у студентов, которым нужна поддержка университета. «Было получено около 300 запросов на помощь с различной техникой и от тех, кто уехал, и от тех, кто оставался в общежитиях, — говорит Павел Здоровцев, директор по развитию студенческого потенциала. — На текущий момент (22 мая — прим. HSE Press) они все удовлетворены. Также были неприятные кейсы, когда студенты отказывались получать технику. Они хотели проверить, действительно ли студентам, находящимся в регионах, оказывается материальная помощь по запросу. Студенты, обучающиеся на бюджете, имеют право на получение материальной помощи, компенсацию понесённых затрат с учётом ограничений по стоимости на камеры, гарнитуры, ноутбуки».
«Другого способа на ряде экзаменов обеспечить контроль за списыванием нет, — утверждает старший директор по основным образовательным программам Анна Коровко. — Эта компания (речь об «Экзамусе» — прим. HSE Press) сейчас с самым разработанным механизмом автоматического контроля за поведением студента. Это апробация методики, которая дальше будет с нами, потому что мы меняем образовательную модель, потому что мы иначе будем подходить к построению учебных траекторий студентов. Если вы не в состоянии сейчас осваивать программу в силу условий — напишите заявление об этом. Это будет считаться, как пропуск по уважительной причине. Уметь собраться и выполнить задание в тех условиях, которые нам предлагают, — тоже важный навык».
В целом, по словам Здоровцева и Коровко, администрация предлагает обсуждать возникающие проблемы, чтобы не возникало чувства напряжения и неразрешенных конфликтов, и все вопросы решались более эффективно и конструктивно.
Об эмоциях при сдаче экзаменов
Новый формат сдачи экзаменов может принести дополнительный стресс студентам и ухудшить их результаты — об этом также говорилось и на заседании Студсовета 22 мая. Мы поинтересовались, насколько морально сложнее стало сдавать экзамены, и взяли интервью у студента четвёртого курса МИЭФ:
«К четвёртому курсу к экзаменам относишься уже более-менее спокойно, но в связи с эпидемиологической обстановкой я надеялся, что нам пойдут на встречу — и мы сможем с задержкой сдавать экзамены очно. Поэтому, когда объявили, что всё пройдёт онлайн, определенный страх неизвестности был. Но всё, чего опасался — прерывания связи и прочие проблемы — обошло меня стороной. Были сложности, но администрация помогла всё урегулировать.
С одной стороны, на дистанционных экзаменах ты находишься у себя дома, а, как известно, «дома и стены помогают». С другой стороны, в голову постоянно лезут мысли о том, чтобы никто по ошибке не зашёл в твою комнату во время экзамена. Я не был в восторге, когда узнал, что «Экзамус»— программа, которая сканирует весь компьютер. По-моему, с помощью неё могут получить доступ к личным данным пользователя. Плюс ко всему основной компьютер, который у меня был, — рабочий, и никакая система безопасности не позволит писать экзамен без сбоев.
Всем, кто будет сдавать онлайн-экзамены, советую постараться абстрагироваться от внешних обстоятельств и сконцентрироваться на задании. Лишние нервы к хорошему никогда не приведут».
Помимо стресса, вызванного новизной формата, студенты рассказывают о многочисленных технических неполадках. О них студенты должны сообщать по электронному адресу, который указан в инструкции к экзамену.
«Скорость реагирования на первом экзамене оставляла желать лучшего: на моё обращение администрация ответила спустя 30 минут, когда я сам во всём разобрался. Хотя на остальных экзаменах реакция была практически мгновенной — не больше пяти минут».
О проблемах с системой
На прошлой неделе Вышка провела ещё несколько контрольных в «Экзамусе». На одной из них студенты часами ждали, пока система выдаст им задания, а некоторые студенты так и не смогли к ним приступить. Ещё одну контрольную на ФКН перенесли в конференцию Zoom из-за того, что десятки студентов не смогли войти в «Экзамус». Прокторинг на этой работе отменили для всего потока.
Мы уже писали о сбоях в работе системы. Вот, что о них говорят студенты:
«Первый экзамен — Investment Management — был в неудобном формате. Вместо классического письменного формата мы были вынуждены заполнять Google документ, что сильно снизило скорость выполнения заданий. Более того, на первом экзамене я не мог получить доступ к заданиям 20 минут, и вместо отведенных 60 минут у меня было 40.
Второй экзамен — Corporate Finance — проходил в другом формате: давалось 120 минут на выполнение заданий и 15 минут на сканирование работы с помощью телефона. По сути никаких проблем не возникло и экзамен был написан в штатном режиме.
Третьим экзаменом была Industrial Economics. На нём возникли трудности с предварительной проверкой — через привычный мне браузер Google Chrome не удавалось активизировать трансляцию экрана, но поддержка быстро отреагировала на мою проблему. После замены браузера трансляция заработала. Однако мои «приключения» с «Экзамусом» на этом не закончились. Во время экзамена программа три раза «вылетала», приходилось настраивать всё заново. После третьего раза и обращения к администрации факультета меня переключили на Zoom. Мне дали дополнительные 10 минут и позволили дописать экзамен в свободной форме. Предварительно администраторы попросили меня показать паспорт и рабочий стол.
Четвёртый экзамен — Quantitative Finance —прошёл без всяких проблем.
На последнем экзамене — Microeconomics — в задании была некорректная формулировка. После того, как я написал в поддержку, меня переключили на преподавателя, и он разъяснил суть задания. Больше неполадок и проблем с формулировками не было».
Студенты также упоминают «небольшие потери», которые они понесли при сдаче экзаменов в новом формате.
«Я думаю, что, если бы экзамен был в очной форме, на каждом экзамене я набрал бы в среднем на 5-10% больше, чем на онлайн-экзамене. В первую очередь это связано с тем, что, загружая файл в систему, ты много раз перепроверяешь, ничего ли не перепутал. Плюс дополнительные правила о проведении экзамена не облегчают его сдачу, а только добавляют нервозности. Эти 5-10% ушли на волнение и на то, чтобы связаться с администрацией».
Несмотря на то, что некоторые студенты находятся дома, где шумят маленькие дети, администрация относится с пониманием к случаям, когда невозможно избавиться от посторонних шумов:
«Во время второго экзамена в моем доме были маленькие дети, поэтому я не мог избавиться от посторонних звуков. Я объяснил это администрации, там отнеслись с пониманием и пошли мне навстречу».
После того, как студенты справились с техническими трудностями и написали экзамен, их может ждать дополнительное «собеседование», если в ходе экзамена прокторы зафиксировали спорные по их мнению ситуации — например, отведение взгляда от экрана дольше чем на 15 секунд.
«Был ещё момент, когда во время экзамена у меня зазвонил телефон, он лежал не рядом со мной, поэтому, сказав об этом наблюдателю, я спокойно взял телефон и отключил звонок, больше проблем не возникало».
Реакция студентов
21 мая студенты вместе с омбудсменом опубликовали открытое письмо, в котором высказывали свои опасения и выдвинули предложения о пересмотре требований при сдаче экзамена.
«Ознакомившись с ним, могу сказать, что если бы оно было составлено раньше, то я бы подписался! Использовать практику Лондонского университета в наших условиях, наверное, не получится, но и заниматься слежением за «каждым вздохом» тоже не стоит», — продолжает наш собеседник с МИЭФ.
Мнение Уполномоченного по правам студентов
Чтобы ответить на волнующие студентов вопросы, мы взяли интервью у уполномоченного по правам студентов НИУ ВШЭ Руслана Асланова.
— Как вы относитесь к данной системе в целом? Каковы, по-вашему, её преимущества и недостатки?
— Сам по себе прокторинг — это не плохо. В ограниченном применении он даже может быть эффективным, например, когда надо провести тест на семинаре или промежуточную контрольную. В тех условиях, когда оценка не имеет большого веса, а аудитория прокторинга невелика, он может помочь и студентам, и преподавателям. Но в настоящий момент ощущается чрезмерное использование этой системы, причём иногда оно выглядит довольно неестественным.
Ключевые минусы: множественные технические ограничения, довольно жёсткие требования к студенту, как следствие, возможно психологическое напряжение.
— Какое ваше мнение об открытом письме за пересмотр решений по вопросу прокторинга? Помогают ли требования избежать списывания и других нарушений процедуры сдачи экзамена?
— Я участвовал в составлении письма, поэтому полностью поддерживаю его. Что касается списывания, то высокие требования не всегда могут от него защитить — виртуозы есть везде. Мне больше нравится идея создавать такие форматы заданий, при которых списывание невозможно в принципе. Задания должны требовать глубину подготовки и одновременно стимулировать креативный потенциал студента.
— С какими сложностями сталкиваются преподаватели при использовании прокторинга?
— Преподаватели не всегда уверены, что прокторинг — это панацея. Предполагается, что преподаватель имеет право от него отказаться. На практике далеко не все знают, как это сделать. Иногда преподаватели воспринимают прокторинг как указ сверху.
Если вы преподаватель и хотите отказаться от прокторинга, то сообщите об этом руководителю образовательной программы или декану. В крайнем случае напишите в Дирекцию основных образовательных программ.
— Студенты волнуются о технических неполадках и конфиденциальности информации. Что вы можете сказать об этом?
— Для многих это будет первый опыт прокторинга в жизни. Это уже само по себе заставляет нервничать, а если прибавить к этому условия экзамена, то может быть трудно избежать стресса. Возможно, всё не так драматично и страшно, как может показаться на первый взгляд, но мне кажется, что летняя сессия прибавит студенческому самоуправлению много кейсов. Радует, что администрация заявила о готовности работать по ним совместно.
— Будет ли система использоваться дальше?
— Мне кажется, многое зависит от результатов сессии. Если будут повсеместные сбои и трудности, значит, технология непригодна и использовать её нет смысла. Если все пройдёт хорошо, то она наверняка будет использоваться и дальше.
Не стоит забывать, что сейчас университет вынужден искать решения из-за внешних обстоятельств. Думаю, если прокторинг и сохранится в Вышке, то он не будет использоваться в таких масштабах, и найдёт ограниченное применение.
— Какие советы вы можете дать студентам для успешной сдачи экзамена?
— Сейчас важно не поддаваться панике и упадническим настроениям в изоляции. Очень советую не молчать о своих проблемах, а сообщать о них студенческим советам, администрации или лично мне.