Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторингаСервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
- Подмена респондента. Программа отличит одного человека от другого, основываясь на изначальном фото в профиле, и сообщит о подмене. В спорных случаях организатор может обратиться к видеозаписи.
- Списывание с электронных или физических носителей. Программа «замечает» отсутствие человека в кадре. Более того, система отслеживает направление взгляда человека, следя за тем, чтобы фокус не изменялся. Также фиксируются попытки смены активного приложения и вкладок браузера.
- Подсказки. Технология отслеживает фоновые шумы и присутствие постороннего человека в кадре.
- Кража контента. Попытки скопировать и сохранить задания теста блокируются.
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
- предупредит респондента о выявленном нарушении и позволит продолжить работу;
- сразу же завершит тестирование;
- автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор- Настройка сеанса. На этом, самом первом этапе, организатор определяет, что будет разрешено, а что запрещено. Например, пользоваться калькулятором можно, а использовать поисковые системы нельзя. Отмечает, нужна ли верификация личности или нет.
- Проверка оборудования. Перед началом тестирования сервис проверяет, работает ли у респондента камера, микрофон, достаточна ли пропускная способность интернет-соединения.
- Непосредственный контроль: отслеживание показателей достоверности. Специально обученный алгоритм или проктор (человек, наблюдатель), либо они совместно отслеживают параметры, определенные настройками.
- Формирование заключения. Этот этап может выполняться по двум сценариям: синхронный и асинхронный прокторинг:
- Синхронный прокторинг — заключение формируется в режиме реального времени. Как правило, получение итоговой оценки занимает не более 5 минут с момента окончания процедуры. Синхронный процесс может проводиться как в автоматическом режиме, когда оценку выносит алгоритм, так и с реальным человеком — проктором, наблюдающим за действиями респондентов со своего рабочего места.
- Асинхронный прокторинг — заключение формируется через какое-то время после завершения процедуры. Эта «задержка», время, за которое должен быть оценен сеанс, фиксируется в договоре. Обычно в этом случае речь идет о ручной работе проктора.
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
- респондента должно быть хорошо видно;
- он должен находиться в кадре один;
- в помещении должно быть тихо (без посторонних звуков и шумов);
- сеанс не должен прерываться на длительное время;
- нельзя пользоваться сторонними материалами на физическом или электронном носителе (книги, справочники, поисковики и т.д.).
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Источник - https://oqylyq.kz
Вступите в группу, и вы сможете просматривать изображения в полном размере
|
Это интересно
0
|
|||
Комментарии временно отключены