Тест Яндекса с прокторингом – те же яйца, только в профиль?

Вчера в социальных сетях я выложил сообщение, в котором написал о возможности приобретения ответов на тесты Яндекса. Часть людей открыто выразило свое недовольство в связи с тем, что такими действиями я «занимаюсь увеличением числа неквалифицированных специалистов». Другие, напротив, стали интересоваться, сколько стоит, как пройти и т.д.

В этом сообщении я постараюсь максимально подробно донести свою точку зрения и показать, что абсолютно любой человек может «взломать тест» и пройти по ответам, как и раньше, а сами тесты Яндекса (да и в принципе все тесты, не только с прокторингом) направлены на буквоедство, заучивание справки, а не умение принимать решения и находить подходы.

Итак, поехали. Все началось в 2017 году, когда мне в агентстве также, как и всем дали задание пройти экзамены Яндекса и Google. 6 экзаменов по Google по 1,5 часа, 2 экзамена от Яндекса по 60 минут. Итого - 11 часов чистого времени "для галочки" и руководителя + подготовка. Что в этом случае делает человек, который ценит свое время? Верно, начинает искать оптимальное решение. И оно оказалось простым - загуглить ответы в сети. Почему? Потому что собственного желания проходить экзамены у меня не было. Оно было навеяно искусственно, извне, руководителем. А это совершенно разные вещи, разная мотивация и степень ответственности. На первый план вступает вопрос ценности. Тратить 11 часов (да еще и в выходные!) ради "потешить свое эго" я не был готов.

К сожалению, на тот момент в интернете в открытом доступе висели ответы очень плохого качества, и экзамены сдавались через раз. В 2017 году я уже вел свой блог, поэтому для привлечения людей по органическому поиску я решил собрать все вопросы и выложить их в своем блоге. Сразу понял, что это актуальная тема и так я смогу продвинуть свой блог вверх по этим запросам. В своих публикациях "Моему блогу 1 год. Что было сделано за это время" и "Моему блогу 2 года" я подробно описал, какие материалы вызывают у людей наибольший интерес. И ответы по сертификации – это всегда ТОП. Каждый месяц с большим отрывом…

Потратив несколько недель на сбор всех вопросов с вариантами ответов по всем экзаменам, я выложил их в сеть. Зачем? Чтобы люди имели доступ к информации, смогли сэкономить себе время и подготовиться, потому что 90% маркетологов, также, как и я, не имеют собственной мотивации сдать и похвастаться заветной бумажкой. В большинстве случаев она нужна в агентстве как подтверждение количества сертифицированных специалистов. У них точно такая же ситуация, как и у меня. Ценность сводится к 0.

Вспомните, когда ваши клиенты в последний раз у вас спрашивали наличие сертификатов? За 3,5 года я в качестве фрилансера и сотрудника агентства работал с 80+ проектами. Как думаете, сколько интересовались сертификатами? 0! Для клиента важен опыт, желательно в той же тематике, что и его проект, а также коммуникация и оперативное выполнение поставленных задач, а не № сертификата и срок его действия. Похвалиться на лендинге? Добавить в портфолио на фрилансе? Ну если только для этого.

Возвращаемся к истории. Я собрал все в одном месте, выложил их в свободном доступе. Люди стали писать в ЛС с вопросами о покупке. И вот тогда я подумал: а почему нет? Монетизация хобби – это здорово! Да еще и доход пассивный. За несколько недель я на сайте установил интернет-эквайринг от Яндекс.Кассы (да, продавать ответы Яндекса через Яндекс.Кассу – верх цинизма!) и стал распространять. Сначала заказов было не так много, но уже через несколько месяцев, в момент обновления вопросов, произошел резкий скачок.

Скриншот ниже – ответ тем, кто спрашивает, зачем создавать схожие темы. Почти все 100% трафика идет ко мне, а каждый маркетолог, даже тот, кто не следит за моими статьями по Analytics, Метрике, GTM, но хочет сдать экзамен, попадает на мой сайт.

Если Google все равно, что происходит в России и как сдают экзамены (вопросы обновляются изредка, переводятся с основного англоязычного теста), то Яндекс старался из года в год улучшать свои продукты. И первым звоночком стало письмо от официального представителя, в котором они попросили удалить вопросы:

Это был сентябрь 2018 года. Я послушался и удалил. Потом мне писали еще раз, летом 2019 года. Еще через некоторое время Яндекс запретил в браузере копировать вопросы, тем самым усложнил копипаст некоторым маркетологам, которые покупали ответы.

Примечание: кто не знает, есть специальные расширения для браузеров, которые позволяют обходить эту блокировку.

К слову, запрет от копирования Яндекс ввел всего лишь через несколько дней после того, как один из экзаменов по Директу (60 вопросов, 60 минут) я сдал за 4,5 минуты (совпадение? Не думаю). Это достаточно быстро. Не каждый успеет просто прочитать 60 вопросов и понять их, не говоря уже о полной сдаче. Ответы и память (на автомате) решают!

В тот же период, когда пришло уведомление от Яндекса, компания делает анонс нового теста с прокторингом. Наводит много шума, страха – веб-камера, микрофон, никого в кадре, тихо сидеть всем в комнате, паспортные данные, выдавать будут по ручной модерации и т.д. Уууууу! Страшно стало даже мне. Думал, лавочка накрылась. Оказалось, нет.

Несколько часов назад я посадил за компьютер свою жену Анастасию, которая имеет самое отдаленное представление о Яндекс.Директе, прокторинге и интернет-маркетинге. Она впервые в жизни проходила экзамен, никогда к нему не готовилась. И, о чудо! Она сдала! Сидела, отвечала на вопросы, смотрела в камеру, отправила селфи и паспортные данные.

И ей выдали сертификат. Можете проверить по ссылке и убедиться сами (№176230): https://yandex.ru/adv/expert/certificates

Теперь, по логике тех, кто положительно относится к сертификации, она как специалист стала ценнее на рынке труда? Она настроит вам лучше рекламу? Вы заработаете с моей женой больше денег, чем со мной? У меня вот сертификатов личных нет. Тогда рекомендую как специалиста, напишите ей в личные сообщения с просьбой настроить рекламу Яндекс.Директ. (шутка)

Однако даже те, кто ЗА такую сертификацию, понимают, что выводы абсурдные.

Почему я говорю, что ничего не поменялось в тесте с прокторингом?

Потому что также можно насоздавать кучу почт и собрать все вопросы с вариантами ответов, потренироваться на левых аккаунтах. На этапе подтверждения личности найти селфи-фото в картинках Яндекса, и также паспортные данные, скачать их к себе на мобильный, а потом просто с телефона поднести к камере.

Аналогично с паспортом. Скачиваете чужой, сохраняете на телефон и подносите к веб-камере.

Так я собрал все вопросы, ответы на которые я продаю. За день до 6 раз проходил, больше надоедало. Речи о том, что таким образом можно пройти тест с прокторингом, не идет, поскольку сотрудники Яндекса в ручном режиме могут проверить, как вы сидели, как вы фотографировались и т.д. А тут получится, что вы выверяли кадр с телефона. Скорее всего, вам аннулируют результат. Но чтобы просто зайти и посмотреть, что это за экзамен – метод рабочий.

Во время самого экзамена я не светился своим лицом, просто сел сбоку, а сами вопросы фотографировал на телефон. Система предупреждала меня, что экзамен не будет засчитан, если вы не сядете в область, которая обозначена на видео. Если вы ослушаетесь, все равно сможете до конца дойти и просмотреть все 60 вопросов.

Моя жена сдавала как полагается: села, сделала селфи, потом взяла паспорт, сфотографировалась, дальше прислушивалась к подсказкам системы и всегда находилась в области видимости камеры. Никакие ответы на компьютере она открыть не могла (экран записывался и Яндекс имеет к нему доступ на протяжении всего экзамена), на ухо я не сидел и не шептал ей. Так как же она сдала?

Тот, кто ищет, всегда найдет. И я нашел как минимум 3 варианта обхода этой системы для успешной сдачи экзамена с прокторингом + 1 классический.

Способ №1. Удаленный доступ к компьютеру (2 человека)

Я использовал DeskRoll. На компьютере экзаменуемого ставится программа, а на сайте deskroll.com на собственном компьютере во вкладке браузера получаем к нему полный доступ. Мышкой управляете вы, можете заходить в справку Яндекс, гуглить, ответы на своем компьютере, искать, а потом возвращаться к компьютеру экзаменуемого и отвечать за него. Прелесть в том, что тот, кто сдает экзамен, просто сидит и задумчиво водит мышкой по экрану монитора, пока его напарник ищет ответ на вопрос на своем компьютере. Именно так прошла тест с прокторингом моя жена Анастасия – просто сидела, в то время как я удаленно управлял ее компьютером. Экран открыт, по вкладкам не перемещается, на веб-камере всегда ее лицо. Итог – пройденный тест и сертификат!

• Плюсы: экзаменуемый ничего не делает, просто сидит, экзамен проходит сторонний человек, может даже удаленно;
• Минусы: не все программы (тот же TeamViewer) для удаленного доступа подойдут. Поскольку идет полная запись экрана, любая иконка, панель стороннего приложения выдаст вас.

Способ №2. Стриминг + iPad/iPhone (2 человека)

Идея очень простая. Под экран ноутбука, на котором сдается тест, ставится iPad или любое другое устройство, в котором идет трансляция экрана монитора человека с другого компьютера. Самое простое – создать стриминг на YouTube с помощью программы (например, OBS), а далее запустить эту трансляцию на самом iPad.

В этом способе участвуют двое: экзаменуемый, который сидит и ждет, пока его напарник (который сидит рядом, но не попадает в камеру) найдет ответ в файле. Как только это происходит, экран напарника транслируется на iPad, который стоит прям перед экраном экзаменуемого. Все, что остается сделать, это прочитать верный вариант и ответить также на своем экране.

• Плюсы: экзаменуемый не отводит глаз от экрана, он сам отвечает на вопросы, реалистично водит мышкой;
• Минусы: задержка на YouTube составляет 30 сек. Поэтому для таких целей можно использовать любой другой сервис проведения онлайн-трансляций.

Способ №3. Заранее подготовленная запись (1 человек)

Тут посложнее, но тоже реализуемо. Вам нужно заранее записать на экран свои действия – как вы делаете селфи, как показываете в камеру персональные данные, а потом некоторое время вдумчиво читаете вопросы и проходите экзамен. То есть, пройти один раз тестово, даже не надеясь что-то сдать с первого раза.

А вот второй раз, когда будете сдавать официально, перед веб-камерой поставить на штатив запись тестовой трансляции. В результате получится как-то так:

В этот момент вы можете залезать в соседний ноутбук и искать там ответы.

• Плюсы: сдаете один, не нужен напарник;
• Минусы: у вас не с первого раза получится подогнать запись под размер экрана. Но после определенной сноровки сможете сделать и это.

Способ №4. Классический (2 человека)

Способ заключается в простых жестах, командах, которые изначально известны обоим. Садится экзаменуемый и рядом его напарник. Напарника не должно быть видно в экране. У него есть ответы. Как только появляется вопрос, напарник ищет его в ответах, а далее с помощью заранее подготовленных опознавательных знаков (самый простой – это постукивание по ноге, 1 ответ – 1 раз, 4 ответ – 4 раза и т.д.), передает эту информацию экзаменуемому. Он просто отвечает.

UPD Способ №5. Вывод на экран стены (проектор)

Поскольку сертификация в большинстве случаев нужна сотрудникам компаний и агентств, а у них есть офисы и переговорки, то можно забронировать одну из них и транслировать ответы на одну из стен со второго ноутбука с помощью проектора.

И зачем все это?

Вот и я не знаю. Яндекс все банально свел к веб-камере. Соответственно, в той зоне, где нет видео, можно делать все, что угодно. Уверен, что свои варианты обхода прокторинга придумаете и вы.

А нужен ли тест с прокторингом?

1. Если бы вы прошли экзамен столько раз в своей жизни, сколько прошел его я (за 2 года более 200 раз, а за 1 день было аж 15), у вас бы уже «замылился» глаз на эти вопросы и их формулировки. Неоднозначные трактовки вопросов, много вопросов на выбор нескольких вариантов, которые написаны так, чтобы ввести в заблуждение, или которые не имеют единственно верного решения. Зачем они так делают? Да чтобы искусственно создать сложность прохождения. Вот в Google то же самое - нужно выбирать по несколько ответов. Но там даже переведенный тест с английского языка смотрится куда лучше и понятнее, чем тот, который составили представители российской компании.
2. Яндекс обновляет вопросы тогда, когда у него появляются новые продукты. Таким образом, через тест компания стимулирует людей разбираться в новых инструментах и использовать их в своей практике.

Раньше не было вопросов про чаты, теперь есть. Корректировки по погоде – ага. Но вы даже о ней могли не знать. А тут стали проходить тест и сразу сказали – «ВАУ! Надо разобраться!» Раньше было мало вопросов про смарт-баннеры, теперь получите. Ретаргетинг, динамические объявления, ДРФ, синонимы, Яндекс.Аудитории, автоматические стратегии, корректировки ставок, мастер отчетов и т.д. Все это хорошо. Но если сравнивать с тем же Google, то вопросы составлены в плоскости «какие крутые продукты Яндекса и как много всего они умеют», а не в плоскости «как Яндекс и его инструменты могут помочь рекламодателю». Кто проходил экзамены Google поймет, о чем я говорю.

3. Экзамен охватывает большое количество тем и функционала, который даже специалисты со стажем могут использовать в своей практике 1-2 раза. Много определений, на знание справки, сплошное буквоедство. Нас просят заучить или выбрать наугад, но не понять суть (см. пункт 1). Да и как это сделать, если даже не пишут где ошибся? Когда я учился в Бауманке, то все время сталкивался с огромным количеством формул, определений, теорем. Я никогда не запоминал их наизусть, потому что усвоил самый главный урок в своей жизни от преподавателя – высшее образование в университете закладывает основы поиска информации и умение ее применять на практике, а не зазубривание.

Если я не пользуюсь каким-то инструментарием, я не обязан хранить его в голове. Мне достаточно знать на какой странице книги и документации Яндекса есть это определение, формула, чтобы в нужный момент зайти туда и посмотреть. Именно поэтому все шаблонные методы оценки людей (ЕГЭ, ОГЭ, ПДД, и другие тесты) субъективны по своей природе. Вы можете блеснуть своим везением и угадать 80% из 100% всех тем в данный момент времени. Но это не заставит вас думать нестандартно и не позволит никогда оценить ваши знания достоверно. Более того, после того, как вы сдали тест, часть из этих тем вы основательно забудете, если, конечно, не будете использовать все эти инструменты в своей практике. А это невозможно (см. выше).

4. Яндекс – технологичная компания, гордость страны, размещена на IPO, а нанять корректора для редактирования собственных опечаток, орфографических ошибок в вопросах не может. Из года в год, из экзамена в экзамен одно и то же. Более того, 80% вопросов в тесте с прокторингом осталось прежними, изменились лишь имена персонажей (Михаил на Родион, Ростов на Хабаровск и т.д.), условия по корректировкам ставок и ключевые слова в соответствующем разделе теста.

От кого-то я слышал, что вопросы составляет робот. Ребят, вы шутите? =)

5. Яндекс с введением прокторинга заботится не о том, чтобы на рынке стало меньше «неквалифицированных специалистов», а преследует собственную цель, обучает нейронку и собирает персональные данные пользователей, пропагандируя тест с прокторингом как единственно верный и честный способ оценки маркетологов. На мой взгляд, это подмена понятий. И с помощью такой манипуляции компания совершенствует свои продукты.

Если бы они действительно заботились о кадрах, то сделали бы как в Facebook Blueprint. Прохождение тестов за деньги. Одна попытка – 50$. Тогда здесь я ничего уже противопоставить не смогу, пожму им виртуально руку, скажу: «Молодцы, Яндекс»!

И тогда свои теоретические навыки смогли бы подтвердить только те люди, кто действительно заинтересован в сертификации и проверке собственных знаний. Тогда такие специалисты точно будут отличаться от остальных, ведь они потратили не только время, но еще и деньги. И заслуживают быть отмеченными компанией и среди остальных.

Только вот платно его вряд ли кто-то будет проходить. Сразу вспоминаем, в какой стране мы живем. Даже те, кто открыто защищает ввод теста с прокторингом. Да и Яндекс вряд ли в таком случае соберет большое количество персональных данных, и хорошо обучит нейронку распознавать лица людей. Интересно, для какого проекта потом будут это использовать?

Вы можете потратить десятки и сотни часов на подготовку, пройти экзамены, сдать на 100% все темы, самоутвердиться, выложить пост в социальных сетях об успешной сдаче, получить порцию лайков. И? И на этом все. Вы, как специалист, стали только на N сертификатов ценнее, а не на X рублей дороже. А сколько потратили времени? Сопоставимо ли оно с тем количеством $, которое вы могли бы заработать за этот же период, или количеством новых проектов и задач, которые вы могли бы сделать? Не уверен.

6. Есть определенная группа людей, которая панически боится тестов. Вроде и специалист толковый, и вопросы понимает, и разбирается, а когда проходит тесты, везде ищет подвох, и из-за этого отвечает неверно, хотя изначально правильно рассуждал. Таких много, и ваш покорный слуга частично к ним относится. Да, в какой-то степени это можно назвать неуверенностью в себе. Но это лишь пример типа человека. И таких среди нашего сообщества много. Определенная часть людей не хотят проходить экзамены и по этим причинам тоже. Им проще купить ответы и не тратить свои нервы и силы. А введя веб-камеру, запись экрана, Яндекс демонстративно «машет им ручкой».

У каждого из нас (у меня, у вас) по жизни есть определенные ценности. Ценность экзаменов от Яндекса и его подхода в таком формате сейчас для меня равна 0. Но это вовсе не значит, что мое мнение через какой-то период времени не изменится. Вы можете согласиться с моей позицией, а можете остаться при своем мнении. И это ваше право. Но я против однобоких рассуждений относительно этого вопроса. Делаю что-то плохое? Смотря с какой стороны посмотреть.

С плохой стороны:

1. порчу рынок, воспитываю целое поколение «неквалифицированных» специалистов;
2. заставляю ответственного за тесты человека в Яндексе напрягаться и постоянно обновлять вопросы;
3. снижаю ценность сертификации.

С хорошей стороны:

1. даю людям выбор – игнорировать меня, скачать и подготовиться самому или купить;
2. ускоряю процесс сдачи экзамена;
3. экономлю десятки часов/$ маркетологам и агентствам;
4. помогаю продуктам Яндекса становиться технологичнее.

Как видите, плюсов больше, чем минусов. И то, минусы субъективные. А вот то, что я делаю продукты Яндекса технологичнее и экономлю вам время и деньги — это чистая правда.

Ответы на экзамены - одна из тем, которая вслух осуждается, а втихую используется. Даже теми, кто громче всех кричит об этом. Своими действиями я лишь показываю, что система несовершенна и что также, как и раньше, можно подготовиться, собрать вопросы, заучить, списать.  Ничего нового компания Яндекс по сравнению с прошлым тестом не придумала. Все те же яйца, только в профиль. Следующий шаг - идти по пути Facebook и вводить платные тесты. И я вот только ЗА такой вариант. А вы готовы к этому?

P.S. На этом тему экзаменов я закрываю, комментариев больше не даю