Интервью с асессором Google. Часть I

Интервью с асессором Google. Часть I

Примерно с 2005 года Google используют большую фокус-группу пользователей со всего мира, которые помогают оценивать поисковые результаты и качество веб-страниц, получивших высокие позиции благодаря алгоритму поисковой системы.

Работающие в рамках этой программы пользователи называются асессорами (оценщиками качества).

Впервые Google начал приглашать асессоров в конце 2004 года, но на сегодняшний день они по сути работают не на саму компанию, а через сторонние кадровые агентства, такие как Lionbridge, Leapforce, Butler Hill и, вероятно, другие. Согласно информации Lionbridge (Internet Assessors Program job page), только эта компания нанимает более 4.5 тысяч асессоров в разных странах мира. На сайте Leapforce найти подобную информацию не удалось, зато там можно узнать, что асессоры имеют еще и различные специализации: “Search Engine Evaluator” (оценщик поисковой системы), “Social Search Engine Evaluator”(оценщик социального поиска) и “Search Quality Judge” (оценщик качества поиска).

Работа асессоров стала более понятной общественности после нескольких инцидентов, когда инструкции для асессоров оказывались в открытом доступе в сети (это произошло в марте 2008 и в октябре 2011). Кроме того, вебмастера замечали, что асессоры заходят с особых страниц, которые отображаются в статистике переходов (вида https://www.google.com/evaluation/search/rating/task-edit?task=XXXXXX).

После публикации осенью 2011 в блоге SEO-эксперта Дженнифер Ледбеттер (Jennifer Ledbetter) инструкции для асессоров один действующий оценщик связался с редакцией  Search Engine Land и пожелал прояснить некоторые моменты, касающиеся данной программы Google. После продолжительной переписки по электронной почте с этим асессором, который, как выяснилось, работает через компанию Lionbridge и в то же время является сотрудником одного из агентств поискового маркетинга в США, было получено длинное и подробное интервью (см.ниже).

Чтобы убедиться в том, что этот человек действительно действующий асессор, его попросили прислать несколько скриншотов с того сайта, на котором ведется работа. Некоторые из них вставлены в интервью, а вот как выглядит главная страница с задачами:

Далее речь пойдет о процессе найма сотрудников, о том, на что асессоры обращают внимание, проверяя сайты, а также будут раскрыты детали различных задач и пр.

Вопросы и ответы с асессором Google

SEL (SearchEngineLand): Расскажите, как, когда и почему вы начали работать асессором?

Асессор: впервые я начал работать через Lionbridge в мае 2011. Я искал работу, потому что мой текущий работодатель заявил, что снижает зарплату, поэтому мне понадобился дополнительный заработок. Я начал искать все нормальные предложения о работе и нашел одно на Craigslist – асессором. Это звучало здорово, поэтому я отправил резюме, и они ответили на следующий день, заявив, что очень рады взять меня на работу и что если я пройду несколько простых тестов, это место мое. Это была самая простая часть пути.

В объявлении упоминалось, что работа именно на Google?

Нет, в нем ничего не было сказано о Google, но когда они со мной связались, признали, что работа будет связана с поисковиком.

Значит, вы понимали, что это связано с Google. А на каком этапе вы узнали, что это будет именно оценка поисковых результатов?

Да еще прежде чем меня приняли на работу.

SEO-сообщество никак не может понять, что эта программа не имеет ничего общего с SEO или позициями. Эта программа всего лишь помогает Google улучшить алгоритм. Например, задания со сравнением показывают текущие результаты рядом с результатами работы нового алгоритма. Google нанимает асессоров оценить, насколько поисковику удается выдавать лучшие источники информации для каждого запроса.

Давайте поговорим о процессе найма на работу. Вы проходили какие-то тесты. Сложные?

У меня было 6 дней на прохождение двух частей тестирования, вторая часть была предложена после того как я успешно сдал первую.

Тестирование состояло из 24 вопросов, а также письменного ответа на теоретические вопросы, основанные на информации в PDF, который мне прислали ранее. Вопросы были составлены так, чтобы проверить мою способность принять заданные правила и применять их к ситуациям, которые не были рассмотрены в PDF. Один из вопросов, который я припоминаю, был о том, что нужно делать, если сайт не показывает никаких явных признаков спама, но у меня возникло ощущение, что он спамерский. Это было самое сложное задание.

Только после прохождения этого тестирования я получил практические задания, состоявшие из более 140 вопросов. Этот тест состоял из настоящих результатов поиска, которые мне предстояло оценить. Чтобы получить работу, я должен был показать более 90% правильных вариантов в каждой из четырех категорий оценки сайтов (витальный, полезный, релевантный и нетематичный или бесполезный).

Какие были вопросы?

Ну например, был такой:

Запрос [crispycream], английский язык (США)
URL: http://www.treblebooster.com/

Мне нужно было зайти на страницу – и я это хотел бы подчеркнуть, потому что некоторые блогеры писали, что асессоры могут оценивать страницы, не заходя на них – и решить, подходит ли она к данному запросу и затем присвоить ей оценку. Это, конечно, отдается на откуп асессору, но правильной оценкой в данном случае будет «полезный» из-за написания слов. Если бы пользователь набрал “Krispy Kreme” (название сети пирожковых), тогда эта страница была бы нетематичной, потому что запрос именно “crispy cream”, на этой странице так называются гитары. И таких заданий еще 143.

Вы общаетесь с кем-нибудь из самого Google или все решается через Lionbridge?

Никаких контактов с Google у меня не бывает, только Lionbridge.

После начала работы вы проходите еще какое-то обучение?

После приема на работу я прослушал двухчасовой вебинар и прошел тренировочные задания. Это были очень напряженные тренировки. В первые четыре недели мне приходилось комментировать каждую поставленную оценку. Затем эти комментарии рассматривались и получали оценку (фидбек).

На каком этапе вы получили руководство для асессоров?

Я получил его когда был принят на работу. Это, по сути, просто список задач, которые мы выполняем, получая для каждой примеры того, как это следует делать.

Как Lionbridge (или Google) описывают данное руководство?

Они называют это не руководством, а рекомендациями. Раз уж мы заговорили о рекомендациях, хочу поделиться тем, что меня очень впечатлило. Оказывается, каждый сайт рассматривает не один асессор. Я думаю (я не уверен, но сужу по комментариям других асессоров), что каждое задание выполняет примерно 6 человек. Если я оцениваю что-то как полезный результат, а мой коллега – как нетематичный, мы можем прийти к общему решению (через комментарии и обсуждение), прежде чем оценка будет дана окончательно.

Сколько вы зарабатываете и как часто получаете зарплату?

Я получаю $14.50 в час, оплата раз в месяц. Я могу работать максимум 20 часов в неделю, то есть 80 часов в месяц.

В одной из недавних публикаций об асессорах сказано, что вы можете работать только год, после чего необходимо сделать перерыв минимум на три месяца, прежде чем вы сможете снова подать свое резюме. Это правда?

Я знаю, что есть такая версия, однако все, с кем я общался, говорят, что если они справляются с работой по количеству часов и качеству, им позволяют работать и дольше.

Часы работы полностью на ваш выбор или все же есть какие-то установленные часы?

Я сам распределяю свои рабочие часы. Поскольку я могу работать не меньше 10 и не больше 20 часов, я отлично вписываюсь в их требования. Они очень строгие, но позволяют вам восполнить часы, если вы их пропустили. То есть если на первой неделе я отработал только 4 часа, я могу на следующей отработать 16 часов. И все же в неделю разрешено работать максимум 20 часов, поэтому если я пропущу больше, я не смогу их восполнить на следующей неделе.

Также они весьма строго следят за нашей продуктивностью. Есть определенное количество задач, которые должны выполняться каждую минуту, зависит это от типа задачи. Если я не справляюсь с этими нормативами, они накладывают временный запрет на работу и я прохожу что-то вроде стажировки. Если качество работы после этого не повышается, меня увольняют. Это очень четко контролируемая сфера работы.

Вы говорите, что вас могут уволить, если качество работы недостаточно высокое. А как же вы понимаете, что хорошо справляетесь? Мне кажется, в большинстве случаев оценка поисковых результатов весьма субъективна.

Результаты действительно оцениваются субъективно, но у них есть центр качества, который показывает прогресс каждого асессора с течением времени. Они отслеживают, сколько у вас было возвращенных результатов, насколько много времени уходит на работу с проблемной выдачей и т.д. И хотя оценка остается на моей совести, она должна быть похожей на ту, которую дали другие асессоры. Так что они проверяют время выполнения задач и количество возвращенных задач.

Они возвращают вам задания – что это значит?

Это значит, что по данной выдаче были разногласия между асессорами и вам нужно снова оценить ее и сойтись с коллегами по мнении.

То есть оценка поисковых результатов – это групповой проект. И сложно достигается согласие?

Иногда с другими асессорами довольно сложно согласиться, особенно если они не читали рекомендации как следует или только начинают работать. Однако после многочисленных обсуждений приходит модератор и выбирает лучшую (самую правильную) оценку. Этот модератор читает наши комментарии и делает из этого выводы о нашей работе.

И часто это происходит на вашей практике?

Не очень часто. Обычно если вы приводите аргументы, почему дали именно такую оценку, другие асессоры с вами соглашаются. Чаще всего такие разногласия возникают, когда встречается что-то не совсем релевантное или нетематичное. Иногда кто-то считает спамом страницу, которая таковой не является или еще что-нибудь. На моей практике модератору пришлось вмешаться всего раз.

Что вы знаете о модераторах? Они работники Lionbridge?

Да, они тоже работают на Lionbridge. Насколько мне известно, это бывшие асессоры, которые были повышены в должности.

Вы оцениваете только органическую выдачу или целевые страницы для контекстной рекламы тоже?

Мы рассматриваем все типы страниц в интернете. Большинство из них органические результаты, но некоторые задания направлены на оценку рекламной тематики.

Рассматриваете ли вы результаты поиска Google Places и другие вертикали универсального поиска, например, Новости или Видео?

Конечно. Я могу вспомнить множество задач, когда были показаны карты, которые пользователь рассматривал прежде чем сделать запрос, и тогда мы должны оценивать результаты поиска с учетом этой карты. Еще мы оцениваем новости – насколько они актуальны, насколько релевантны запросу и идут ли они с авторитетного источника. Что касается видео, нам приходится просматривать ролики, чтобы определить, подходят ли они к  запросу и выставить одну из оценок степени релевантности/полезности.

Вот эта часть про Карты очень интересная. Значит, выполняя задание, вы должны представить себя в разгаре некоего процесса – вы не просто выполняете задание, связанное с отдельно взятыми запросами, а иногда учитываете, что происходило до запроса? Это касается и других типов запросов тоже?

Почти все задачи так или иначе связаны с поведением пользователя. Даже если это обычные запросы, нам нужно учитывать язык пользователя и регион, прежде чем оценивать результаты поиска. То есть мы не ищем страницу, которая релевантна запросу, а ищем страницу, которую пользователь посчитал бы полезной. Запросы, связанные с Картами (мы называем их локализованными запросами) – это единственные, для которых нам дается информация о том, что пользователь искал до этого, но все равно мы должны держать в уме, чего ожидает пользователь от выдачи для каждого типа запросов. Например, если кто-то находится в Сиэтле и набирает запрос «погода», страница про погоду во Флориде будет вряд ли релевантной.  

Продолжение перевода последует в ближайшее время

Перевод Анастасии Гутниковой, SEOpro.ru


ОБСУДИТЬ:

Комментарии


Rambler's Top100