Как установить минимальный проходной балл для квалификационного теста?

Question

Я хочу создать квалификационный тест, используя интерфейс командной строки AMT. В этом тесте будут использоваться только те типы вопросов, которые могут автоматически оцениваться AMT. Я могу установить индивидуальный балл для каждого вопроса, но не могу найти документацию о том, как установить минимальный проходной балл для теста. Например, если работник получил оценку ниже 80, я бы хотел, чтобы он не прошел тест. Если они набрали более 80 баллов, я бы хотел, чтобы они сдали тест.

Answer 1

Квалификационный тест не работает, как пройти / не сдать. Он присваивает QualificationScore. Вы можете использовать QualificationValueMapping в AnswerKey, чтобы перевести тестовый балл в определенный набор квалификационных баллов (см. http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html). Элемент pass / fail должен быть частью вашего QualificationRequirement для определенного HIT - то есть, "pass" должен означать оценку выше порогового значения QualificationRequirement, а ошибка должна быть ниже. Затем сопоставление позволит вам перевести итоговые баллы, например, в значения выше и ниже порога требования.