Показаны результаты квалификационных испытаний механических турок Amazon

Question

Я хочу настроить квалификационный тест Amazon mturk с возможностью представления работнику, какие вопросы они сделали неправильно.

Например:

Если они работают неправильно, отвечая на этот вопрос как "То же самое", я хотел бы отобразить другой экран, чтобы подсказать им, что они действительно допустили ошибку, и указать причины этого правильного ответа.

Я внимательно посмотрел на сайте документации Amazon, но безрезультатно. Я также знаю, что это возможно, потому что я сталкивался с квалификационными тестами с той же функциональностью, когда пытался сам пройти некоторые квалификационные тесты, особенно из CrowdSource.

Answer 1

Томас ответ правильный ответ. Вы не можете получить результаты QualificationTest в Amazon Mechanical Turk. Предложение Томаса о том, что Java-апплет является "обходным путем", является жизнеспособным, но может создать много сложностей для вас, создателя квалификации.

Если вы решите пойти по этому пути, вы захотите использовать Application тег, который задокументирован в QuestionForm тип вопроса. Вы можете увидеть больше об этом здесь: http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_QuestionFormDataStructureArticle.html

Это будет работать примерно так:

<Application>
  <JavaApplet>
    <AppletPath>http://tictactoe.amazon.com/applets/</AppletPath>
    <AppletFilename>GameViewer.class</AppletFilename>
    <Width>400</Width>
    <Height>300</Height>
    <ApplicationParameter>
      <Name>game_id<Name>
      <Value>01523</Value>
    </ApplicationParameter>
  </JavaApplet>
</Application> 

В качестве альтернативы вы можете подумать о создании HIT (по общему признанию, вам, вероятно, нужно предложить вознаграждение работникам, скажем, 0,01 доллара США) и попросить работников завершить это. Захватите тех, кто проходит ваш тест, и создайте квалификацию только для этих работников. Это даст вам полную функциональность HIT (HTML, IFRAME и т. Д.), И вы получите все результаты. Недостатком является то, что вам, скорее всего, придется заплатить работникам не менее 0,01 доллара США за прохождение квалификации, хотя это не является обязательным требованием (вы можете создать HIT и оценить его по 0,00 долларов США).