Как mapTo более эффективен, чем map в Scalding?

Question

Как mapTo более эффективен, чем map в Scalding?

Ссылка Scalding на Github ( https://github.com/twitter/scalding/wiki/Fields-based-API-Reference) гласит следующее:

MapTo эквивалентно отображению и затем проецированию на новые поля, но более эффективно. Таким образом, следующие две строки дают одинаковый результат:
pipe.mapTo(existingFields -> additionalFields){ ... } pipe.map(existingFields -> additionalFields){ ... }.project(additionalFields)

Мой вопрос:

Как mapTo более эффективно, чем map?

0

scala scalding

Источник

user1981865 05 сен '14 в 20:57

1 ответ

Решение

Другие вопросы по тегам scala scalding

user749588 05 сен '14 в 21:07 2014-09-05 21:07 · Accepted Answer · 2014-09-05 21:07

Поскольку вы указываете, какие поля остаются, нет необходимости сохранять поля, которые будут отбрасываться по пути при выполнении map операция.

В зависимости от количества отброшенных полей и объема данных, разница может быть очень заметной.