Кодеры для типа в наборе данных

Question

Я работаю над переносом кода Spark с версии 1.6 на 2.3 в хранилище на основе scala и сталкиваюсь с ошибками, такими как "Невозможно найти кодировщик для типа, хранящегося в наборе данных". всякий раз, когда я выполняю map через DataFrame, Я видел предложенные решения, где я могу иметь import sparkSession.implicits._ который предоставляет базовые кодеры для примитивных типов. Это работает для меня, но у меня есть несколько дополнительных вопросов:

1. Разве это не сложно масштабировать? Этот подход кажется мне утомительным, чтобы всегда включать импорт в класс / объект, который выполняет map через DataFrame, Есть ли более простое решение для этого?
2. Как вы создаете пользовательские кодеры для типов, которые не рассматриваются в sparkSession.implicits._?