Создать семантический хэш-код из оптимизированного плана spark sql
В моем случае я использую кеширование с поддержкой Spark SQL. Мне нужно кешировать результаты SQL против оптимизированного плана для запроса. Теперь проблема заключается в том, что всякий раз, когда я анализирую SQL с помощью искрового парсера, сгенерированный план дает другой хэш-код. Из-за этого я не могу использовать план как ключ кеша.
Есть ли способ, с помощью которого я могу создать семантический хэш-код из логического плана, который не зависит от идентификатора выражения и других косметических вещей в плане. Хеш-код не обязательно должен быть очень сложным, но, по крайней мере, кое-что, что поможет мне использовать план в качестве ключа кеша.
Я использую спарк 1.6 и версию спарк 2.1.