Возможно ли для задания "спарк" в bluemix увидеть список других процессов в операционной системе?
Общий подход для подключения к сторонним системам из spark заключается в предоставлении учетных данных для систем в качестве аргументов сценария spark. Однако это поднимает некоторые вопросы о безопасности. Например, посмотрите на этот вопрос. Bluemix spark-submit - Как обезопасить учетные данные, необходимые моей фляге Scala
Возможно ли для задания спарк, работающего в bluemix, увидеть список других процессов в операционной системе? Т.е. может ли задание запускать эквивалент ps -awx проверить процессы, запущенные на искровом кластере, и аргументы, которые были переданы этим процессам? Я предполагаю, что это была цель проекта, что это не должно быть возможно, но было бы хорошо проверить это.
1 ответ
Для службы Bluemix Apache Spark каждый предоставленный экземпляр службы Spark является арендатором. Каждый арендатор изолирован от всех остальных арендаторов. Задания Spark данного арендатора не могут получить доступ к файлам или памяти любого другого арендатора. Таким образом, даже если вы можете установить, скажем, идентификатор другого арендатора через списки процессов, вы не сможете использовать это; и ничто действительно личное не должно быть в любом таком аргументе. Соответствующая аналогия здесь заключается в том, что/etc/passwd легко читаемо, но знание идентификатора пользователя само по себе не открывает никаких дверей. то есть это не безопасность мраком; реальные вещи заблокированы.
Учитывая все это, я понимаю, что этот сервис будет еще больше изолироваться через контейнеризацию в ближайшем будущем.