Конечная точка разработки AWS Glue не работает должным образом
Я пытаюсь использовать конечную точку разработки для интерактивного запуска и редактирования сценариев ETL, но, похоже, возникают некоторые проблемы в конечной точке разработки сразу после ее создания, поскольку я получаю ошибки в scala /python REPL, а также не могу создать туннель SSH для удаленного интерпретатора. Позвольте мне объяснить, что именно я сделал - я создал конечную точку разработки в консоли AWS со всеми конфигурациями по умолчанию. При создании конечной точки разработки я предоставил только три вещи: "Имя конечной точки разработки", "Роль IAM" и свой "pub ssh key". Так выглядит после создания
Затем сразу после создания конечной точки я подключаюсь к REPL spark / python, я могу успешно подключиться к ним, но в течение нескольких минут после подключения REPL начинает выдавать ошибки без написания ни одной строчки кода. Это происходит во всех REPL, присутствующих в конечных точках разработки.
Также, когда я пытаюсь выполнить SSH-туннелирование к удаленному интерпретатору для подключения моего локального ноутбука Zeppelin, он выдает - "привязка: невозможно назначить запрошенный адрес".
Пара вещей, которые работают, хотя -
- Возможность использовать ssh для конечной точки.
- Создал ноутбук Sagemaker на клею AWS, который прикреплен к этой конечной точке разработки, и этот ноутбук, похоже, работает нормально, хотя, безусловно, это требует дополнительных затрат, и я не хочу продолжать его использовать.
Может ли кто-нибудь помочь, что я делаю не так? Пропускаю ли я какие-либо важные шаги, которые необходимо выполнить на машине сразу после создания конечной точки разработки?
Заранее спасибо!
1 ответ
Не очень уверен в этой ошибке, но если вы используете меньшие наборы данных, то, вероятно, вы захотите использовать реализацию Docker, поскольку она не добавит никаких дополнительных затрат, и вы можете продолжить свои разработки.
Вы можете сослаться на этот блог, чтобы узнать, как его настроить
https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1