Не удается запустить кластер Azure Databricks
Я новичок в MS Azure. Я пытаюсь загрузить Microsoft Academic Graph для различного анализа, но они не предлагают массовую загрузку структурированного набора данных. Внешние источники, такие как openacademicgraph, были бесполезны, поэтому я подумал, что могу попробовать загрузить данные через Azure.
К счастью, для этого были руководства - "Получите Microsoft Academic Graph в хранилище Azure - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-provisioning".
Я выполнил шаги, описанные в руководстве, чтобы создать учетную запись Azure для MAG, получив следующее письмо от Academic Knowledge API:
Добро пожаловать в предварительную версию распространения Microsoft Academic Graph (MAG) Azure Storage (AS). Обращаем ваше внимание, что этот дистрибутив находится на стадии бесплатного предварительного просмотра. Ценовая структура может быть изменена.
Хранилище Azure успешно настроено для получения обновлений MAG через фабрику данных Azure. Каждый набор данных MAG предоставляется в отдельный контейнер с именем "mag-yyyy-mm-dd". Набор данных 2020-02-14 был отправлен в хранилище Azure.
Поскольку MAG поставляется с лицензией ODC-BY, вам предоставляются права на добавление ценностей и распространение производных инструментов на основе условий лицензии на открытые данные, например, приписывание MAG в ваших продуктах, услугах или мероприятиях сообщества.
Каждый снимок MAG будет отображаться в вашем хранилище Azure как отдельный контейнер. В документации Microsoft Academic Graph вы можете найти образец для извлечения знаний из MAG для вашего приложения с помощью Azure Databricks. Также есть образец, использующий U-SQL, член аналитической платформы Azure Data Lake.
Мы также собрали отличные образцы аналитики и визуализации, которые мы использовали в нашем блоге WWW Conference Analytics. Мы надеемся, что это поможет ускорить процесс разработки и пробудить воображение!
Следующим шагом была "Настройка Azure Databricks для Microsoft Academic Graph - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks", за которой я следил. Мне удалось создать Azure Databricks для MAG (я понятия не имею, что это такое, поскольку я новичок в этом), но теперь я не могу запустить его.
Я получаю следующее сообщение об ошибке:
Сообщение
Кластер отключен. Причина: сбой при запуске облачного провайдера
При запуске рабочих узлов произошла ошибка облачного провайдера. См. Руководство Databricks для получения дополнительной информации.
Код ошибки Azure: OperationNotAllowed
Сообщение об ошибке Azure: операция не может быть завершена, так как она приводит к превышению утвержденной квоты на общее количество региональных ядер. Дополнительные сведения - Модель развертывания: диспетчер ресурсов, Расположение: centralus, Текущее ограничение: 4, Текущее использование: 4, Дополнительное требование: 4, (Минимальное) Требуемое новое ограничение: 8. Отправьте запрос на увеличение квоты на https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/~~~, указав параметры, перечисленные в разделе "Подробности", для успешного развертывания. Дополнительные сведения об ограничениях квот см. На https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests.
Я не знаю, что мне делать.
Превышена "общая квота региональных ядер", а не моя личная подписка и т. Д. Как мне попросить увеличить квоту для всего региона? Они говорят, что мне нужно подать заявку на большую квоту, чего нельзя сделать с помощью бесплатной пробной учетной записи, которую я создал в соответствии с руководством. Означает ли это, что инструкция неправильная, и я должен стать Pay-As-You-Go? "Current Usage: 4", но в данный момент я ничего не использую. Все, что у меня есть, - это хранилище Azure и кластер Databrick, которые не работают. Я повторно попытался запустить кластер, и во второй раз он был успешно запущен, но через пару минут был деактивирован с тем же сообщением об ошибке.
Я не собираюсь выполнять сложные запросы и прочее - это будет довольно дорого. Из-за плохого исследования и тому подобного, все, что я хочу получить, это набор данных, соответствующий схеме MAG; Я проведу на своем рабочем столе любой анализ, который будет бесплатным, хотя и медленнее. Любая помощь могла бы быть полезна.
5 ответов
Чтобы попробовать Azure Databricks, вам потребуется подписка "Pay-As-You-Go".
Azure Free Trail имеет ограничение в 4 ядра, и вы не можете создать кластер Azure Databricks с помощью бесплатной пробной подписки, поскольку для создания искрового кластера требуется более 4 ядер.
Если у вас есть бесплатная учетная запись, перейдите в свой профиль и измените подписку на оплату по мере использования. Затем снимите ограничение на расходы и запросите увеличение квоты для виртуальных ЦП в вашем регионе. При создании рабочего пространства Azure Databricks можно выбрать ценовой уровень Пробная версия (Премиум - 14-дневные бесплатные DBU), чтобы предоставить рабочему пространству доступ к бесплатным Премиальным DBU Azure Databricks в течение 14 дней.
Дополнительные сведения см. В разделе " Подпишитесь на бесплатную пробную версию Azure Databricks".
Вы можете попробовать большинство примеров с версией сообщества databricks:
Ваша подписка имеет ограничение в 4 ядра для всего. На картинке в вашем руководстве (https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks) показана настройка кластера databricks с использованием виртуальных машин размера Standard_DS3_v2 с минимум 2 рабочими. На рисунке также показано, что виртуальная машина DS3 имеет 4 ядра, поэтому 2x4 = 8 ядер для вашей подписки.
Вам необходимо иметь минимум 1 работника или использовать виртуальную машину меньшего размера. Я также рекомендую отключить автомасштабирование, чтобы избежать проблем.
Используя бесплатную подписку Azure и пробный уровень для блоков данных, я получил ту же ошибку при выполнении этого модуля https://docs.microsoft.com/en-us/learn/modules/describe-azure-databricks/
При создании кластера я изменил режим кластера со "стандартного" на "нет", проблема решена; Я мог запустить записную книжку на питоне.