невозможно загрузить пакеты рабочей области и файлы require.txt в пул искр аналитики azure synapse

Question

При попытке импортировать библиотеки Python на уровне пула искр, применяя загруженный файл requirements.txt и пользовательские пакеты, я получаю следующую ошибку без каких-либо других подробностей. Сведения об ошибке CreateOrUpdateSparkComputeFailed Произошла ошибка при обработке запроса.

Несколько дней назад он работал отлично. Последняя загрузка была успешной 03.12.2021.

Также не запускается задание приложения SystemReservedJob-LibraryManagement.

Сведения о среде -Azure Synapse Analytics

Пул Apache Spark - 3.1

мы пробовали ниже вещей

1. увеличить размер ядра до 200
2. загрузили одни и те же пакеты на другой ресурс подписки, и он работает нормально.
3. увеличен размер искрового бассейна.

Пожалуйста, предложите

Спасибо

Answer 1

Убедитесь, что у вас есть следующие пакеты в файле require.txt.

Перед этим нам нужно проверить, какие пакеты установлены, а какие нет. Вы можете получить все подробности об установке пакетов, выполнив следующие строки кода, и сделать вывод, какие пакеты отсутствуют, и оставить их на месте:

      import pkg_resources 
for d in pkg_resources.working_set: 
    print(d)
 

Установите недостающие библиотеки с Requirement.txt.

Я столкнулся с аналогичным вариантом использования, когда я получил хорошую информацию и пошаговую процедуру из MS Docs , взгляните на нее, чтобы обрабатывать библиотеки рабочего пространства.