Google AutoML Импортирует текстовые элементы очень медленно

Question

Я импортирую текстовые элементы в Google AutoML. Каждая строка содержит около 5000 символов, и я добавляю 70K этих строк. Это набор данных с несколькими метками. Нет индикатора выполнения или указания того, сколько времени займет этот процесс. Это бегало в течение нескольких часов. Есть ли способ рассчитать оставшееся время или общее расчетное время. Я хотел бы добавить дополнительные наборы данных, но я боюсь, что это будет очень долгий процесс, прежде чем обучение начнется. Любая формула для создания даже полудикого предположения была бы великолепна. -Спасибо!

Answer 1

Я не думаю, что это возможно сегодня, но я подал запрос на функцию [1], чтобы вы могли следить за обновлениями. Я попросил как об обучении, так и об импорте данных, поскольку для обучения это тоже может быть полезно.

Answer 2

I tried training with 50K records (~ 300 bytes/record) and the load took more than 20 mins after which I killed it. I retried with 1K, which ran for 20 mins and then emailed me an error message saying I had multiple labels per input (yes, so what? training data is going to have some of those) and I had >100 labels. I simplified the classification buckets and re-ran. It took another 20 mins and was successful. Then I ran 'training' which took 3 hours and billed me $11. That maps to $550 for 50K recs, assuming linear behavior. The prediction results were not bad for a first pass, but I got the feeling that it is throwing a super large neural net at the problem. Would help if they said what NN it was and its dimensions. They do say "beta":)

Answer 3

Не теряйте время, пытаясь использовать Google для классификации текста. Я заядлый пользователь GCP, но Microsoft LUIS намного лучше, точнее и намного быстрее, поэтому я не могу поверить, что оба продукта пытаются решить одну и ту же проблему.

У Луиса гораздо лучшая документация, поддержка большего количества языков, гораздо лучший тестовый интерфейс, намного быстрее... Я не знаю, дешевле ли еще, потому что модель ценообразования другая, но мы готовы платить больше.