Как я могу оценить производительность моей модели TensorFlow на определенных срезах большого набора данных?
Как я могу оценить производительность моей модели TensorFlow на определенных срезах (сегментах) большого набора данных оценки?
1 ответ
Используйте TensorFlow Model Analysis (TFMA), который является библиотекой с открытым исходным кодом, которая объединяет TensorFlow и Apache Beam для вычисления и визуализации метрик оценки. Он разработан для этого варианта использования и позволяет вам оценивать ваши модели на больших объемах данных распределенным способом, используя те же показатели, которые определены в вашем тренере TensorFlow. Эти метрики также могут быть рассчитаны для различных слоев данных, а результаты могут быть визуализированы в блокнотах Jupyter. TFMA использует Apache Beam для полного прохождения указанного набора данных оценки. Это не только позволяет более точно вычислять метрики, но также масштабируется до массивных наборов оценочных данных, поскольку конвейеры Beam могут запускаться с использованием распределенной обработки.
См. https://github.com/tensorflow/model-analysis для получения дополнительной информации.