Tensorflow - Может ли вектор One-Hot воздействовать на обучение модели?

Question

Я заранее прошу прощения за мое английское выражение. Это трудно для меня..

У меня есть нейронная сеть с функциями, которые находятся в массиве np, и перед передачей модели мои функции хранятся в тензорном файле. Форма (4000, 6), потому что у меня есть 6 различных особенностей

Я добавляю функцию словаря. Я конвертирую его в вектор с одним горячим вектором и преобразую в тензор, чтобы форма этого результата была (4000, 243).

Непосредственно перед тренировкой я соединяю эти два тензора, чтобы получить тензор результата с формой (4000, 249).

Мне интересно, повлияет ли это на мое обучение (6 функций и еще одна закодированы в 243 записях в тензоре). Я беспокоюсь по поводу того, что нейронная сеть будет применяться..

Это проблема, или мои 6 первых функций будут по-прежнему иметь лучшее сцепление по сравнению с 243 другими записями в тензоре?

Большое спасибо за ваш ответ и вашу помощь.

Answer 1

Да, ваши опасения верны, если одна горячая кодировка для одной из функций при представлении модели будет плохой, она будет иметь тенденцию расставлять приоритеты для различных функций, теперь то, какие функции будут иметь приоритет, зависит от нескольких критериев.

Случай 1: Вы нормализовали другие входные данные, чтобы они лежали между 0 и 1. В этом случае функция, представленная как горячее кодирование, будет доминировать в прогнозе моделей.

Случай 2: Вы не нормализовали другие входы, это уже будет иметь катастрофические последствия, но оно будет противостоять огромным эффектам от одного горячо закодированного вектора.

Ни один из них не будет идеальным для сценария машинного обучения, я предложу вам удалить одну горячую кодировку функции, а затем нормализовать набор данных, и только затем обучать вашу модель, это будет гарантировать, что все ваши функции влияют на обучение на основе на их участие в прогнозировании результатов и не быть склонным к какой-либо конкретной функции.

Если у вас есть какие-либо вопросы или вы не понимаете логику чего-либо, не стесняйтесь комментировать.