Преобразование модели Python Keras NLP в Tensorflowjs
Я пытаюсь узнать больше о Tensorflowjs, но, к сожалению, я застрял, конвертируя мою модель Keras NLP в Tensorflowjs.
Вот что я пытаюсь преобразовать:
from keras.models import load_model
from keras.preprocessing.sequence import pad_sequences
import pickle
list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]
model = load_model('Keras_Model/m.hdf5')
with open('Keras_Model/tokenizer.pkl', 'rb') as handler:
tokenizer = pickle.load(handler)
list_sentences_train = ["I need help Stackru"]
list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train)
maxlen = 200
X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)
pred = model.predict(X_t)[0]
Tensorflowjs сторона:
import tf = require('@tensorflow/tfjs-node')
async function processModel(){
const model = await tf.loadLayersModel('Server_Model/model.json');
}
Как я могу запустить Tokenizer и делать правильные прогнозы?
1 ответ
На самом деле, я столкнулся с той же проблемой при классификации текста на Android. У меня была модель ( tflite), готовая к использованию, но как я могу разбить предложения так же, как это сделал Keras в Python.
Я нашел простое решение, которое я обсуждал здесь (для Android).
Простая идея состоит в том, чтобы преобразовать
keras.preprocessing.text.Tokenizer
словарь в файл JSON. Этот файл JSON может быть проанализирован на любом из языков программирования, включая JavaScript.
Tokenizer содержит объект с именем word_index
,
index = tokenizer.word_index
Объект word_index является dict, который может быть преобразован в JSON, как,
import json
with open( 'word_dict.json' , 'w' ) as file:
json.dump( tokenizer.word_index , file )
Файл JSON содержит пары слов и индексов. Вы можете разобрать его в JavaScript, как указано в этой ссылке.