Вставьте тысячи узлов в neo4j, используя golang
Я импортирую данные в neo4j, используя neoism
и у меня есть некоторые проблемы импорта больших данных, 1000 узлов, займет 8 секунд. Вот часть кода, которая импортирует 100 узлов. довольно простой код, нуждается в улучшении, кто-нибудь может помочь мне улучшить это?
var wg sync.WaitGroup
for _, itemProps := range items {
wg.Add(1)
go func(i interface{}) {
s := time.Now()
cypher := neoism.CypherQuery{
Statement: fmt.Sprintf(`
CREATE (%v)
SET i = {Props}
RETURN i
`, ItemLabel),
Parameters: neoism.Props{"Props": i},
}
if err := database.ExecuteCypherQuery(cypher); err != nil {
utils.Error(fmt.Sprintf("error ImportItemsNeo4j! %v", err))
wg.Done()
return
}
utils.Info(fmt.Sprintf("import Item success! took: %v", time.Since(s)))
wg.Done()
}(itemProps)
}
wg.Wait()
1 ответ
Решение
Афаикский неоизм все еще использует старые API, вместо этого вы должны использовать cq: https://github.com/go-cq/cq
также вы должны пакетировать свои творения,
т. е. либо отправить несколько заявлений за запрос, например, 100 заявлений за запрос
или даже лучше отправить список параметров для одного запроса шифра:
например, {данные} [{id:1},{id:2},...]
UNWIND {data} as props
CREATE (n:Label) SET n = props