Как получить поток NodeJS Transform для создания нескольких записей для каждого блока ввода?

Question

Я пишу поток Transform, который принимает входящий поток XML и передает его подмножество в виде объектов JS.

<item>
  <name>some name</name>
  <files>
    <file path='path/to/file'/>
    <file path='path/to//other/file'/>
  </files>
</item>

необходимо написать два объекта элемента

{
  name: 'some name',
  file: 'path/to/file
}

а также

{
  name: 'some name',
  file: 'path/to/other/file
}

поскольку это тогда будет передано по каналу писателю CSV.

Код выглядит так

import fs from 'fs'
import expat from 'node-expat'
import { Transform } from 'stream'

const xParser = (filePath) => {
  const stream = fs.createReadStream(filePath)
  const parser = new expat.Parser('UTF-8')
  const tranny = Transform({ objectMode: true })

  tranny._transform = function transform(data, encoding, done) {
    this.push(data)
    done()
  }

  let current
  let inItem = false
  let tag
  let attributes

  const startTag = (name, attrs) => {
    if (name === 'item') {
      inItem = true
      current = {
        name: '',
        files: []
      }
      return
    }
    if (!inItem) return
    tag = name
    attributes = attrs
    if (tag === 'file') {
      current.files.push(attributes.path)
    }
  }

  const write = (file) => {
    tranny.write({
      name: current.name,
      file
    })
  }

  const endTag = (name) => {
    if (name === 'item') {
      // console.log('end item', JSON.stringify(current))
      inItem = false
      if (current.files.length === 0) {
        write('')
      } else {
        current.files.forEach(file => {
          write(file)
        })
      }
      tag = undefined
      attributes = undefined
    }
  }

  const handleText = (text) => {
    if (!inItem) return
    if (tag === 'name') {
      current.name = current.name.concat(text).trim()
    }
  }

  const handleDone = () => {
    console.log('done')
    tranny.end()
  }

  parser
  .on('startElement', startTag)
  .on('endElement', endTag)
  .on('text', handleText)
  .on('end', handleDone)

  stream.pipe(parser)
  return tranny
}

module.exports = xParser

когда XML просто

<item>
  <name>some name</name>
  <files>
    <file path='path/to/file'/>
  </files>
</item>

это работает нормально, но когда он попадает item с несколькими поданными он просто останавливается и 'end' срабатывает, как только второй tranny.write случается.

Как я могу получить поток Transform для создания нескольких записей для каждого блока ввода?

Answer 1

Хорошо, исправил это.

Это решение было не делать несколько tranny.writeс, но сделать преобразование данных в пределах tranny._transform функция (как должно было быть очевидно на самом деле).

так нравится

tranny._transform = function transform(data, encoding, done) {
  if (data.files.length > 0) {
    data.files.forEach((file) => {
      this.push({
        name: data.name,
        file
      })
    })
  } else {
    this.push({
      name: data.name,
      file: ''
    })
  }
  done()
}

и endTag обработчик теперь выглядит

const endTag = (name) => {
  if (name === 'item') {
    inItem = false
    tranny.write(current)
    tag = undefined
    attributes = undefined
  }
}

то есть я мог бы просто удалить write функция.

Теперь это работает, и проверено, когда я делаю

import xParser from './xParser'
import concat from 'concat-stream'

xmlParser('data/mybigdatafile.xml')
.pipe(concat((data) => {
  console.log(JSON.stringify(data));
}))

это выплевывает полный набор данных для меня.