Node.js: преобразование в реальном времени изображений JPEG в видео файл

Question

Я использую node.js и через библиотеку socket.io я получаю куски данных, которые на самом деле являются изображениями JPEG. Эти изображения представляют собой кадры видео в реальном времени, снятые с удаленной веб-камеры. Я вынужден передавать видео в формате JPEG. Я ищу способ конвертировать на лету эти изображения JPEG в видеофайле (файл MPEG 4 или MPEG). Есть ли у узла библиотека, которая может это сделать? Я уже взглянул на библиотеку Node-fluent-FFMPEG, но приведены только примеры преобразования файлов jpeg в видео, а не преобразования на лету из потока изображений jpeg. Или же, ffmpeg для Windows поддерживает поток изображений JPEG в качестве входных данных?

Answer 1

FFMPEG поддерживает потоки в качестве входных данных, как указано в документации.

Вы можете добавить любое количество входов в команду Ffmpeg. Вход может быть [...] читаемым потоком

Так, например, он поддерживает использование

ffmpeg().input(fs.createReadStream('/path/to/input3.avi'));

который создает читаемый поток из файла в '/path/to/input3.avi',

Я ничего не знаю о FFMPEG, но вы можете извлекать свои сообщения, поступающие из socket.io (сообщения уже могут быть буфером), и обернуть его своей собственной реализацией потока Readable.

Answer 2

Я думаю, что вы должны смотреть на видеофий

var exec = require("child_process").exec;
var escape = require("shell-escape");
var debug = require("debug")("videofy");
var mkdirp = require("mkdirp");
var uid = require("uid2");

/*
 *  Expose videofy
 */

module.exports = videofy;

/**
 * Convert `input` file to `output` video with the given `opts`:
 *
 *  - `rate` frame rate [10]
 *  - `encoders` the video codec format, default is libx264
 *
 * @param {String} input
 * @param {String} output
 * @return
 * @api public
 */
function videofy(input, output, opts, fn) {
    if (!input) throw new Error('input filename required');
    if (!output) throw new Error('output filename required');

    var FORMAT = '-%05d';

    // options
    if ('function' == typeof opts) {
        fn = opts;
        opts = {};
    } else {
        opts = opts || {};
    }

    opts.rate = opts.rate || 10;
    opts.codec = opts.codec || 'libx264';

    // tmpfile(s)
    var id = uid(10);
    var dir = 'tmp/' + id;
    var tmp = dir + '/tmp' + FORMAT + '.jpg';


    function gc(err) {
        debug('remove %s', dir);
        exec('rm -fr ' + dir);
        fn(err);
    }

    debug('mkdirp -p %s', dir);

    mkdirp(dir, function(error) {
        if (error) return fn(error);

        // convert gif to tmp jpg
        var cmd = ['convert', input, tmp];
        cmd = escape(cmd);

        debug('exec %s', cmd);
        // covert jpg collection to video
        exec(cmd, function(err) {

            if (err) return gc(err);

            var cmd = ['ffmpeg'];

            cmd.push('-f', 'image2');
            cmd.push('-r', String(opts.rate));
            cmd.push('-i', tmp);
            cmd.push('-c:v', String(opts.codec));
            cmd.push(output);

            cmd = escape(cmd);

            debug("exec %s", cmd);

            exec(cmd, gc);
        });
    });
}

Answer 3

С помощью require("child_process") Вы можете использовать ffmpeg, или, возможно, для этого есть модули npm. ffmpeg позволит вам сначала взять список jpegs и преобразовать его в видео, во-вторых, вы можете добавить список (или только один) jpegs в начало или конец видео.