Загрузка файла Node.js (Express 4, MongoDB, GridFS, GridFS-Stream)
Я пытаюсь настроить файловый API в моем приложении node.js. Моя цель - записать поток файлов непосредственно в gridfs без необходимости изначально сохранять файл на диск. Похоже, мой код создания работает. Я могу сохранить файл загрузки в gridfs. Проблема в чтении файла. Когда я пытаюсь загрузить сохраненный файл через окно веб-браузера, я вижу, что содержимое файла обернуто примерно так:
------WebKitFormBoundarye38W9pfG1wiA100l
Content-Disposition: form-data; name="file"; filename="myfile.txt"
Content-Type: text/javascript
***File contents here***
------WebKitFormBoundarye38W9pfG1wiA100l--
Итак, мой вопрос: что мне нужно сделать, чтобы удалить информацию о границах из потока файлов перед сохранением ее в gridfs? Вот код, с которым я работаю:
'use strict';
var mongoose = require('mongoose');
var _ = require('lodash');
var Grid = require('gridfs-stream');
Grid.mongo = mongoose.mongo;
var gfs = new Grid(mongoose.connection.db);
// I think this works. I see the file record in fs.files
exports.create = function(req, res) {
var fileId = new mongoose.Types.ObjectId();
var writeStream = gfs.createWriteStream({
_id: fileId,
filename: req.query.name,
mode: 'w',
content_type: req.query.type,
metadata: {
uploadedBy: req.user._id,
}
});
writeStream.on('finish', function() {
return res.status(200).send({
message: fileId.toString()
});
});
req.pipe(writeStream);
};
// File data is returned, but it's wrapped with
// WebKitFormBoundary and has headers.
exports.read = function(req, res) {
gfs.findOne({ _id: req.params.id }, function (err, file) {
if (err) return res.status(400).send(err);
// With this commented out, my browser will prompt
// me to download the raw file where I can see the
// webkit boundary and request headers
//res.writeHead(200, { 'Content-Type': file.contentType });
var readstream = gfs.createReadStream({
_id: req.params.id
// I also tried this way:
//_id: file._id
});
readstream.pipe(res);
});
};
Кстати, я в настоящее время не использую промежуточное программное обеспечение для этих маршрутов, но я открыт для этого. Я просто не хотел, чтобы файл попал на диск до отправки в gridfs.
Редактировать:
По @fardjad, я добавил модуль node-multiparty для разбора multipart / form-data, и он вроде работал. Но когда я загружаю загруженный файл и сравниваю его с оригиналом (в виде текста), существует много различий в кодировке, и загруженный файл не открывается. Вот моя последняя попытка.
'use strict';
var mongoose = require('mongoose');
var _ = require('lodash');
var multiparty = require('multiparty');
var Grid = require('gridfs-stream');
Grid.mongo = mongoose.mongo;
var gfs = new Grid(mongoose.connection.db);
exports.create = function(req, res) {
var form = new multiparty.Form();
var fileId = new mongoose.Types.ObjectId();
form.on('error', function(err) {
console.log('Error parsing form: ' + err.stack);
});
form.on('part', function(part) {
if (part.filename) {
var writeStream = gfs.createWriteStream({
_id: fileId,
filename: part.filename,
mode: 'w',
content_type: part.headers['content-type'],
metadata: {
uploadedBy: req.user._id,
}
})
part.pipe(writeStream);
}
});
// Close emitted after form parsed
form.on('close', function() {
return res.status(200).send({
message: fileId.toString()
});
});
// Parse req
form.parse(req);
};
exports.read = function(req, res) {
gfs.findOne({ _id: req.params.id }, function (err, file) {
if (err) return res.status(400).send(err);
res.writeHead(200, { 'Content-Type': file.contentType });
var readstream = gfs.createReadStream({
_id: req.params.id
});
readstream.pipe(res);
});
};
Окончательное редактирование:
Вот простая реализация, которую я скопировал у другого разработчика и модифицировал. Это работает для меня: (Я все еще пытаюсь выяснить, почему это не будет работать в моем оригинальном экспресс-приложении. Кажется, что-то мешает)
https://gist.github.com/pos1tron/094ac862c9d116096572
var Busboy = require('busboy'); // 0.2.9
var express = require('express'); // 4.12.3
var mongo = require('mongodb'); // 2.0.31
var Grid = require('gridfs-stream'); // 1.1.1"
var app = express();
var server = app.listen(9002);
var db = new mongo.Db('test', new mongo.Server('127.0.0.1', 27017));
var gfs;
db.open(function(err, db) {
if (err) throw err;
gfs = Grid(db, mongo);
});
app.post('/file', function(req, res) {
var busboy = new Busboy({ headers : req.headers });
var fileId = new mongo.ObjectId();
busboy.on('file', function(fieldname, file, filename, encoding, mimetype) {
console.log('got file', filename, mimetype, encoding);
var writeStream = gfs.createWriteStream({
_id: fileId,
filename: filename,
mode: 'w',
content_type: mimetype,
});
file.pipe(writeStream);
}).on('finish', function() {
// show a link to the uploaded file
res.writeHead(200, {'content-type': 'text/html'});
res.end('<a href="/file/' + fileId.toString() + '">download file</a>');
});
req.pipe(busboy);
});
app.get('/', function(req, res) {
// show a file upload form
res.writeHead(200, {'content-type': 'text/html'});
res.end(
'<form action="/file" enctype="multipart/form-data" method="post">'+
'<input type="file" name="file"><br>'+
'<input type="submit" value="Upload">'+
'</form>'
);
});
app.get('/file/:id', function(req, res) {
gfs.findOne({ _id: req.params.id }, function (err, file) {
if (err) return res.status(400).send(err);
if (!file) return res.status(404).send('');
res.set('Content-Type', file.contentType);
res.set('Content-Disposition', 'attachment; filename="' + file.filename + '"');
var readstream = gfs.createReadStream({
_id: file._id
});
readstream.on("error", function(err) {
console.log("Got error while processing stream " + err.message);
res.end();
});
readstream.pipe(res);
});
});
2 ответа
Смотрите мой комментарий по проблеме, которую вы создали на github. У меня была такая же проблема, но мне удалось отладить проблему. Я сузил его до того места, где я был уверен, что проблема заключалась в том, что экспресс-связующее программное обеспечение изменило запрос. Я отключил свое промежуточное ПО одно за другим, пока не нашел маловероятного виновника: connect-livereload
Я закомментировал app.use(require('connect-livereload')()); и проблема ушла. Я полагаю, что он вставлял скрипт livereload в ответ (двоичный файл изображения).
Похоже, что файл был загружен через форму HTML, в этом случае вам необходимо декодировать закодированные данные multipart / form- data, заново собрать части, если это необходимо, и сохранить файл в GridFS. Для разбора вы можете использовать что-то вроде node-multiparty.