Особенности извлечения VGG в определенном формате

Question

Я пытаюсь заставить это репо работать. Я следовал инструкции и получил пример данных, используя этот скрипт (взят из того же репо):

#!/usr/bin/env sh
# This script downloads the trained S2VT VGG (RGB) model,
# associated vocabulary, and frame features for the validation set.

echo "Downloading Model and Data [~400MB] ..."

wget --no-check-certificate https://www.dropbox.com/s/wn6k2oqurxzt6e2/s2s_vgg_pstream_allvocab_fac2_iter_16000.caffemodel
wget --no-check-certificate https://www.dropbox.com/s/20mxirwrqy1av01/yt_allframes_vgg_fc7_val.txt
wget --no-check-certificate https://www.dropbox.com/s/v1lrc6leknzgn3x/yt_coco_mvad_mpiimd_vocabulary.txt

echo "Organizing..."

DIR="./snapshots"
if [ ! -d "$DIR" ]; then
    mkdir $DIR
fi
mv s2s_vgg_pstream_allvocab_fac2_iter_16000.caffemodel $DIR"/s2vt_vgg_rgb.caffemodel"

echo "Done."

На следующем этапе они сказали, что мне нужно sample video frames and extract VGG features for the frames, Я не совсем уверен, как это сделать. Я следовал инструкции на Caffe, но функции не в том же формате.

Так как же извлечь функции VGG в том же формате, что и yt_allframes_vgg_fc7_val.txt?

Answer 1

Этот репозиторий предоставляет скрипт для извлечения функций VGG из видео - https://github.com/jesu9/VGGFeatExtract

В частности смотрите скрипт video_demo.py, Это выведет матовые файлы, которые вам придется конвертировать в текстовые файлы.

16-слойная модель VGG и файлы прототипов доступны по адресу - https://gist.github.com/ksimonyan/211839e770f7b538e2d8