Аудиозапись с использованием PortAudio: Pa_GetStreamReadAvailable не работает?
Я делаю приложение для обработки данных в реальном времени (анализатор спектра, использующий fftw3 lib), используя C и Linux. Мои входящие данные в настоящее время взяты из ч / б аудиовхода. Я пользуюсь библиотеками PortAudio для общения с ч / б. (Я не использую обратные вызовы PortAudio в настоящее время). Я выбираю Portaudio, потому что для него существует множество примеров аудиозаписи. RtAudio может предложить меньшую задержку, к сожалению, написанную на CPP, а не на C (поэтому у меня много проблем с переносимостью). (Должен ли я попробовать другую оболочку? Есть ли прямой способ поймать звуковой буфер, с примерами?).
У меня хорошая рабочая настройка, если только расчеты DFT не занимают больше времени, чем достаточно для заполнения аудио-буфера новыми данными. Таким образом, данные остаются и накапливаются где-то в системе, и задержка между аудиовходом и изображением происходит и увеличивается. При спектральном анализе невозможно "выбросить" часть данных. Так что только я могу предупредить пользователя о низкой мощности процессора. Но здесь у меня проблема.
Существует функция Pa_GetStreamReadAvailable, чтобы показать, сколько доступно непрочитанных данных. Но это не работает для меня. Я готовлю простой пример, в основном на основе файла http://www.kfr.co.il/files/speed_photo/complete.c
#include <sys/ioctl.h>
#include <linux/parport.h>
#include <linux/ppdev.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <signal.h>
#include <portaudio.h>
/* #define SAMPLE_RATE (17932) // Test failure to open with this value. */
#define SAMPLE_RATE (44100)
#define FRAMES_PER_BUFFER (1024)
#define NUM_SECONDS (5)
#define NUM_CHANNELS (2)
/* #define DITHER_FLAG (paDitherOff) */
#define DITHER_FLAG (0) /**/
/* Select sample format. */
#if 1
#define PA_SAMPLE_TYPE paFloat32
typedef float SAMPLE;
#define SAMPLE_SILENCE (0.0f)
#define PRINTF_S_FORMAT "%.8f"
#elif 1
#define PA_SAMPLE_TYPE paInt16
typedef short SAMPLE;
#define SAMPLE_SILENCE (0)
#define PRINTF_S_FORMAT "%d"
#elif 0
#define PA_SAMPLE_TYPE paInt8
typedef char SAMPLE;
#define SAMPLE_SILENCE (0)
#define PRINTF_S_FORMAT "%d"
#else
#define PA_SAMPLE_TYPE paUInt8
typedef unsigned char SAMPLE;
#define SAMPLE_SILENCE (128)
#define PRINTF_S_FORMAT "%d"
#endif
int running = 1;
void signalHandler(int sig)
{
running = 0;
}
/*******************************************************************/
int main(void);
int main(void)
{
printf("Initializing PortAudio...\n");
PaStreamParameters inputParameters, outputParameters;
PaStream *stream;
PaError err;
SAMPLE *recordedSamples;
int i;
int maxFrames;
int numSamples;
int numBytes;
SAMPLE max, average, val;
// Set ctrl-c handler
signal(SIGINT, signalHandler);
//totalFrames = NUM_SECONDS * SAMPLE_RATE; /* Record for a few seconds. */
maxFrames = SAMPLE_RATE*1;
numSamples = maxFrames * NUM_CHANNELS;
numBytes = numSamples * sizeof(SAMPLE);
recordedSamples = (SAMPLE *) malloc( numBytes );
if( recordedSamples == NULL )
{
printf("Could not allocate record array.\n");
exit(1);
}
for( i=0; i<numSamples; i++ ) recordedSamples[i] = 0;
err = Pa_Initialize();
if( err != paNoError ) goto error;
inputParameters.device = Pa_GetDefaultInputDevice(); /* default input device */
if (inputParameters.device == paNoDevice) {
fprintf(stderr,"Error: No default input device.\n");
goto error;
}
inputParameters.channelCount = NUM_CHANNELS;
inputParameters.sampleFormat = PA_SAMPLE_TYPE;
inputParameters.suggestedLatency = Pa_GetDeviceInfo( inputParameters.device )->defaultLowInputLatency;
inputParameters.hostApiSpecificStreamInfo = NULL;
/* Record some audio. -------------------------------------------- */
err = Pa_OpenStream(
&stream,
&inputParameters,
NULL, /* &outputParameters, */
SAMPLE_RATE,
FRAMES_PER_BUFFER,
paClipOff, /* we won't output out of range samples so don't bother clipping them */
NULL, /* no callback, use blocking API */
NULL ); /* no callback, so no callback userData */
if( err != paNoError ) goto error;
printf("Starting!\n\n");
printf("Numbers should increasing:\n");
err = Pa_StartStream( stream );
if( err != paNoError ) goto error;
Pa_ReadStream(stream, recordedSamples, maxFrames);
i = 1;
while (i<8)
{
long toRead = Pa_GetStreamReadAvailable(stream);
printf("%ld %d\n", toRead, maxFrames);
if (toRead > maxFrames)
toRead = maxFrames;
err = Pa_ReadStream(stream, recordedSamples, toRead);
if( err != paNoError ) goto error;
// Here is place for heavy calculations,
// they can be longer than time needed for filling one buffer.
// (So data, awaiting for processing, should be (and really is)
// accumulated somewhere in system/OS buffer.)
// Emulate big delays:
usleep(i*1000000);
i++;
}
printf("Stopping PortAudio...\n");
err = Pa_CloseStream( stream );
if( err != paNoError ) goto error;
free( recordedSamples );
Pa_Terminate();
return 0;
error:
Pa_Terminate();
fprintf( stderr, "An error occured while using the portaudio stream\n" );
fprintf( stderr, "Error number: %d\n", err );
fprintf( stderr, "Error message: %s\n", Pa_GetErrorText( err ) );
return -1;
}
Я ожидаю увеличения числа распечаток, но мои результаты явно неверны:
598 44100
3071 44100
3071 44100
3071 44100
3071 44100
3071 44100
3071 44100
Использование 'Pa_OpenDefaultStream' вместо 'Pa_OpenStream' дает другие неправильные числа (8191). Где я не прав?
Или это ошибка в PA, но, конечно, я предпочитаю сначала спросить, прежде чем подавать отчет об ошибке. Благодарю.
PS Регрессирование библиотек PA к предыдущей версии (для тестов) невозможно, я не могу скомпилировать этот пример в современной Ubuntu с ним.
2 ответа
Я использовал ваш код в качестве отправной точки, но мой поток должен оставаться открытым. Я смог заставить это работать, но вам нужно будет отправить сообщение о вашей обработке FFT в другом потоке, возможно, с использованием RingBuffer или другого механизма, так как если вы увеличите код ожидания потока, это вызовет ошибку опустошения ввода.
while( ( err = Pa_IsStreamActive( stream ) ) == 1 )
{
long toRead = Pa_GetStreamReadAvailable(stream);
if (toRead > FRAMES_PER_BUFFER) toRead = FRAMES_PER_BUFFER;
if (toRead == FRAMES_PER_BUFFER) {
printf("available: %ld frames_per_buffer: %d\n", toRead, FRAMES_PER_BUFFER);
// You may get underruns or overruns if the output is not primed by PortAudio.
err = Pa_ReadStream( stream, recordedSamples, toRead );
if(err) goto xrun;
}
Pa_Sleep(10);
}
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
available: 1024 frames_per_buffer: 1024
Мне не ясно, что здесь есть ошибка (кроме того, что вы делаете FFT, который занимает слишком много времени на вашем боксе).
Обычно звуковая подсистема имеет небольшое количество буферов (похоже, 3 в вашем случае 3072 - это 3 * 1024, который вы задали как FRAMES_PER_BUFFER, 2 - другое распространенное значение), и если вы не в состоянии поддерживать, она просто отбрасывает данные из наименее заполненных за последнее время буфер, нет никакого постоянно растущего буфера аудио.
Вы несете ответственность за своевременное копирование данных из этих буферов и буферизацию в оперативной памяти или на диске - это то, что вам нужно сделать для вашего приложения.
Я несколько удивлен, что у современной машины есть проблемы с БПФ с 1024 точками при скорости звука.
С уважением, Дэн.