Модуль обработки аудио (APM) WebRTC и вычисление задержки эха для устройства воспроизведения
Я очень новичок в обработке звука. Я создал программу, которая записывает и передает аудио одним способом, а не записывает на другом конце. В основном, это передает то, что зарегистрировано в одном местоположении к другому местоположению. Однако существует много обстоятельств, когда эта программа также выводит звук в том же месте, что и источник записи. Это создает заметное "эхо" из-за задержки звука (которая зависит от многих факторов).
Поскольку я не уверен, есть ли что-то еще, я пытаюсь использовать модуль обработки звука WebRTC для управления усилением и акустическим эхоподавлением. Управление усилением, кажется, работает хорошо, но AEC не очень хорошо работает. Я предполагаю, может быть, это потому, что я не устанавливаю правильную задержку потока, или, возможно, это не совсем то, для чего предназначен AEC.
Текущий код, который я использую, читает что-то, что я записал из файла, пытаясь избавиться от эха, по крайней мере, при первом его появлении. Если я установлю задержку потока на 0. Как мы можем себе представить, текущее аудио полностью отменяется. Я пробую разные значения, но без особой пользы.
Итак, мой вопрос, и я надеюсь, что это достаточно конкретно, что я делаю не так в этой модели здесь?
void start( char *inFilename, char *outFilename )
{
FILE *infile = fopen( inFilename, "rb" );
FILE *outfile = fopen( outFilename, "wb" );
// Our frame manager
AudioFrame frame;
frame._audioChannel = CHANNELS;
frame._frequencyInHz = SAMPLERATE;
frame._payloadDataLengthInSamples = SAMPLERATE/100; // Math for 20ms frames
// Get the size of our frames
const size_t frameLength = frame._payloadDataLengthInSamples*CHANNELS;
AudioProcessing* apm = AudioProcessing::Create(0);
//
apm->set_sample_rate_hz( SAMPLERATE ); // Super-wideband processing.
//
// // Mono capture and stereo render.
apm->set_num_channels(1, 1);
apm->set_num_reverse_channels(1);
//
apm->high_pass_filter()->Enable(true);
//
//apm->echo_cancellation()->set_suppression_level( EchoCancellation::SuppressionLevel::kHighSuppression );
apm->echo_cancellation()->enable_drift_compensation( false );
apm->echo_cancellation()->Enable( true );
//
apm->noise_suppression()->set_level( NoiseSuppression::Level::kHigh );
apm->noise_suppression()->Enable( true );
//
apm->gain_control()->set_analog_level_limits( 0, 255 );
apm->gain_control()->set_mode( GainControl::Mode::kAdaptiveDigital );
apm->gain_control()->Enable( true );
//
// apm->voice_detection()->Enable(true);
//
// // Start a voice call...
while( fread(frame._payloadData, sizeof( int16_t ), frameLength, infile )==frameLength )
{
//apm->set_stream_delay_ms( 0 );
apm->AnalyzeReverseStream( &frame );
//
// // ... Render frame arrives bound for the audio HAL ...
//
// // ... Capture frame arrives from the audio HAL ...
// // Call required set_stream_ functions.
// apm->gain_control()->set_stream_analog_level(analog_level);
//
apm->set_stream_delay_ms( 300 );
int err = apm->ProcessStream( &frame );
fprintf( stdout, "Output %i\n", err );
//
// // Call required stream_ functions.
// analog_level = apm->gain_control()->stream_analog_level();
// has_voice = apm->stream_has_voice();
fwrite( frame._payloadData, sizeof( int16_t ), frameLength, outfile );
}
//
// // Repeate render and capture processing for the duration of the call...
// // Start a new call...
// apm->Initialize();
//
// // Close the application...
AudioProcessing::Destroy( apm );
apm = NULL;
fclose( infile );
fclose( outfile );
}
Использование включений и библиотек: http://www.freedesktop.org/software/pulseaudio/webrtc-audio-processing/
1 ответ
У меня та же проблема, я пытался найти API, который говорит мне, сколько задержки потока в руководстве по API OpenSLES, но не удалось. Как и сейчас, я думаю, что, возможно, нужно рассчитать задержку потока самостоятельно.