Android AEC не генерирует полезного звука
У меня есть эксперименты по акустическому эхоподавлению для приложения VoIP, и звук сводит меня с ума. То, что я пытаюсь сделать, просто: я записал звук раньше. Теперь я воспроизведу этот звук и во время воспроизведения запишу другой звук, который является реальным случаем для сценария полного дуплекса VoIP. Я использую MedaiPlayer для воспроизведения звука и MediaRecorder для записи нового звука. Ниже приведен полный код класса, модифицированный из Android SoundRecorder Sample. Важными моментами являются mPlayer.setAudioStreamType(AudioManager.MODE_IN_COMMUNICATION); для документов Android говорят: "В режиме аудио связи. Установлен аудио / видео чат или вызов VoIP". и mRecorder.setAudioSource(MediaRecorder.AudioSource.VOICE_COMMUNICATION); для документов Android говорят: "Источник звука микрофона, настроенный для голосовой связи, такой как VoIP. Например, он будет использовать преимущества эхоподавления или автоматической регулировки усиления, если таковые имеются. В противном случае он ведет себя как DEFAULT, если не применяется обработка голоса". и это так многообещающе. Но если я играю что-либо из динамиков, я почти ничего не записываю или только странные звуки Я не могу прикрепить звуковые волны к записи, так как я здесь новый пользователь, но первая - это обычная запись, которая имеет нормальные звуковые волны. Вторая запись - это запись во время воспроизведения первой, которая почти ничего не содержит, без звуковых волн. Android, кажется, отключить микрофон, если есть какие-либо действия в динамике. Я пробовал разные возможности для MediaRecorder и MediaPlayer, но безрезультатно. Как правильно реализовать Accoustic Echo Cancellation в Android? Я попробовал на Sony Tablet S и разработал с использованием Android 3.0 SDK. Заранее спасибо.
package com.kadir.sample;
import android.app.Activity;
import android.widget.LinearLayout;
import android.widget.Toast;
import android.os.Bundle;
import android.os.Environment;
import android.view.ViewGroup;
import android.widget.Button;
import android.view.View;
import android.content.Context;
import android.util.Log;
import android.media.AudioManager;
import android.media.MediaRecorder;
import android.media.MediaPlayer;
import java.io.IOException;
public class AudioRecordTest extends Activity
{
private static final String LOG_TAG = "AudioRecordTest";
private static String mFileName = null;
private static String mFileNameConst = null;
private RecordButton mRecordButton = null;
private MediaRecorder mRecorder = null;
private PlayButton mPlayButton = null;
private MediaPlayer mPlayer = null;
private PlayConstButton mPlayConstButton = null;
private void onRecord(boolean start) {
if (start) {
startRecording();
} else {
stopRecording();
}
}
private void onPlay(boolean start) {
if (start) {
startPlaying();
} else {
stopPlaying();
}
}
private void onPlayConst(boolean start) {
if (start) {
startConstPlaying();
} else {
stopConstPlaying();
}
}
private void startPlaying() {
mPlayer = new MediaPlayer();
try {
mPlayer.setDataSource(mFileName);
mPlayer.prepare();
mPlayer.start();
} catch (IOException e) {
Toast.makeText(this, "prepare() failed", Toast.LENGTH_LONG).show();
Log.e(LOG_TAG, "prepare() failed");
}
}
private void stopPlaying() {
mPlayer.release();
mPlayer = null;
}
private void startConstPlaying() {
mPlayer = new MediaPlayer();
try {
mPlayer.setDataSource(mFileNameConst);
mPlayer.setAudioStreamType(AudioManager.MODE_IN_COMMUNICATION);
mPlayer.prepare();
mPlayer.start();
} catch (IOException e) {
Toast.makeText(this, "prepare() failed", Toast.LENGTH_LONG).show();
Log.e(LOG_TAG, "prepare() failed");
}
}
private void stopConstPlaying() {
mPlayer.release();
mPlayer = null;
}
private void startRecording() {
mRecorder = new MediaRecorder();
mRecorder.setAudioSource(MediaRecorder.AudioSource.VOICE_COMMUNICATION);
mRecorder.setOutputFormat(MediaRecorder.OutputFormat.THREE_GPP);
mRecorder.setOutputFile(mFileName);
mRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);
try {
mRecorder.prepare();
} catch (IOException e) {
Toast.makeText(this, "startRecording() failed", Toast.LENGTH_LONG).show();
Log.e(LOG_TAG, "prepare() failed");
}
mRecorder.start();
}
private void stopRecording() {
mRecorder.stop();
mRecorder.release();
mRecorder = null;
}
class RecordButton extends Button {
boolean mStartRecording = true;
OnClickListener clicker = new OnClickListener() {
public void onClick(View v) {
onRecord(mStartRecording);
if (mStartRecording) {
setText("Stop recording");
} else {
setText("Start recording");
}
mStartRecording = !mStartRecording;
}
};
public RecordButton(Context ctx) {
super(ctx);
setText("Start recording");
setOnClickListener(clicker);
}
}
class PlayButton extends Button {
boolean mStartPlaying = true;
OnClickListener clicker = new OnClickListener() {
public void onClick(View v) {
onPlay(mStartPlaying);
if (mStartPlaying) {
setText("Stop playing");
} else {
setText("Start playing");
}
mStartPlaying = !mStartPlaying;
}
};
public PlayButton(Context ctx) {
super(ctx);
setText("Start playing");
setOnClickListener(clicker);
}
}
class PlayConstButton extends Button {
boolean mStartPlaying = true;
OnClickListener clicker = new OnClickListener() {
public void onClick(View v) {
onPlayConst(mStartPlaying);
if (mStartPlaying) {
setText("Stop Constant playing");
} else {
setText("Start Constant playing");
}
mStartPlaying = !mStartPlaying;
}
};
public PlayConstButton(Context ctx) {
super(ctx);
setText("Start Constant playing");
setOnClickListener(clicker);
}
}
public AudioRecordTest() {
mFileName = Environment.getExternalStorageDirectory().getAbsolutePath();
mFileName += "/audiorecordtest.3gp";
mFileNameConst = Environment.getExternalStorageDirectory().getAbsolutePath();
mFileNameConst += "/constant.3gp";
}
@Override
public void onCreate(Bundle icicle) {
super.onCreate(icicle);
LinearLayout ll = new LinearLayout(this);
mRecordButton = new RecordButton(this);
ll.addView(mRecordButton,
new LinearLayout.LayoutParams(
ViewGroup.LayoutParams.WRAP_CONTENT,
ViewGroup.LayoutParams.WRAP_CONTENT,
0));
mPlayButton = new PlayButton(this);
ll.addView(mPlayButton,
new LinearLayout.LayoutParams(
ViewGroup.LayoutParams.WRAP_CONTENT,
ViewGroup.LayoutParams.WRAP_CONTENT,
0));
mPlayConstButton = new PlayConstButton(this);
ll.addView(mPlayConstButton,
new LinearLayout.LayoutParams(
ViewGroup.LayoutParams.WRAP_CONTENT,
ViewGroup.LayoutParams.WRAP_CONTENT,
0));
setContentView(ll);
}
@Override
public void onPause() {
super.onPause();
if (mRecorder != null) {
mRecorder.release();
mRecorder = null;
}
if (mPlayer != null) {
mPlayer.release();
mPlayer = null;
}
}
}
ОБНОВЛЕНИЕ: У меня была небольшая НИОКР: я меняю параметры MediaRecorder и MediaPlayer. Для каждого значения я записывал себя, и во время записи я начинал другую игру. Затем закончил запись и прослушал то, что я только что записал. Для MediaRecorder, я попробовал эти значения: MediaRecorder.AudioSource.DEFAULT,MediaRecorder.AudioSource.MIC, MediaRecorder.AudioSource.VOICE_CALL,MediaRecorder.AudioSource.VOICE_COMMUNICATION,MediaRecorder.AudioSource.VOICE_DOWNLINK,MediaRecorder.AudioSource.VOICE_RECOGNITION,MediaRecorder.AudioSource.VOICE_UPLINK Для MediaPlayer, я попробовал эти значения: AudioManager.MODE_NORMAL, AudioManager.MODE_CURRENT,AudioManager.MODE_IN_CALL,AudioManager.MODE_IN_COMMUNICATION, AudioManager.STREAM_VOICE_CALL,AudioManager.STREAM_US. Но что бы я ни старался, у меня всегда была либо тишина, либо чистый шум. Я думаю, что классов MediaRecorder и MediaPlayer недостаточно для VoIP. А звуковая система Android немного странная для новичка, как я.
3 ответа
Я частично разобрался. Я использовал Sony Tablet S с Android 3.2. Я попробовал ту же программу на Archos 70 с Android 2.3. Когда я записываю что-то во время воспроизведения другой вещи, записываются оба звука. Это означает, что у меня есть звук, чтобы применить AEC. На Sony запись была только шумом. Теперь есть две возможности: либо у Sony Tablet S есть проблема с реализацией микрофона (кстати, GTalk отлично работает на Sony, но это может быть что-то особенное, как реализовано в Android), либо у Android 3.2 есть проблема с реализацией микрофона.
Зачем использовать MediaRecorder для потокового приложения? использование AudioRecorder вместо.
В настоящее время я играю с аналогичным вариантом использования и AudioRecorder работает без нареканий
Эхоподавление в Android во многих случаях работает не очень хорошо. Я думаю, что это связано с длинным эхо-хвостом. Я знаю, что есть сторонние алгоритмы для этой проблемы. Google для программного обеспечения подавления эха и убедитесь, что программное обеспечение поддерживает длинный хвост эха.