Извлечение PCM-данных для создания отпечатка Chromaprint с использованием AudioGraph в Windows 10 (UAP)
В настоящее время я пытаюсь написать приложение Win 10, которое использует chromaprint для идентификации песни и получения данных с acoustid.org.
Но мои ExtractPCM-методы возвращают неправильные значения. Первая проблема это возвращает ко многим ценностям. У меня много данных 246 секунд против 237. Второе значение - это возврат от fpcalc.exe.
Вторая проблема заключается в том, что моя реализация ExtractPCM возвращает совершенно иные значения, чем рабочая реализация, которую я нашел в проекте с открытым исходным кодом. Я не очень хорошо понимаю аудио, но думаю, что мои ценности определенно неверны.
Эталонная реализация, которую я использую для тестирования моего кода, - AresRpg. Который использует BASS для извлечения данных PCM.
Возврат данных BASS начинается с 10.054 нулей и продолжается следующим образом:
-1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 0 0 0 0 0 0 0 0 0 0 0 -1 - 1 0
Последние значения в конце двух секундной метки выглядят так:
612 627 635 647 655 656 662 662 663 658
Моя реализация начинается с 10.528 нулей, за которыми следуют:
-15194 11946 21344 12111 25732 12414 -28715 12748 6098 12973 -31198 13046 28784 12844 21248 12797 1592 13165 22544 13294 -20448
И заканчивая
13636 -17580 -18770 -17639 -29613 -17604 10168 -17608 20472 -17618
Мой ExtractPCM выглядит как
public static async Task<PcmInfo> ExtractPcm(IStorageFile file)
{
int sampleRate = 0;
int chanels = 0;
double seconds = 0;
short[] erg = null;
var graphResult = await Windows.Media.Audio.AudioGraph.CreateAsync(new Windows.Media.Audio.AudioGraphSettings(Windows.Media.Render.AudioRenderCategory.Media));
using (var graph = graphResult.Graph)
{
var encodingProperties = Windows.Media.MediaProperties.AudioEncodingProperties.CreatePcm(22050, 1, 16);
var fileResult = await graph.CreateFileInputNodeAsync(file);
var fileInput = fileResult.FileInputNode;
{
var output = graph.CreateFrameOutputNode(encodingProperties);
{
fileInput.AddOutgoingConnection(output);
var duratio = fileInput.Duration.TotalSeconds;
var taskSource = new TaskCompletionSource<object>();
fileInput.FileCompleted += (source, e) =>
{
graph.Stop();
output.Stop();
taskSource.TrySetResult(null);
};
graph.Start();
await taskSource.Task;
var audioFrame = output.GetFrame();
using (var lockedBuffer = audioFrame.LockBuffer(Windows.Media.AudioBufferAccessMode.ReadWrite))
{
using (var refference = lockedBuffer.CreateReference())
{
await Task.Run(() =>
{
unsafe
{
var memoryByteAccess = refference as IMemoryBufferByteAccess;
byte* p;
uint capacity;
memoryByteAccess.GetBuffer(out p, out capacity);
chanels = (int)output.EncodingProperties.ChannelCount;
sampleRate = (int)output.EncodingProperties.SampleRate;
int length = (int)(capacity / sizeof(Int16));
Int16* b = (Int16*)(p);
erg = new short[length];
for (int i = 0; i < erg.Length; i++)
erg[i] = b[i];
seconds = length / (double)output.EncodingProperties.SampleRate / chanels;
}
});
}
}
}
}
var sb = new StringBuilder();
foreach (var item in erg.SkipWhile(y => y == 0).Take(sampleRate * 2))
{
sb.Append($"{item} ");
}
System.Diagnostics.Debug.WriteLine($"Leading zeros {erg.TakeWhile(y => y == 0).Count()} ");
System.Diagnostics.Debug.WriteLine(sb);
return new PcmInfo() { Data = erg, Seconds = seconds, SampleRate = sampleRate, Chanels = chanels };
}
}
AresRPG использует следующий код для чтения данных:
public static System.Int16[] ExtractPcm(String file, out double seconds)
{
seconds = 0;
int handle = Bass.BASS_StreamCreateFile(file, 0, 0, BASSFlag.BASS_STREAM_DECODE | BASSFlag.BASS_SAMPLE_MONO | BASSFlag.BASS_STREAM_PRESCAN);
if (handle == 0)
{
BASSError error = Bass.BASS_ErrorGetCode();
// System.Console.WriteLine("ERROR: " + error);
return null;
}
long length = Bass.BASS_ChannelGetLength(handle);
seconds = Bass.BASS_ChannelBytes2Seconds(handle, length);
int mixHandle = Un4seen.Bass.AddOn.Mix.BassMix.BASS_Mixer_StreamCreate(22050, 1, BASSFlag.BASS_STREAM_DECODE);
if (mixHandle == 0)
{
BASSError error = Bass.BASS_ErrorGetCode();
// System.Console.WriteLine("ERROR: " + error);
return null;
}
if (!Un4seen.Bass.AddOn.Mix.BassMix.BASS_Mixer_StreamAddChannel(mixHandle, handle, BASSFlag.BASS_DEFAULT))
{
BASSError error = Bass.BASS_ErrorGetCode();
// System.Console.WriteLine("ERROR: " + error);
return null;
}
List<System.Int16> data = new List<System.Int16>();
while (true)
{
Int16[] buffer = new Int16[512];
int num = Bass.BASS_ChannelGetData(mixHandle, buffer, buffer.Length * 2);
if (num == -1)
{
BASSError error = Bass.BASS_ErrorGetCode();
Bass.BASS_StreamFree(handle);
// System.Console.WriteLine("ERROR: " + error);
return null;
}
for (int i = 0; i < num / 2; ++i)
{
if (i < buffer.Length)
data.Add(buffer[i]);
else
throw new ApplicationException();
}
if (num < buffer.Length * 2)
break;
}
Bass.BASS_StreamFree(handle);
try
{
return data.ToArray();
}
catch (System.OutOfMemoryException)
{
System.GC.Collect();
return null;
}
}
РЕДАКТИРОВАТЬ
Я изменил небезопасный блок на следующее:
await Task.Run(() =>
{
unsafe
{
var memoryByteAccess = refference as IMemoryBufferByteAccess;
byte* p;
uint capacity;
memoryByteAccess.GetBuffer(out p, out capacity);
chanels = (int)output.EncodingProperties.ChannelCount;
sampleRate = (int)output.EncodingProperties.SampleRate;
int length = Math.Min((int)(sampleRate * duratio) * chanels, (int)(capacity / sizeof(float)));
float* b = (float*)(p);
erg = new short[length];
for (int i = 0; i < erg.Length; i++)
erg[i] = (Int16)(b[i] * Int16.MaxValue);
seconds = length / (double)output.EncodingProperties.SampleRate / chanels;
}
});
Это было потому, что формат, который использовался для хранения данных, был плавающей точкой, даже если SubType не является плавающим.
Теперь я получаю данные, которые распознаю как песню (я как личность), но все равно что-то выключено:(
Мое извлечение немного дольше и громче. Таким образом, при одновременном воспроизведении обеих версий начало воспроизведения будет синхронизированным, но вскоре вы услышите, что оба трека воспроизводятся с разной скоростью. В конце концов, разница составляет около одной секунды. Я не думаю, что громкость может повлиять на отпечаток пальца, но медленная скорость моего декодирования может иметь значение.
Образец, который я использовал для тестирования, был Rolling Deep от Adele, который будет идентифицирован с помощью ousticid.org. Но я думаю, что мне запрещено публиковать отредактированную версию.
Поэтому я использовал эту cc Song и создал wav-файл, в котором мое декодирование находится в левом канале, а декодирование Ares - в правом.
К сожалению, этой песни нет в базе данных acusticId, по крайней мере, я не могу найти отпечаток пальца.