Проблема Microsoft Custom Speech Service при использовании URL-адреса веб-сокета

Question

Совсем недавно для рабочего проекта я играл с речью к текстовым моделям и, в частности, с заказной речью к текстовым моделям. С помощью нескольких примеров смешивания и сопоставления мне удалось получить тестовое приложение для взаимодействия с обычным API Bing для преобразования речи в текст. Но когда я пытаюсь использовать его с пользовательским речевым экземпляром, работает только HTTPS URL. Когда я использую любой из доступных URL-адресов веб-сокетов в форме An unhandled exception of type 'System.NullReferenceException' occurred in SpeechClient.dll происходит. Это небольшая проблема, поскольку эта конечная точка поддерживает только 2 минуты транскрипции, тогда как конечная точка web socket поддерживает до 10 минут.

Эта https://docs.microsoft.com/en-us/azure/cognitive-services/custom-speech-service/customspeech-how-to-topics/cognitive-services-custom-speech-use-endpoint страница является тем, что Я ухожу из. Он говорит, что я должен использовать URL-адрес веб-сокета при создании службы, но это приводит к ошибке выше.

Вот мой тестовый код для тестирования:

using System;
using Microsoft.CognitiveServices.SpeechRecognition;
using System.IO;

namespace ConsoleApp1
{
    class Program
    {
        DataRecognitionClient dataClient;

        static void Main(string[] args)
        {
            Program p = new Program();
            p.Run(args);
        }

        void Run(string[] args)
        {
            try
            {

                // Works
                //this.dataClient = SpeechRecognitionServiceFactory.CreateDataClient(SpeechRecognitionMode.LongDictation, "en-US", "Key");

                // Works
                //this.dataClient = SpeechRecognitionServiceFactory.CreateDataClient(SpeechRecognitionMode.LongDictation, "en-US",
                //                                                                    "Key", "Key",
                //                                                                    "https://Id.api.cris.ai/ws/cris/speech/recognize/continuous");

                // Doesn't work
                this.dataClient = SpeechRecognitionServiceFactory.CreateDataClient(SpeechRecognitionMode.LongDictation, "en-US",
                                                                                    "Key", "Key",
                                                                                    "wss://Id.api.cris.ai/ws/cris/speech/recognize/continuous");

                this.dataClient.AuthenticationUri = "https://westus.api.cognitive.microsoft.com/sts/v1.0/issueToken";

                this.dataClient.OnResponseReceived += this.ResponseHandler;
                this.dataClient.OnConversationError += this.ErrorHandler;
                this.dataClient.OnPartialResponseReceived += this.PartialHandler;

                Console.WriteLine("Starting Transcription");
                this.SendAudioHelper("Audio file path");
                (new System.Threading.ManualResetEvent(false)).WaitOne();
            } catch(Exception e)
            {
                Console.WriteLine(e);
            }

        }

        private void SendAudioHelper(string wavFileName)
        {
            using (FileStream fileStream = new FileStream(wavFileName, FileMode.Open, FileAccess.Read))
            {
                // Note for wave files, we can just send data from the file right to the server.
                // In the case you are not an audio file in wave format, and instead you have just
                // raw data (for example audio coming over bluetooth), then before sending up any 
                // audio data, you must first send up an SpeechAudioFormat descriptor to describe 
                // the layout and format of your raw audio data via DataRecognitionClient's sendAudioFormat() method.
                int bytesRead = 0;
                byte[] buffer = new byte[1024];

                try
                {
                    do
                    {
                        // Get more Audio data to send into byte buffer.
                        bytesRead = fileStream.Read(buffer, 0, buffer.Length);

                        // Send of audio data to service. 
                        this.dataClient.SendAudio(buffer, bytesRead);
                    }
                    while (bytesRead > 0);
                }
                finally
                {
                    // We are done sending audio.  Final recognition results will arrive in OnResponseReceived event call.
                    this.dataClient.EndAudio();
                }
            }
        }

        void ErrorHandler(object sender, SpeechErrorEventArgs e)
        {
            Console.WriteLine(e.SpeechErrorText);
        }

        void ResponseHandler(object sender, SpeechResponseEventArgs e)
        {
            if(e.PhraseResponse.RecognitionStatus == RecognitionStatus.EndOfDictation || e.PhraseResponse.RecognitionStatus == RecognitionStatus.DictationEndSilenceTimeout)
            {
                Console.WriteLine("Trnascription Over");
                Console.ReadKey();
                Environment.Exit(0);
            }
            for(int i = 0; i < e.PhraseResponse.Results.Length; i++)
            {
                Console.Write(e.PhraseResponse.Results[i].DisplayText);
            }
            Console.WriteLine();
        }

        void PartialHandler(object sender, PartialSpeechResponseEventArgs e)
        {

        }
    }
}

Заранее благодарю за любую помощь.

Answer 1

Так что вы, вероятно, в порядке использования https ... мы сейчас пересматриваем SDK (реструктуризация / реорганизация). Я ожидаю обновления в ближайшие пару месяцев.

Wolfgang

Answer 2

Новый речевой сервис SDK поддерживает Custom Speech Service из коробки. Пожалуйста, также проверьте образцы RecognitionUsingCustomizedModelAsync() здесь для деталей.