Как разобрать BlobColumn в слова, удаляя пробелы и возврат каретки, в SSIS?
Я создал поток данных в службах SSIS, который берет содержимое текстового файла и загружает его в таблицу базы данных SQL Server в виде BlobColumn. Текстовый файл представляет собой документ, содержащий предложения, возврат каретки и перевод строки. У меня есть преобразование "Выполнение SQL", которое загружает файл следующим образом:
Use MyDB;
Create Table TextToToken(Filename nvarchar(60), FileType nvarchar(60), Document varbinary(max));
Go
Insert into TextToToken(Filename, FileType, Document)
Select 'TokenDoc1.txt' as Filename, '*.txt' as FileType,
* from OPENROWSET(BULK N'C:\Docs\Doc1.txt', SINGLE_BLOB) as Document
Go
Я создал компонент сценария, который читает Document BlobColumn, и я попытался просто проанализировать слова, разделенные запятыми, используя следующее:
public override void Input0_ProcessInputRow(Input0Buffer Row)
{
string[] words = BlobToString(Row);
}
private string BlobToString(BlobColumn blob)
{
string result = "";
try
{
if (blob != null)
{
result = System.Text.Encoding.Unicode.GetString(blob.GetBlobData(0, Convert.ToInt32(blob.Length)));
}
}
catch (Exception ex)
{
result = ex.Message;
}
return result;
}
Как дополнить вышесказанное отдельными словами на основе точки, пробела и перевода строки в начале строки в дополнение к запятой?