Разработчики с C#, VBA и Python хотят отправить данные в базу данных
У меня есть вопрос, у меня так много путаницы. Я недавно закончил, начал работать в компании, где много старых данных в текстовых файлах, поэтому я организовал все эти данные с помощью Python и создал файл Excel. так что для ситуации хорошо.
Проблема, для новых поступающих данных датчиков от разных разработчиков
Большинство парней, использующих сценарии VB, проверяют данные и сохраняют данные в текстовых файлах, используя разделители (и |).
какой-то другой парень, разрабатывающий проекты на C#, эти люди получили разные текстовые данные с разными разделителями (: и,)
Вопрос, который я должен настроить для базы данных, как я могу автоматически перенести все эти данные разработчиков в базу данных, для этих текстовых данных я создал для них имена столбцов и структуру.
Нужно ли мне разрабатывать индивидуальный интерфейс для всех этих разработчиков или есть какой-то общий интерфейс, на котором я должен сосредоточиться, или с чего начать, мне все еще не хватает.
Я надеюсь, что люди там поняли мою ситуацию.
С наилучшими пожеланиями Винод
4 ответа
Поскольку вы пытаетесь получить данные из разных источников и используете SQL Server, вы можете обратиться к службам интеграции SQL Server (SSIS). В основном вы создаете пакеты служб SSIS, по одному для каждого входящего источника данных, и переносите данные в одну однородную базу данных.
Вы должны рассмотреть возможность использования инструмента Power Query в Excel. Вы можете получать практически любой тип файла (включая текстовые файлы) из разных мест, легко очищать и преобразовывать данные (вы можете уменьшать их по своему усмотрению), и объем хранилища практически неограничен, в отличие от обычной электронной таблицы Excel, объем которой составляет около 1,4 миллиона. строк.
Я не знаю ситуацию в вашей компании, но PDI (инструмент интеграции данных Pentaho, хорош для преобразования данных. Community Edition бесплатен!
Однако, если вы сгенерировали их в файл Excel, Power Query мог бы стать лучшим инструментом для этого проекта, если ваши данные относительно невелики.
Эти типы реализаций и шаблоны проектирования действительно зависят от вашей компании и среды разработки, в которой вы работаете.
Что касается выбора правильной базы данных, это также зависит от типа данных, скорости, объема и общих вопросов, на которые ваша компания хотела бы ответить, используя эти данные.
Некоторые очень общие рекомендации:
- Схематические базы данных отличаются от баз данных "NoSQL"
- Поиск в тексте отличается от поиска простых примитивных типов, и вы должны знать, что вы будете делать!
- Если у вас есть такая возможность, преобразование обоих текстовых файлов сценариев VB и C# в популярные файлы структуры данных (т. Е. JSON, CSV (текстовый файл с разделителями-запятыми одинаков)) может помочь вам сохранить данные практически в любой базе данных.
- Нет ничего правильного или неправильного в реализации определенного интерфейса для каждого поставщика данных, это зависит от поставленных на карту альтернатив и вашего стиля кодирования
- Проконсультируйтесь с другими и готовыми кейсами
Надеюсь, это полезно