Большие данные в SharePoint 2010

Question

У меня есть большой объем данных (7 миллионов строк) в формате CSV, который я должен автоматически импортировать в проект SharePoint один раз в месяц. Общий объем данных не так уж велик (100 кБ). Запрос в этих данных обычно получает только одну или несколько строк)

Поскольку SharePoint на самом деле не "любит" большие списки (пороговые значения и т. Д.), Я думаю, что было бы лучшим способом решить это узкое место.

1. Просто поместите данные в список (не предпочел бы, потому что даже удаление перед импортом наверняка займет несколько часов)

2. Сохраните данные в sql-базе данных и напишите "обертку" для прямого подключения к SQL

Это мои первые мысли о возможности решить эту проблему. Есть ли другие (лучшие) подходы?

Answer 1

Я бы использовал SSIS для этого.

Загрузите адаптеры списков SharePoint для служб SSIS (просто выполните поиск в Google).

Используйте соединение с простым файлом, чтобы получить данные из вашего CSV-файла, и вы можете сравнить данные, уже имеющиеся в вашем списке sharepoint, с данными в CSV-файле и добавить только новые строки - я думаю, что вы используете для этого слияние / объединение,

Я делал это раньше, дайте мне знать, если вам нужно больше подробностей, это просто из головы.