Каркас для выполнения распределенных вычислений в облаке.NET

Question

Я думаю о разработке инфраструктуры для упрощения работы распределенных вычислений в облачной среде.NET Windows Azure.

В настоящее время Azure (и, скорее всего, к моменту выпуска) совершенно не подходит для простого запуска распределенных запросов в облаке ( подробности). Просто для меня это что-то вроде DryadLINQ, где вы можете написать запрос:

var results = from c in collection
  where IsLegal(c.Key)
  select new 
  { 
    Key = Hash(c.Key), 
    Result = RunModel(c.Value); 
  };

и выполнить его удаленно на нескольких машинах в кластере. Никаких развертываний, хранилищ или конфигураций.

Какие ресурсы, документы или проекты с открытым исходным кодом вы могли бы посоветовать проверить для получения дополнительной информации по этому вопросу (особенно планирование и оптимизация DAG)?

До сих пор я копался в Hadoop (используется Amazon Elastic Map Reduce) и DryadLINQ. Очевидно, это включает в себя поиск в Google.

Answer 1

В Google Research есть много интересных статей.

MapReduce Paper может быть хорошим местом для начала, если вы еще не прочитали его.