Сохранять только n записей при вставке новых записей в диван

Question

У меня есть огромное ведро, в котором хранятся все данные уведомлений пользователя. как это:

┌────┬─────────┬─────────────────────────┐
│ id │ user_id │          data           │
├────┼─────────┼─────────────────────────┤
│  1 │       1 │ {"somekey":"someValue"} │
│  2 │       2 │ {"somekey":"someValue"} │
│  3 │       1 │ {"somekey":"someValue"} │
│  4 │       1 │ {"somekey":"someValue"} │
│  5 │       1 │ {"somekey":"someValue"} │
│  6 │       2 │ {"somekey":"someValue"} │
│  7 │       2 │ {"somekey":"someValue"} │
│  8 │       1 │ {"somekey":"someValue"} │
│  9 │       2 │ {"somekey":"someValue"} │
│ 10 │       2 │ {"somekey":"someValue"} │
└────┴─────────┴─────────────────────────┘

Итак, в любое время я хочу вставить новую запись, например, для user_id=2, Я хочу удалить самую раннюю запись для user_id=2 иметь только N запись для каждого пользователя (конечно, если общее количество записей меньше N, удаления не будет)

Answer 1

@ehsan, другой альтернативой является использование службы Eventing Service и передача ваших документов в функцию Eventing. Вы можете использовать составной ключ как id (для уведомления), так и user_id.

Например, я использую ключи вида "nu:#:#". Затем ваши данные или уведомления будут обрабатываться Eventing для создания пользовательского документа, подобного предложенному @MatthewGroves.

Фактически вы можете при желании удалить свои входные документы, когда они будут успешно добавлены.

Рассмотрите свои ключи ввода и документы следующим образом:

┌──────────┬─────────────────────────┐
│ key      │  data                   │
├──────────┼─────────────────────────┤
│  nu:1:u1 │ {"somekey":"someValue"} │
│  nu:2:u2 │ {"somekey":"someValue"} │
│  nu:3:u1 │ {"somekey":"someValue"} │
│  nu:4:u1 │ {"somekey":"someValue"} │
│  nu:5:u1 │ {"somekey":"someValue"} │
│  nu:6:u2 │ {"somekey":"someValue"} │
│  nu:7:u2 │ {"somekey":"someValue"} │
│  nu:8:u1 │ {"somekey":"someValue"} │
│  nu:9:u2 │ {"somekey":"someValue"} │
│ nu:10:u2 │ {"somekey":"someValue"} │
└──────────┴─────────────────────────┘

Теперь мы можем использовать функцию Eventing с параметром MAX_ARRAY = 3 (настроить по своему усмотрению) для управления максимальным количеством уведомлений для каждого пользователя.

Обратите внимание, что я также добавил параметр MAX_RETRY = 16, чтобы повторить операцию, если возникнет конфликт (своего рода CAS для бедняков, выполненный путем проверки поля, содержащего Math.random()).

Я предполагаю, что идентификаторы уведомлений всегда увеличиваются, поскольку JavaScript обрабатывает 2^53 -1 (или 9007199254740991), это не должно быть проблемой.

Ниже показана рабочая функция троеборья:

/*
KEY nu:10:2 // Example input document where 10 is the notify_id 2 is the user_id
{
    "somekey": "someValue"
}

KEY user_plus_ntfys:2 // Example output doc where "id": 2 is the user_id built from above
{
   "type": "user_plus_ntfys",
   "id": 2,
   "notifications" : [
     {"nid": 7, "doc": { "somekey": "someValue"}},
     {"nid": 9, "doc": { "somekey": "someValue"}},
     {"nid": 10, "doc": { "somekey": "someValue"}}
   ]
}
*/

function OnUpdate(doc, meta) {
    const MAX_RETRY = 16;
    const MAX_ARRAY = 3;
    
    // will process ALL data like nu:#:#
    var parts = meta.id.split(':');
    if (!parts || parts.length != 3 || parts[0] != "nu") return;
    var ntfy_id = parseInt(parts[1]);
    var user_id = parseInt(parts[2]);
    //log("Doc created/updated " +  meta.id + " ntfy_id " + ntfy_id  + " user_id " + user_id);

    var insert_json = {"nid": ntfy_id, doc};
    for (var tries=0; tries < 16; tries++) {
        var user_doc = addToNtfyArray(src_bkt, user_id, insert_json, MAX_ARRAY);
        if (user_doc == null) {
            // do nothing
            return;
        }
        var random_csum = user_doc.random;
        // this is a read write alias to the functons source bucket
        src_bkt["user_plus_ntfys:" + user_id] = user_doc;
        user_doc = src_bkt["user_plus_ntfys:" + user_id];
        if (random_csum !== user_doc.random) {
            // failure need to retry
            tries++;
        } else {
            // success could even delete the input notification doc here
            return;
        }
    }
    log ("FAILED to insert id: " + meta.id, doc)
}

function addToNtfyArray(src_bkt, user_id, insert_json, max_ary) {
    var ntfy_id = insert_json.nid;
    var random_csum;
    var user_doc = src_bkt["user_plus_ntfys:" + user_id];
    if (!user_doc) {
        // generate unique random #
        random_csum = Math.random();
        user_doc = { "type": "user_plus_ntfys", "id": user_id, "notifications" : [], "random": random_csum };
        user_doc.notifications.push(insert_json);
    } else {
        if (user_doc.notifications[0].nid >= ntfy_id && user_doc.notifications.length === max_ary) {
            // do nothing this is older data, we assume that nid always increases
            return null;
        } else {
            // find insert position
            for(var i=0; i<=user_doc.notifications.length + 1 ; i++) {
                if (i < user_doc.notifications.length && user_doc.notifications[i].nid === ntfy_id) {
                    // do nothing this is duplicate data we already have it, assume no updates to notifys
                    return null;
                }  
                if (i == user_doc.notifications.length || user_doc.notifications[i].nid > ntfy_id) {
                    // add to array middle or end
                    user_doc.notifications.splice(i, 0, insert_json);
                    random_csum = Math.random();
                    // update unique random #
                    user_doc.random = random_csum;
                    break;
                }
            }
        }
        while (user_doc.notifications.length > max_ary) {
            // ensure proper size
            user_doc.notifications.shift();
        }
    }
    return user_doc;
}

Answer 2

Возможно, есть лучший подход к моделированию данных. Нужны ли все эти данные в отдельных документах? Если "N" - относительно небольшое число, вы можете поместить все это в массив в одном документе. Подобно:

{
   "type": "user",
   "name": "ehsan",
   "notifications" : [
     {"somekey":"someValue"},
     {"somekey":"someValue"},
     {"somekey":"someValue"} 
   ]
}

Тогда процесс будет таким:

1. Получить документ
2. Добавить запись в массив уведомлений
3. Определите, нужно ли вам удалить старую запись (а затем удалите ее)
4. Сохраните обновленный документ.

Этот подход имеет преимущества простоты и отсутствия необходимости обновлять несколько фрагментов данных. То, как вы смоделировали это, может работать, но вам потребуются транзакции ACID (которые пока недоступны в Couchbase's Node SDK) или, возможно, функция Eventing, чтобы проверить, не слишком ли много документов уведомлений для каждого пользователя всякий раз, когда создается новое уведомление.