Как объединить базы данных хэш-таблицы Tokyo Cabinet (файлы.tch) (без дубликатов ключей)
Это возможно? Я не мог найти ответ нигде.
В основном я смотрю на установку, где у меня есть несколько рабочих (ящиков), которые в конечном итоге должны хранить там данные в индекс / дБ Токийского Кабинета (я использую Токито Тирант по протоколу memcached, хотя это не так важно, но все же)
По сути, я попытался перенести данные прямо в другую коробку, в которой работает Tokyo Tyrant, но через некоторое время TT не может с этим справиться. Вставки становятся очень медленными, и рабочие сидят без дела, желая выгрузить данные на TT-сервер. (Я пробовал все что угодно, чтобы улучшить производительность, больше оперативной памяти, raid-конфигов, нескольких TT-серверов на коробке и т. Д.), Но основное падение производительности (вставок в секунду) наступает рано или поздно.
Теперь я смотрю на вариант, позволяющий каждому работнику сохранять свои собственные данные в локальной базе данных Токийского тирана и впоследствии объединять базы данных всех работников (гарантия двойных ключей не гарантируется).
Любая помощь приветствуется (также оцениваются и другие способы распределения нагрузки на ТТ)
btw: конфигурация для TT: #bnum=20000000#opts=l#xmsiz=162000000 Я установил bnum в верхнюю границу ожидаемых элементов: 20 мил.
Спасибо, Герт-Ян
1 ответ
Проверить кчашмгр. Вы можете выгрузить файлы в файлы данных, а затем загрузить их в новый файл kch, созданный с большим значением bnum.