Большой двоичный обмен данными между процессами

Question

У меня есть большие двоичные данные из ip-данных о Xmb. Процессы используют бинарный алгоритм для поиска IP-адреса. У меня есть три метода. 1. положить в ETS. но я полагаю, что каждый доступ для чтения будет копировать большой двоичный файл для обработки.:( 2. поставить в состояние gen_server. Процессы используют gen_server:call для получения адреса. Кратковременный параллелизм. 3. скомпилировать двоичный файл в луч. Но когда я скомпилирую, получим eheap_alloc: Cannot allocate 1318267840 bytes of memory (of type "heap")

какие лучшие практики обмена большими данными в эрланге?

Answer 1

Двоичные файлы размером более 64 байт хранятся в виде двоичных файлов с подсчетом ссылок, а их данные хранятся вне кучи любого процесса. Если такой двоичный файл отправляется любому процессу, базовые данные не дублируются. Таким образом, если вы сохраните такой двоичный файл в таблице ETS и затем получите доступ к нему из различных процессов, базовые данные не будут скопированы, будет увеличен / уменьшен только его счетчик ссылок. Я бы предложил перейти к решению ETS Table.

Вот демонстрация использования памяти при загрузке, после вставки двоичного файла размером 100 МБ в таблицу ETS и после извлечения копии двоичного файла в процесс оболочки. Использование памяти не меняется после того, как мы сохранили двоичный файл копии в процессе оболочки. То же самое не будет верно, если бы это была строка из миллиона символов (список целых чисел), которую мы копировали из ETS или другого процесса.

1> erlang:memory().
[{total,21912472},
 {processes,5515456},
 {processes_used,5510816},
 {system,16397016},
 {atom,223561},
 {atom_used,219143},
 {binary,844872},
 {code,4808780},
 {ets,301232}]
2> ets:new(foo, [named_table, set]).
foo
3> ets:insert(foo, {foo, binary:copy(<<".">>, 104857600)}).
true
4> erlang:memory().
[{total,127038632},
 {processes,5600320},
 {processes_used,5599952},
 {system,121438312},
 {atom,223561},
 {atom_used,220445},
 {binary,105770576},
 {code,4908097},
 {ets,308416}]
5> X = ets:lookup(foo, foo).
[{foo,<<"........................................................................................................"...>>}]
6> erlang:memory().
[{total,127511632},
 {processes,6082360},
 {processes_used,6081992},
 {system,121429272},
 {atom,223561},
 {atom_used,220445},
 {binary,105761504},
 {code,4908097},
 {ets,308416}]

Вы можете найти намного больше информации о том, как эффективно работать с двоичными файлами в Erlang, по ссылке выше.