Описание тега tachyon
Tachyon is a fault tolerant distributed file system enabling reliable file sharing at memory-speed across cluster frameworks, such as Spark and MapReduce.
0
ответов
Несоответствие версий spark-ec2 и Tachyon hadoop
Я пытаюсь использовать spark-ec2 для запуска кластера ec2 с hadoop версии 2.x, поэтому я попытался: ./spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster затем я обнаружил, что в процессе установки тахиона пр…
11 фев '15 в 20:27
2
ответа
Как конвертировать искровой RDD в mahout DRM?
Я получаю данные из Alluxio в Mahout, используя sc.textFile(), но это искра RDD. Моя программа также использует этот искровой RDD как Mahout DRM, поэтому мне нужно было конвертировать RDD в DRM. Так что мой текущий код остается стабильным.
07 апр '17 в 05:16
1
ответ
Tachyon: не удалось переименовать во время команды copyFromLocal
Я использую Apache Spark для создания приложения. Чтобы сделать СДР доступными из других приложений, я пробую два подхода: Используя тахион Использование spark-jobserver Я новичок в Tachyon. Я выполнил следующие задачи, приведенные в разделе " Бегущ…
21 янв '15 в 12:17
1
ответ
Tachyon по умолчанию реализован RDD в Apache Spark?
Я пытаюсь понять особенность памяти Спарка. В этом процессе я натолкнулся на Tachyon, который в основном находится на уровне данных в памяти, который обеспечивает отказоустойчивость без репликации с помощью систем родословной и сокращает повторное в…
22 апр '15 в 13:53
0
ответов
Инструкция по установке Тахиона в DCOS (Мезосфера)?
У меня есть спарк-ноутбук в DCOS. Тахион является частью экосистемы. Но я не смог найти какие-либо инструкции DCOS по установке Tachyon. Я мог бы установить его с нуля, но, кажется, существует какой-то DCOS-совместимый способ установки / регистрации…
20 май '16 в 00:32
0
ответов
Запуск HBase поверх Alluxio
Кому-нибудь удалось запустить hbase поверх alluxio? нет вики на веб-странице alluxio, связанной с этим вопросом... Не повезло с результатом Google! Моя среда это: Hadoop 2.6 HBase 0,98,20 Alluxio 1.1.0 редактировать java.io.IOException: alluxio.exce…
28 июн '16 в 09:17
2
ответа
Задание mapreduce не выполнено с помощью "org.apache.commons.codec.binary.Base64.encodeBase64String([B)Ljava/lang/String;"
Я выполнил работу MR в своем кластере на 3 узлах, каждый из которых имеет 128 ГБ и 40 ядер. Информация о кластере: 10.8.12.16: namenode active,datanode, мастер alluxio, работник alluxio 10.8.12.17: namenode standby,datanode, мастер alluxio, работник…
29 сен '16 в 13:37
1
ответ
Ошибка в настройке Tachyon на S3 под файловой системой
Я пытаюсь настроить Tachyon в файловой системе S3. Я совершенно новичок в Tachyon и до сих пор читаю то, что могу найти на нем. Мой tachyon-env.sh приведен ниже: !/usr/bin/env bash # This file contains environment variables required to run Tachyon. …
29 окт '14 в 17:52
1
ответ
Можно ли запретить Tachyon писать в underFS?
Можно ли запретить Tachyon писать в underFS? Я хотел бы хранить данные только на диске и не записывать их в underFS. Это возможно или поддерживается? С уважением, Майк
11 ноя '15 в 16:22
1
ответ
Тахион, похоже, не знает о доступной памяти
Просто чтобы посмотреть, выдаст ли мне Tachyon ошибку о том, что настроенная память больше, чем доступно, я установил: # Some value over combined available mem and disk space. export TACHYON_WORKER_MEMORY_SIZE=1000GB И заметил распределение в веб-ин…
18 окт '15 в 01:57
1
ответ
Spark Tachyon: как удалить файл?
В Scala в качестве эксперимента я создаю файл последовательности на Tachyon, используя Spark, и читаю его обратно. Я хочу удалить файл из Tachyon, используя также скрипт Spark. val rdd = sc.parallelize(Array(("a",2), ("b",3), ("c",1))) rdd.saveAsSeq…
19 июл '14 в 02:45
1
ответ
Тест Спарк с Тахионом
Я установил Tachyon и Spark в соответствии с инструкциями: http://tachyon-project.org/documentation/Running-Spark-on-Tachyon.html Однако, как новичок, я понятия не имею, как поместить файл "X" в файловую систему Tachyon, как они сказали: $ ./spark-s…
08 окт '15 в 23:09
0
ответов
Наиболее эффективный способ поэтапного хранения искрового окна в таблице с помощью Spark
Я хотел бы использовать spark-streaming для вставки окон событий в ежедневную таблицу, при этом делая эту таблицу всегда актуальной до последней секунды. По сути у меня это с искрой 1.4.1: val lines = KafkaUtils.createStream(ssc, zkQuorum, group, to…
23 авг '15 в 15:34
2
ответа
Читать несколько файлов с Spark Java из Alluxio медленно
Я установил Alluxio локально с Spark и вставил 1000 файлов в память Alluxio.Тем не менее чтение файла происходит очень медленно. Время чтения файла из памяти Alluxio равно времени чтения файла с диска. Я не понимаю почему. File Name Size Block Size …
16 авг '16 в 12:12
1
ответ
tachyon0.8.2 развернут с помощью hadoop2.6.0, но версия IPC не соответствует
Теперь я хочу развернуть tachyon0.8.2 на моем Ubuntu14.04, у меня уже есть hadoop и spark: на мастере bd@master$ jps 11871 Jps 3388 Master 2919 NameNode 3266 ResourceManager 3123 SecondaryNameNode на рабе bd@slave$ jps 4350 Jps 2778 NodeManager 2647…
28 дек '15 в 02:11
2
ответа
Тахион на главной репликации Dataproc Ошибка
У меня есть простой пример, работающий на главном узле Dataproc, где установлены Tachyon, Spark и Hadoop. У меня ошибка репликации при записи в Tachyon из Spark. Есть ли способ указать это не нуждается в репликации? 15/10/17 08:45:21 WARN org.apache…
17 окт '15 в 22:12
1
ответ
В чем разница между Apache Ignite и Tachyon
Я новичок в Apache Ignite - для интеграции с Ignite и Spark - похоже, что Ignite предоставляет слой в памяти, в котором данные будут жить в приложениях Spark, - та возможность, которую Tachyon предоставляет в качестве файловой системы в памяти. Итак…
06 дек '16 в 07:52
1
ответ
Развертывание apache-spark: автономные VS несколько виртуальных машин
У меня есть одна машина для развертывания Spark, Hadoop и Tachyon. Будут ли ускоренные операции из hdfs/tachyon на одном узле со всеми ядрами / ОЗУ или несколькими узлами ВМ, равномерно разделяющими ресурсы? Рам < 200GB. Производительность и масштаб…
21 май '15 в 17:12
2
ответа
В чем разница между распределенным кешем и тахионом?
Распределенный кеш - это метод, который хранит общие запросы и обеспечивает быстрый поиск. Tachyon - это файловая система распределенного хранения, ориентированная на память, которая позволяет избежать перехода на диск для загрузки часто читаемых на…
16 сен '15 в 07:59
0
ответов
Spark работа с ошибкой реализации файловой системы TFS
Я новичок в искре. Мне нужно запустить работу искры в oozie. По отдельности я могу запустить задание spark, но с oozie после запуска задания я получаю следующую ошибку: 017-01-12 13:51:57,696 INFO [main] org.apache.hadoop.service.AbstractService: Se…
13 янв '17 в 06:43