Описание тега libhdfs

Вопросы с тегом
Use this tag for questions relevant to libhdf; a JNI based C api for Hadoop's DFS.
1 ответ

libhdfs выбрасывает неверную строку UTF8 в постоянную ошибку пула при запуске через callgrind

Я пытаюсь запустить один мой процесс через callgrind. Один из дочерних процессов (который мне нужно отследить) вызывает libhdfs и при запуске через callgrind выдает исключение: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Pr…
13 апр '16 в 01:22
0 ответов

ОШИБКА: java.lang.IllegalMonitorStateException в коде c с использованием libhdfs

Я пытался запустить программу, написанную на языке C++, используя hdfs c api. но это не работает. этот код написан для чтения локального файла и записи в hdfs как команда hdfs dfs -put. вот моя рабочая среда: linux vesrion: 2.6.32-573.el6.x86_64 had…
10 май '17 в 05:25
1 ответ

Исключение Hadoop java.lang.NoSuchMethodError при вызове hdfsOpenFile в hdfs C API

Во-первых, у меня был построен hadoop-2.7.2 с использованием mvn и переменных окружения, установленных правильно. Затем я пытаюсь запустить простой пример на веб-сайте Apache: пример кода C API libhdfs #include "hdfs.h" int main(int argc, char **arg…
12 авг '16 в 21:26
0 ответов

Почему некоторые чтения HDFS такие медленные, когда все данные кэшируются вне кучи?

Я делаю тест производительности HDFS. Я использую HDFS C++ API. Я заметил, что большинство операций чтения занимает до 5 микросекунд. Но некоторые операции чтения занимают 500-800 микросекунд. В чем может быть причина, учитывая, что все данные наход…
25 янв '18 в 14:45
0 ответов

Как решить случайные сбои с Cloudera libhdfs.so?

Получение SIGSEGV дает сбой в libjvm.so при использовании libhdfs.so от Cloudera. Кажется, что они происходят в случайных точках с учетом трассировки стека, но чаще всего во время Java-функции Monitor::wait(). Любые предложения будут ценны. Окружающ…
31 май '17 в 16:52
2 ответа

Соединяющий пиарроу с libhdfs3

Я пытаюсь подключиться к кластеру hadoop через пиарроу HdfsClient / hdfs.connect(), Я заметил пиарроу have_libhdfs3() функция, которая возвращает False. Как получить необходимую поддержку hdfs для pyarrow? Я понимаю, что есть команда conda для libhd…
20 ноя '17 в 21:26
0 ответов

Настройка libhdfs для приложения C++

Из моего приложения C++ мне нужно записать некоторые данные в HDFS(Hadoop v2.4.1) какого-либо другого приложения. В нашей команде мы собираем все программное обеспечение третьей части из исходников как для Windows, так и для Linux, поэтому я скачал …
09 мар '18 в 10:53
1 ответ

AppData\Local\Temp\cc59LXDc.o:test1.cpp: неопределенная ссылка на `constructNewObjectOfClass(JNIEnv_*, _jthrowable**, char const*, char const*, ...)'

Цель: получить доступ к файлу кластера hadoop (чтение / запись HDFS) через код C++. Операционная система Windows 7 Ниже приведен мой пример кода #include "hdfs.h" #include "hdfs.cpp" int main(int argc, char **argv) { hdfsFS fs =hdfsConnect( "localho…
05 июн '18 в 13:18
0 ответов

Ошибка сегментации 11 при просмотре файлов HDFS

Извиняюсь, потому что я не знаю достаточно, чтобы правильно задать этот вопрос; все, что я знаю, это то, что я получаю сообщение об ошибке Segmentation Fault: 11 всякий раз, когда я пытаюсь перечислить несколько файлов, хранящихся в HDFS, используя …
19 апр '19 в 18:28
0 ответов

Когда libhdfs hdfsRename вернет -1

Я использую libhdfs в моей программе на C++, когда я использую hdfsRename для перемещения файла со старого пути на новый. новый путь не существует, а старый путь существует.Но когда я запускаю программу, я получаю сообщение об ошибке, функция hdfsRe…
26 апр '19 в 07:00
0 ответов

Как интегрировать / использовать libhdfs C API в приложении Visual Studio C?

Я хочу написать программу на C в Visual Studio 2017, которая записывает некоторые случайные целочисленные значения в HDFS (Hadoop Cluster). Он должен работать следующим образом: 1. создать CSV-файл, а затем каждую секунду: 2. добавлять одно случайно…
23 май '19 в 08:30
2 ответа

Как написать на HDFS с помощью Pyarrow

Я использую Python с библиотекой Pyarrow, и я хотел бы написать pandas dataframe на HDFS. Вот код, который у меня есть import pandas as pd import pyarrow as pa fs = pa.hdfs.connect(namenode, port, username, kerb_ticket) df = pd.DataFrame(...) table …
14 авг '19 в 21:36
0 ответов

HDFS io.file.buffer.size vs api bufferSize

Я обнаружил, что есть две настройки размера буфера: одна - io.file.buffer.size из core-default.xml, другая - bufferSize из C API - libhdfs. Они такие же? вот hdfsOpenFile api от hdfs.h: /** * hdfsOpenFile - Open a hdfs file in given mode. * @depreca…
26 сен '19 в 16:27
1 ответ

ImportError: libarrow.so.14: невозможно открыть файл общих объектов: нет такого файла или каталога | питон

Я получаю сообщение об ошибке ниже, когда пытаюсь установить нижеприведенную библиотеку с помощью файла (.tar.bz2) . У меня нет подключения к Интернету в моем кластере hadoop, поэтому я использую команду ниже для установки pyarrow с помощью conda. (…
04 ноя '19 в 01:54
0 ответов

WinError 126 Ошибка при подключении к HDFS с помощью hdfs3

Я пытаюсь прочитать файл рабочего места HDFS, используя следующий код: import hdfs3 from hdfs3 import HDFileSystem hdfs=HDFileSystem(host='host',port='port') with hdfs.open('FILE') as f: model_AOB = f.read() Я получаю следующую ошибку: -------------…
11 фев '20 в 14:29
1 ответ

Такой файл не существует при работе каналов Hadoop с использованием C++

При запуске программы уменьшения карты hadoop с использованием каналов hadoop файл, который присутствует в hdfs, не обнаруживается программой сокращения. Если программа выполняется без каналов hadoop, файл легко найти библиотекой libhdfs, но при зап…
12 июл '20 в 18:43
1 ответ

Как мне установить путь к libhdfs.so для pyarrow?

Я пытаюсь использовать pyarrow и получаю следующую ошибку. ImportError: Can not find the shared library: libhdfs3.so поэтому я прочитал некоторый stackru, и он говорит, что мне нужно установить переменную enviorment для ARROW_LIBHDFS_DIR.Путь к libh…
30 июл '20 в 15:17
0 ответов

ImportError: не удается найти общую библиотеку: libhdfs3.so

Я разрабатываю клиент файловой системы Hadoop с модулем python hdfs3. Моя ОС - CentOS 8, а IDE - eclipse. Сначала я пытаюсь установить hdfs3 с помощью команды conda install. # conda config --add channels conda-forge # conda config --set channel_prio…
18 окт '20 в 03:04
0 ответов

Как подключиться к HDFS с помощью PyArrow?

В настоящее время я использую PyArrow в Windows 10, сам Hadoop установлен правильно, и Java также установлена, но я продолжаю получать сообщение «OSError: невозможно загрузить libjvm: указанный модуль не может быть найден». при использовании fs.Hado…
28 апр '21 в 15:25
1 ответ

Pyarrow fs.HadoopFileSytem сообщает о невозможности загрузки libhdfs.so

Я пытаюсь использовать интерфейс файловой системы pyarrow с HDFS. Я получаю сообщение об ошибке libhdfs.so not found при вызове конструктора fs.HadoopFileSystem, хотя libhdfs.so явно находится в указанном месте. from pyarrow import fs hfs = fs.Hadoo…
14 сен '21 в 22:48