Cloudera - Sqoop codegen пользовательский класс ORM при импорте

Question

Я новичок в среде Cloudera, я пытаюсь импортировать данные из RDBMS, используя Sqoop, и мне нужно применить некоторые преобразования к данным во время импорта. В частности, мне нужно зашифровать некоторые поля перед их сохранением в Hadoop DFS. Для этого я пытаюсь использовать команду codegen, которая генерирует Java-класс ORM, который я могу изменить.

Допустим, у меня есть таблица 'products' в базе данных MySQL, и я хочу импортировать ее в HDFS с помощью Sqoop и зашифровать поле 'brand'. Сначала я запустил эту команду:

sqoop codegen \ 
--connect jdbc:mysql://localhost/test \
--username username --password password \
--table products

Это создает файлы products.java, products.jar и products.class в папке /tmp/sqoop-training/compile/fc8868dda33ef703ad126583cf77477f.

Теперь я изменил метод readFields в products.java следующим образом:

// WARNING: This class is AUTO-GENERATED. Modify at your own risk.
//
// Debug information:
// Generated date: Thu Nov 16 06:55:13 PST 2017
// For connector: org.apache.sqoop.manager.MySQLManager
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.lib.db.DBWritable;
import com.cloudera.sqoop.lib.JdbcWritableBridge;
import com.cloudera.sqoop.lib.DelimiterSet;
import com.cloudera.sqoop.lib.FieldFormatter;
import com.cloudera.sqoop.lib.RecordParser;
import com.cloudera.sqoop.lib.BooleanParser;
import com.cloudera.sqoop.lib.BlobRef;
import com.cloudera.sqoop.lib.ClobRef;
import com.cloudera.sqoop.lib.LargeObjectLoader;
import com.cloudera.sqoop.lib.SqoopRecord;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.sql.Date;
import java.sql.Time;
import java.sql.Timestamp;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.TreeMap;

public class products extends SqoopRecord  implements DBWritable, Writable {

    // [...]

    public void readFields(ResultSet __dbResults) throws SQLException {
        this.__cur_result_set = __dbResults;
        this.prod_id = JdbcWritableBridge.readInteger(1, __dbResults);
        this.brand = encrypt(JdbcWritableBridge.readString(2, __dbResults));
        this.name = JdbcWritableBridge.readString(3, __dbResults);
        this.price = JdbcWritableBridge.readInteger(4, __dbResults);
        this.cost = JdbcWritableBridge.readInteger(5, __dbResults);
        this.shipping_wt = JdbcWritableBridge.readInteger(6, __dbResults);
    }

    // [...]

}

У меня есть два вопроса:
1) Как мне перекомпилировать products.java для получения обновленных версий products.class и products.jar? Я пробовал с

javac products.java

но JVM выдает 82 ошибки, кажется, что она не может найти пакеты из пространства имен hadoop и cloudera:

error: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.BytesWritable;
                           ^
products.java:8: error: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.Text;
                           ^
products.java:9: error: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.Writable;
                           ^
products.java:10: error: package org.apache.hadoop.mapred.lib.db does not exist
import org.apache.hadoop.mapred.lib.db.DBWritable;
                                      ^
products.java:11: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.JdbcWritableBridge;
                             ^
products.java:12: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.DelimiterSet;
                             ^
products.java:13: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.FieldFormatter;
                             ^
products.java:14: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.RecordParser;
                             ^
products.java:15: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.BooleanParser;
                             ^
products.java:16: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.BlobRef;
                             ^
products.java:17: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.ClobRef;
                             ^
products.java:18: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.LargeObjectLoader;
                             ^
products.java:19: error: package com.cloudera.sqoop.lib does not exist
import com.cloudera.sqoop.lib.SqoopRecord;

2) Как только я успешно скомпилировал products.java, как я могу использовать Sqoop для импорта данных в HDFS, используя мой собственный класс ORM?

Заранее спасибо!

Answer 1

По первому вопросу:

добавлять

export CLASSPATH=`hadoop classpath`:/opt/cloudera/parcels/CDH/lib/sqoop/lib

и попробуйте еще раз.

пс. Вообще об архитектуре, небольшой комментарий: "В частности, мне нужно зашифровать некоторые поля перед их сохранением в Hadoop DFS" - почему бы вам не использовать HDFS Transparent Encryption? https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_sg_hdfs_encryption.html Вы можете достичь того же самого без какого-либо кодирования.