Hive使用python编写的自定义函数udf进行etl

Hadoop使用Streaming技术来替代Java编程,允许用户使用其他语言实现业务逻辑处理Streaming采用UNIX标准输入输出机制(stdin/stdout)作为应用程序和Hadoop计算框架之间的数据接口标准只要符合标准I/O接口,开发人员便可以选择任意语言编写 Map/Reduce模块

 image                 

下面来做个测试:

表里一共有两列数据,当第二列的sex为1时,输入为man,当sex为2 时输出为women

一、在Hive里面创建表


CREATE TABLE IF NOT EXISTS test (name String,sex int)
row format delimited fields terminated by ',';  

二、加载数据

先准备好text.txt

内容如下:

li,2
liu,1
wang,1
zhao,2
lin,2

加载进表里

load data local inpath ‘text.txt’ into table test;

三、使用python编写UDF


import sys
def parsesex(line):
    data=int(line)
    if data == 1:
        return 'man'
    elif data == 2:
        return 'womem'
    else:
        return 'error'
for line in sys.stdin:
    line = line.strip()
    print(parsesex(line))    
    

四、测试

 

在hive里面加载py文件

add file /usr/local/src/test.py

在HQL中使用TRANSFORM函数动态执行Python文件:

select TRANSFORM(sex) USING 'python test.py' as sex from test;

image 测试成功。