ALINK(五):ALINK使用技巧(一)

来源:https://www.yuque.com/pinshu/alink_guide/czg4cx

1 Alink Schema String简介【Alink使用技巧】

Alink在进行表数据读取和转换时,有时需要显示声明数据表的列名和列类型信息,即Schema信息。Schema String就是将此信息使用字符串的方式描述,这样便于作为Java函数或者Python函数的参数输入。

Schema String的定义格式与SQL Create Table语句所输入的格式相同,列名与对应列类型间使用空格分隔,各列定义间使用逗号分隔。具体格式如下:

colname coltype[, colname2 coltype2[, ...]]

例如,"f0 string, f1 bigint, f2 double",即表明数据表共有3列,名称分别为f0, f1和f2;对应类型分别为字符串类型,长整型和双精度浮点型。

 

关于各种列类型的写法,可以参照下面Flink Type与Type String的对应表。注意:为了适应不同用户的习惯,同一个Flink Type可能对应着多种Type String的写法。另外,Type String对于大小写不敏感,可以写STRING,也可以写String, string等形式。

2 DataFrame和Alink批式数据的互相转化【Alink使用技巧】

Alink提供了collectToDataframe()和fromDataframe()方法,实现了DataFrame和Alink批式数据的互相转化。

Alink批式数据 -> DataFrame

Alink的批式数据源或者计算结果,如果能转成Python的DataFrame形式,则可以利用Python丰富的函数库及可视化功能,进行后续的分析和显示。

Alink中每个批式数据源或批式算子都支持collectToDataframe()方法,不需要输入参数,返回的结果就是DataFrame。注意,该方法中带有collect字样,表明其执行过程中会使用Flink的collect方法,触发Flink任务执行。

示例如下,我们使用CsvSourceBatchOp读取UCI网站的iris.data数据

source = CsvSourceBatchOp()
    .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")
    .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

然后调用变量source的collectToDataframe()方法,得到相应的DataFrame,付给变量df_iris

df_iris = source.collectToDataframe()

到这里,我们就已经实现了Alink数据到Python DataFrame的转化,下面我们就可以使用Python的函数,进一步处理df_iris,譬如:使用head()方法,显示前5条数据。

df_iris.head()

运行结果为:

DataFrame -> Alink批式数据

对于DataFrame形式的数据,Alink提供了fromDataframe()方法,将数据转换为Alink批式数据。具体使用示例如下:

iris = BatchOperator.fromDataframe(df_iris, "sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

使用Alink批式算子BatchOperator的静态方法fromDataframe(),第一个参数为DataFrame数据,第二个参数为数据Schema的描述,由于DataFrame的数据类型与Alink有点差异,通过设置schema参数,可以严格保证转化后的数据与我们期望的一致。关于Schema String更多的介绍可以参见关于 Alink Schema String的简介。

 

最后,我们看一下转换后的Alink批式数据iris,取前5条数据进行打印输出,代码如下:

iris.firstN(5).print()

3 Python数组如何转化为批式数据源?【Alink使用技巧】

Python数组如何转化为批式数据源,是将DataFrame作为桥梁,分两步实现的:

  • 首先,Python Pandas提供了几种途径,可以在代码中直接输入数据,并构建DataFrame
  • PyAlink提供了DataFrame到SourceBatchOp的转换

示例如下,首先import pandas,然后定义一个包含String及整数类型的二维数组,并将其转化为DataFrame

import pandas as pd

arr_2D =[
    ['Alice',1],
    ['Bob',2],
    ['Cindy',3]
]

df = pd.DataFrame(arr_2D) 

然后使用BatchOperator的fromDataFrame方法,将前面定义好的DataFrame类型变量df作为第一个参数,后面的参数用来定义数据的列名与类型,使用SchemaStr格式,即列名与其类型间用空格分隔,各列定义之间使用逗号进行分隔。对应脚本如下:

BatchOperator.fromDataframe(df, 'name string, value int').print()

在上面脚本的最后部分,是对转换得到的Alink BatchOperator数据源执行print方法,显示数据的内容如下:

 

 

原文地址:https://www.cnblogs.com/qiu-hua/p/14869270.html