多列并行ID化预测 (HugeMultiStringIndexerPredictBatchOp)

Java 类名：com.alibaba.alink.operator.batch.dataproc.HugeMultiStringIndexerPredictBatchOp
Python 类名：HugeMultiStringIndexerPredictBatchOp

功能介绍

根据词典（由 MultiStringIndexerTrainBatchOp 组件生成）将字符串转换为ID，组件可同时处理多列数据。
由 MultiStringIndexerTrainBatchOp 生成词典模型，将输入数据的字符串转化成词典模型中的ID
对于词典模型中不存在的字符串，提供了三种处理策略，”keep”表示用最大id加1代替, “skip”表示补null， “error”表示抛异常
当词典的数据规模较大时，建议使用该组件。词典规模较小时，可以使用 MultiStringIndexerPredictBatchOp 组件。

参数说明

代码示例

Python 代码

from pyalink.alink import *
import pandas as pd
useLocalEnv(1)
df = pd.DataFrame([
    ["a", 1], ["b", 2], ["b", 3], ["c", 4]
])
op = BatchOperator.fromDataframe(df, schemaStr='f0 string, f1 int')
stringIndexer = MultiStringIndexerTrainBatchOp().setSelectedCols(["f1", "f0"]).setStringOrderType("frequency_desc")
stringIndexer.linkFrom(op)
predictor = HugeMultiStringIndexerPredictBatchOp().setSelectedCols(["f0"]).setReservedCols(["f0", "f1"])\
    .setOutputCols(["f0_index"]).setHandleInvalid("skip");
predictor.linkFrom(stringIndexer, op).print()

Java 代码

import org.apache.flink.types.Row;
import com.alibaba.alink.operator.batch.BatchOperator;
import com.alibaba.alink.operator.batch.dataproc.HugeMultiStringIndexerPredictBatchOp;
import com.alibaba.alink.operator.batch.dataproc.MultiStringIndexerTrainBatchOp;
import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
import org.junit.Test;
import java.util.Arrays;
import java.util.List;
public class HugeMultiStringIndexerPredictBatchOpTest {
    @Test
    public void testHugeMultiStringIndexerPredictBatchOp() throws Exception {
        List <Row> df = Arrays.asList(
            Row.of("a", 1), Row.of("b", 2), Row.of("b", 3), Row.of("c", 4)
        );
        BatchOperator <?> op = new MemSourceBatchOp(df, "f0 string, f1 int");
        BatchOperator <?> stringIndexer = new MultiStringIndexerTrainBatchOp().setSelectedCols("f1", "f0")
            .setStringOrderType("frequency_desc");
        stringIndexer.linkFrom(op);
        BatchOperator <?> predictor = new HugeMultiStringIndexerPredictBatchOp().setSelectedCols("f0").setReservedCols(
            "f0", "f1")
            .setOutputCols("f0_index").setHandleInvalid("skip");
        predictor.linkFrom(stringIndexer, op).print();
    }
}

运行结果

| f0 | f1 | f0_index | | —- | —- | —- |

| a | 1 | 1 |

| b | 2 | 0 |

| b | 3 | 0 |

| c | 4 | 2 |