单词计数 (WordCountBatchOp)

Java 类名：com.alibaba.alink.operator.batch.nlp.WordCountBatchOp
Python 类名：WordCountBatchOp

功能介绍

输出文本列所有词语和对应频数。

使用方式

文本内容列（SelectedCol）中的内容用于统计词频，需要是用分隔符分隔的词语。
其中，分隔符可以通过参数 wordDelimiter 来设置，默认是空格（” “），可以为正则表达式。
文本内容列可以使用分词（SegmentBatchOp）组件的输出结果列，同时也可以在之前接入停用词过滤（StopWordsRemoverBatchOp）组件去掉常见的高频词。
需要注意的是，该组件统计的是文本内容列总体的词频，而文本词频统计组件（DocWordCountBatchOp）是按行统计词频。

参数说明

代码示例

Python 代码

from pyalink.alink import *
import pandas as pd
useLocalEnv(1)
df = pd.DataFrame([
    ["doc0", "中国 的 文化"],
    ["doc1", "只要 功夫 深"],
    ["doc2", "北京 的 拆迁"],
    ["doc3", "人名 的 名义"]
])
source = BatchOperator.fromDataframe(df, "id string, content string")
wordCountBatchOp = WordCountBatchOp()\
    .setSelectedCol("content")\
    .setWordDelimiter(" ")\
    .linkFrom(source)
wordCountBatchOp.print()

Java 代码

import org.apache.flink.types.Row;
import com.alibaba.alink.operator.batch.BatchOperator;
import com.alibaba.alink.operator.batch.nlp.WordCountBatchOp;
import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
import org.junit.Test;
import java.util.Arrays;
import java.util.List;
public class WordCountBatchOpTest {
    @Test
    public void testWordCountBatchOp() throws Exception {
        List <Row> df = Arrays.asList(
            Row.of("doc0", "中国 的 文化"),
            Row.of("doc1", "只要 功夫 深"),
            Row.of("doc2", "北京 的 拆迁"),
            Row.of("doc3", "人名 的 名义")
        );
        BatchOperator <?> source = new MemSourceBatchOp(df, "id string, content string");
        BatchOperator <?> wordCountBatchOp = new WordCountBatchOp()
            .setSelectedCol("content")
            .setWordDelimiter(" ")
            .linkFrom(source);
        wordCountBatchOp.print();
    }
}

运行结果