朴素贝叶斯文本分类器 (NaiveBayesTextClassifier)

Java 类名：com.alibaba.alink.pipeline.classification.NaiveBayesTextClassifier
Python 类名：NaiveBayesTextClassifier

功能介绍

训练一个朴素贝叶斯文本分类模型用于多分类任务。

算法原理

朴素贝叶斯算法基于贝叶斯定理和一个”朴素”的假设：各特征间两两条件独立。
通过贝叶斯定理可以在给定特征时计算类别为的概率：，而通过特征间两两独立的假设可以将上面公式简化为：。
在朴素贝叶斯用于文本分类时，文本中的词语（token）对应一个特征。 类别的概率可以估算为 ，其中 是类别为的总文本数，的总文本数。
词语在类别所包含的文本出现的频次用 表示，那么可以用于估算概率 。
与一般的朴素贝叶斯分类模型类似，可以添加平滑系数来解决 为 0 时的问题。
上面描述的是多项分布时的模型，即 可以去大于1的值。如果考虑的是二项分布，那么只能取值0或者1。

使用方式

为了训练朴素贝叶斯模型，需要指定参数向量列名（vectorCol）和标签列名（labelCol）。 通过参数模型类型可以设置使用多项分布或者二项分布。 平滑因子可以通过参数 smoothing 指定，默认为不平滑。
组件还支持设置每条样本的权重，通过参数权重列（weightCol）指定。

文献索引

Naive Bayes text
classification: https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

参数说明

代码示例

Python 代码

from pyalink.alink import *
import pandas as pd
useLocalEnv(1)
df_data = pd.DataFrame([
          ["$31$0:1.0 1:1.0 2:1.0 30:1.0","1.0  1.0  1.0  1.0", '1'],
          ["$31$0:1.0 1:1.0 2:0.0 30:1.0","1.0  1.0  0.0  1.0", '1'],
          ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0  0.0  1.0  1.0", '1'],
          ["$31$0:1.0 1:0.0 2:1.0 30:1.0","1.0  0.0  1.0  1.0", '1'],
          ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0'],
          ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0'],
          ["$31$0:0.0 1:1.0 2:1.0 30:0.0","0.0  1.0  1.0  0.0", '0']
])
batchData = BatchOperator.fromDataframe(df_data, schemaStr='sv string, dv string, label string')
# pipeline
model = NaiveBayesTextClassifier().setVectorCol("sv").setLabelCol("label").setReservedCols(["sv", "label"]).setPredictionCol("pred")
model.fit(batchData).transform(batchData).print()

Java 代码

import org.apache.flink.types.Row;
import com.alibaba.alink.operator.batch.BatchOperator;
import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
import com.alibaba.alink.pipeline.classification.NaiveBayesTextClassifier;
import org.junit.Test;
import java.util.Arrays;
import java.util.List;
public class NaiveBayesTextClassifierTest {
    @Test
    public void testNaiveBayesTextClassifier() throws Exception {
        List <Row> df_data = Arrays.asList(
            Row.of("$31$0:1.0 1:1.0 2:1.0 30:1.0", "1.0  1.0  1.0  1.0", "1"),
            Row.of("$31$0:1.0 1:1.0 2:0.0 30:1.0", "1.0  1.0  0.0  1.0", "1"),
            Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0  0.0  1.0  1.0", "1"),
            Row.of("$31$0:1.0 1:0.0 2:1.0 30:1.0", "1.0  0.0  1.0  1.0", "1"),
            Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0"),
            Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0"),
            Row.of("$31$0:0.0 1:1.0 2:1.0 30:0.0", "0.0  1.0  1.0  0.0", "0")
        );
        BatchOperator <?> batchData = new MemSourceBatchOp(df_data, "sv string, dv string, label string");
        NaiveBayesTextClassifier model = new NaiveBayesTextClassifier().setVectorCol("sv").setLabelCol("label")
            .setReservedCols("sv", "label").setPredictionCol("pred");
        model.fit(batchData).transform(batchData).print();
    }
}

运行结果

| sv | label | pred | | —- | —- | —- |

| “$31$0:1.0 1:1.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:1.0 2:0.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:1.0 1:0.0 2:1.0 30:1.0” | 1 | 1 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |

| “$31$0:0.0 1:1.0 2:1.0 30:0.0” | 0 | 0 |