Java 类名：com.alibaba.alink.operator.stream.nlp.BertTextEmbeddingStreamOp
Python 类名：BertTextEmbeddingStreamOp

功能介绍

把文本输入到 BERT 模型，提取某一编码层的 pooled output 作为该句子的 embedding 结果。

参数说明

| 名称 | 中文名称 | 描述 | 类型 | 是否必须？ | 取值范围 | 默认值 | | —- | —- | —- | —- | —- | —- | —- |

| outputCol | 输出结果列列名 | 输出结果列列名，必选 | String | ✓ | | |

| selectedCol | 选中的列名 | 计算列对应的列名 | String | ✓ | 所选列类型为 [STRING] | |

| bertModelName | BERT模型名字 | BERT模型名字： Base-Chinese,Base-Multilingual-Cased,Base-Uncased,Base-Cased | String | | | “Base-Chinese” |

| doLowerCase | 是否将文本转换为小写 | 是否将文本转换为小写，默认根据模型自动决定 | Boolean | | | null |

| intraOpParallelism | Op 间并发度 | Op 间并发度 | Integer | | | 4 |

| layer | 输出第几层 encoder layer 的结果 | 输出第几层 encoder layer 的结果， -1 表示最后一层，-2 表示倒数第2层，以此类推 | Integer | | | -1 |

| maxSeqLength | 句子截断长度 | 句子截断长度 | Integer | | | 128 |

| reservedCols | 算法保留列名 | 算法保留列 | String[] | | | null |

代码示例

Python 代码

  1. from pyalink.alink import *
  3. import pandas as pd
  5. useLocalEnv(1)
  7. df_data = pd.DataFrame([
  8.     [1, 'An english sentence.'],
  9.     [2, '这是一个中文句子']
  10. ])
  12. stream_data = StreamOperator.fromDataframe(df_data, schemaStr='f1 bigint, f2 string')
  14. BertTextEmbeddingStreamOp() \
  15.     .setSelectedCol("f2") \
  16.     .setOutputCol("embedding") \
  17.     .setLayer(-2) \
  18.     .linkFrom(stream_data) \
  19.     .print()
  21. StreamOperator.execute()

Java 代码

  1. import org.apache.flink.types.Row;
  3. import com.alibaba.alink.common.MLEnvironmentFactory;
  4. import com.alibaba.alink.operator.stream.StreamOperator;
  5. import com.alibaba.alink.operator.stream.nlp.BertTextEmbeddingStreamOp;
  6. import org.junit.Test;
  8. public class BertTextEmbeddingStreamOpTest {
  9.     @Test
  10.     public void testBertTextEmbeddingStreamOp() throws Exception {
  11.         Row[] rows1 = new Row[] {
  12.             Row.of(1L, "An english sentence."),
  13.             Row.of(2L, "这是一个中文句子"),
  14.         };
  16.         StreamOperator <?> data = StreamOperator.fromTable(
  17.             MLEnvironmentFactory.getDefault().createStreamTable(rows1, new String[] {"sentence_id", "sentence_text"}));
  19.         BertTextEmbeddingStreamOp bertEmb = new BertTextEmbeddingStreamOp()
  20.             .setSelectedCol("sentence_text").setOutputCol("embedding").setLayer(-2);
  21.         data.link(bertEmb).print();
  23.         StreamOperator.execute();
  24.     }
  25. }

运行结果

| f1 | f2 | embedding | | —- | —- | —- |

| 1 | An english sentence. | -0.4501993 0.06074004 0.121287264 -0.27875 0.3… |

| 2 | 这是一个中文句子 | -0.8317032 0.32284066 -0.12233654 -0.6955824 0… |