Spark Structured Streaming 读写Kafka与Exactly-once语义

Spark 同时被 2 个专栏收录
29 篇文章 1 订阅
28 篇文章 7 订阅

本文总结Spark Structured Streaming读写Kafka与Exactly-once语义。

问题一: 读Kafka的方式

// 读取一个Topic
val inputTable=spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
      .option("subscribe", "topic_1")
      .load()
      
inputTable
      .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
      .as[(String, String)]
      
// 读取多个Topic
val inputTable=spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
  .option("subscribe", "topic_1,topic_2")
  .load()

inputTable
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]
      
// 读取多个Topic
val inputTable=spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
      .option("subscribePattern", "topic_[1-2]{1}")
      .load()

inputTable
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]

问题二: 读Kafka与批处理

批处理适合一次性作业。

// 读取一个Topic
// 默认earliest、latest offset
val inputTable=spark
      .read
      .format("kafka")
      .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
      .option("subscribe", "topic_1")
      .load()
      
val resultTable=inputTable
      .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
      .as[(String, String)]
      
resultTable
    .write
    .format("console")
    .save()
  
// 读取多个Topic
// 可通过startingOffsets、endingOffsets指定topic partition 的offset
// 注意: 此种方式下,需要指定所有topic partition 的offset。-1: latest -2: earliest
val inputTable=spark
  .read
  .format("kafka")
  .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
  .option("subscribe", "topic_1,topic_2")
  .option("startingOffsets", """{"topic_1":{"0":13624,"1":-2,"2":-2},"topic_2":{"0":-2,"1":-2,"2":-2}}""")
  .option("endingOffsets", """{"topic_1":{"0":13626,"1":13675,"2":-1},"topic_2":{"0":1,"1":-1,"2":-1}}""")
  .load()

// 读取多个Topic
// 可通过startingOffsets、endingOffsets指定topic partition 的offset为earliest、latest
val inputTable=spark
  .read
  .format("kafka")
  .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
  .option("subscribePattern", "topic_.*")
  .option("startingOffsets", "earliest")
  .option("endingOffsets", "latest")
  .load()

问题三: 读Kafka生成的DataFrame的Schema

ColumnColumn Type含义
keybinaryMessage对应的Key
valuebinaryMessage对应的Value
topicstringMessage对应的Topic
partitionintegerMessage对应的Partition
offsetlongMessage对应的Offset
timestamptimestampMessage对应的时间戳
timestampTypeintegerMessage对应的时间戳类型。0: CreateTime, 1:LogAppendTime。

问题四: 读Kafka与反序列化

//1)普通字符串
//将字节数据转换为普通字符串
inputTable.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")

//2)JSON与Avro
当Kafka中的数据为Json或Avro格式的数据时,可用from_json/from_avro抽取需要的字段。
以json为例,如下:
val schema=new StructType()
      .add("name",DataTypes.StringType)
      .add("age",DataTypes.IntegerType)

val resultTable=inputTable.select(
  col("key").cast("string"),
  from_json(col("value").cast("string"), schema).as("value")
).select($"value.*")

resultTable.printSchema()
root
 |-- name: string (nullable = true)
 |-- age: integer (nullable = true)

问题五: 读Kafka动态发现Topic、Partition

依靠KafkaConsumerCoordinator,默认可自动动态发现新增的Topic或Partition。

问题六: 读Kafka事务消息

Spark Streaming对Kafka事务消息的读取没有提供很好的支持。

在Structured Streaming中,设置option("kafka.isolation.level","read_committed"),可只读取事务成功的消息。默认为read_uncommitted,读取所有消息,包括事务终止的消息。

问题七: 读Kafka的Offset

Structured Streaming消费Kafka,不需要自己管理Offset,开启Checkpoint后,会将Offset保存到Checkpoint中。

问题八: 读Kafka速率限制

通过maxOffsetsPerTrigger参数控制每次Trigger最多拉取的记录数。

问题九: 写Kafka

要写入Kafka的Dataframe应该包含以下列:

  • key: 可选列。string或binary类型。默认null。

  • value: 必须列。string或binary类型。

  • topic: 可选列。string类型。

// 写入单个Topic
// 通过option指定Topic
df
 .select($"value")
 .writeStream 
 .format("kafka")
 .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
 .option("topic", "topic_1")
 .option("checkpointLocation", "...")
 .outputMode("update")
 .trigger(Trigger.ProcessingTime("2 seconds"))
 .start()
  
// 写入多个Topic
// topic取自数据中的topic列
df
 .select($"value",$"topic")
 .writeStream
 .format("kafka")
 .option("kafka.bootstrap.servers", "kafka01:9092,kafka02:9092,kafka03:9092")
 .option("checkpointLocation", "...")
 .outputMode("update")
 .trigger(Trigger.ProcessingTime("2 seconds"))
 .start()

问题十: 读写Kafka与Exactly Once语义

结合Checkpoint和可重播的Kafka数据源,Structured Streaming处理能保证EOS语义。但写Kafka只能提供At Least Once语义。

  • 1
    点赞
  • 0
    评论
  • 3
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 精致技术 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值