FlinkSql之TableAPI详解( 二 ) _生活百科

二、TableAPI读取文件使用TableAPI读取文件时，我们首先需要知道去哪里读取也就是文件路径、读取文件的格式、读取出来的数据的结构也就是结果表的表结构及表名
package net.cyan.FlinkSql; ? import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; ? import org.apache.flink.table.api.DataTypes; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.table.descriptors.Csv; import org.apache.flink.table.descriptors.FileSystem; import org.apache.flink.table.descriptors.Schema; import org.apache.flink.table.types.DataType; ? import static org.apache.flink.table.api.Expressions.$; ? public class Demo2_readWriteText { public static void main(String[] args) { //创建执行环境 // Configuration configuration = new Configuration(); // configuration.setInteger("rest.port", 3333); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); StreamTableEnvironment talEnv = StreamTableEnvironment.create(env); //创建查询的数据结果封装类型 Schema schema = new Schema() .field("id", DataTypes.STRING()) .field("ts", DataTypes.BIGINT()) .field("vc", DataTypes.INT()); talEnv .connect(new FileSystem().path("input/sensor.txt")) //读取文件路径 .withFormat(new Csv()) //读取文件的数据格式 .withSchema(schema) //读取出来的数据格式 .createTemporaryTable("sensor");//定义结果表名 ? //进行查询 Table select = talEnv.from("sensor") .where($("id").isEqual("sensor_1")) .select($("id"), $("ts"), $("vc")); ? ? //将查询结果写入到新文件中 //同样建立一个动态表连接 talEnv .connect(new FileSystem().path("input/b.txt")) //写入路径 .withFormat(new Csv()) //写入文件的数据格式 .withSchema(schema) //写入的数据格式 .createTemporaryTable("abc");//定义写入表名 //进行写入操作 ? select.executeInsert("abc"); ? // try { // //启动执行环境 // env.execute(); // } catch (Exception e) { // e.printStackTrace(); // } ? } }三、TableAPI 读取、写入Kakfa基本流程
1>需要创建表的运行环境
//创建表的运行环境 StreamTableEnvironment tabEnv = StreamTableEnvironment.create(env);2>创建查询出的数据写出结构
//创建表结构 Schema schema=new Schema() .field("id",DataTypes.STRING()) .field("ts",DataTypes.BIGINT()) .field("vc",DataTypes.INT());3> 创建kafka连接
//创建kafka连接 tabEnv.connect( new Kafka() .version("universal")// 版本号 .property("bootstrap.servers","hadoop102:9092")//地址 .property("group.id","cy")//消费者组 .topic("first")//消费主题 ? ) .withFormat(new Json())//写入的格式 .withSchema(schema) .createTemporaryTable("a");//临时表4> 进行查询
//创建表 Table select = tabEnv.from("a").select("*");5> 创建写入kafka连接
//创建写入主题 tabEnv.connect( new Kafka() .version("universal")// 版本号 .property("bootstrap.servers","hadoop102:9092")//地址 .topic("first1")//消费主题 .sinkPartitionerRoundRobin()//随机分区 ? ) .withFormat(new Json())//写入的格式 .withSchema(schema) .createTemporaryTable("c");

FlinkSql之TableAPI详解( 二 )

推荐阅读

饭圈拉瓜是什么意思饭圈拉郎是什么意思

山药圆子怎么做才好吃，肉末山药圆子的做法？

父母买房可以写未成年孩子的名字吗,规避转让税但不能贷款

不倒翁小鸟的制作教程

“魑魅魍魉” 你们知道怎么读吗？魑魅魍魉怎么读

关于淮北公交简述淮北公交

excel查找不出来是什么原因

强势老人是家庭的灾难【老人强势发生家庭矛盾】

糖尿病人适合送的礼品女总裁给男秘书送粥

大红袍分几种肉桂

熟黄芪泡水喝的功效与作用熟黄芪泡水喝有哪些功效与作用

柠檬片的功能与功效柠檬片的功效作用

防弹咖啡怎么做好喝防弹咖啡怎么做

今年广东调整养老金的新消息 2022广东省养老金上调方案及补发时间

昆明机场离哪个高铁站近，昆明飞机场到高铁站有多远？

孕妇铅过高有什么症状有什么不良影响

毓字取名女孩有寓意属兔最搭的名字有哪些？

关于特别认真地生活简述特别认真地生活

办银行卡需要什么办银行卡需要什么证件和材料

终不似少年游终不似少年游