本章节介绍如何在数据开发模块上进行MRS Spark Flink作业开发。通过MRS Flink作业实现统计单词的个数。

前提条件

• 具有OBS相关路径的访问权限。
• 已开通MapReduce服务MRS，并创建MRS集群，

数据准备

• 下载Flink作业资源包"wordcount.jar"，下载地址：https://github.com/apache/flink/tree/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/wordcount
• 准备数据文件“in.txt”，内容为一段英文单词。

操作步骤

1. 将作业资源包和数据文件传入OBS桶中。

1. 创建一个数据开发模块空作业，作业名称为“job_MRS_Flink”。

新建作业

1. 进入到作业开发页面，拖动“MRS Flink”节点到画布中并单击，配置节点的属性。

配置MRS Flink节点属性

参数设置说明：

--Flink作业名称
wordcount
--MRS集群名称
选择一个MRS集群
--运行程序参数
-c    org.apache.flink.streaming.examples.wordcount.WordCount
--Flink作业资源包
wordcount
--输入数据路径
obs://dlf-region1/lkj_test/input/word.txt
--输出数据路径
obs://dlf-region1/lkj_test/output.txt复制

其中：

obs://dlf-region1/lkj_test/input/word.txt为wordcount.jar的传入参数路径，可以把需要统计的单词写到里面；

obs://dlf-region1/lkj_test/output.txt为输出参数文件的路径（如已存在output.txt文件，会报错）。

1. 单击“测试运行”，执行该MRS Flink作业。
2. 待测试完成，执行“提交”。
3. 在“作业监控”界面，查看作业执行结果。
4. 查看OBS桶中返回的记录。（没设置返回可跳过）