spark scala遇到一个只能用foreach不能用map的问题
2018-04-04 11:03
204 查看
文件中数据格式:1^A1002^A1522718982.606^time_local=03/Apr/2018:09:29:42 +0800&http_referer=-&http_user_agent=Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36&-=master1^A/do?t=99b61873a98742a3a29a4a6d64bc043f&en=pv&ct=1521163377&v=1&pl=pc
源代码:
import org.apache.spark._ object LogTransfer { def transfer(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("LogTransfer").setMaster("local") val sc = new SparkContext(sparkConf) val logFile = sc.textFile(args(0)) val logLines = logFile.map(line => line.split("""\^A/do\?|\^A""")) // logLines.first.foreach(println) // 此处无法只能用foreach,不能用map,为什么???????? logLines.foreach(log =>{ println("---------------------------------") log.foreach(println) // 业务数据代码...... }) sc.stop() } def main(args: Array[String]): Unit = {// args传入文件路径 transfer(args)}}
阅读更多
相关文章推荐
- 遇到Word2007 只能打开一个文档,切换窗口再回去鼠标也不能用。解决问题
- 最近遇到一个问题SQLSERVER2005 目录名称无效(批处理过程出错,不能查询)
- 创建一个public static final 类型的map 并能赋初值,并且只能在初始化的时间赋值,而不能中途修改它的值
- 安装scala和spark遇到的问题和解决方法
- Spark刚学习时遇到的一个小问题
- ceph rbdmap遇到的一个问题
- mybatis中遇到的一个小问题【There is no result map named java.lang.Integer in this SqlMap】
- 解决spark-redshift只能写不能读的问题
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十五)Structured Streaming:同一个topic中包含一组数据的多个部分,按照key它们拼接为一条记录(以及遇到的问题)。
- 学习Scala override时遇到的一个小问题
- java工程项目里,在一个包里面,不能出现同名的类名,这问题是刚接触java才会遇到的,特别是新手一般都没有建立包,而是使用默认的,易出现同名的类名,导致eclipse提示错误
- 现在有一个城市销售经理,需要从公司出发,去拜访市内的商家,已知他的位置以及商家的位置,但是由于城市道路交通的原因,他只能在左右中选择一个方向,在上下中选择一个方向,现在问他有多少种方案到达商家地址。给定一个地图map及它的长宽n和m,其中1代表经理位置,2代表商家位置,-1代表不能经过的地区,0代表可以经过的地区,请返回方案数,保证一定存在合法路径。保证矩阵的长宽都小于等于10。
- java工程项目里,在一个包里面,不能出现同名的类名,这问题是刚接触java才会遇到的,特别是新手一般都没有建立包,而是使用默认的,易出现同名的类名,导致eclipse提示错误
- 图的深度优先查找(DFS: Depth -First Search) (1)问题分析 DFS可从任意一个顶点开始访问,其过程简要来说是对每一个可能的分支路径深入到不能再深入为止,而且每个顶点只能访问
- 今天遇到的一个IIS 下treeview不能显示的问题
- Scala IDE for Eclipse 之spark scala语言开发环境搭建------遇到问题记录
- java工程项目里,在一个包里面,不能出现同名的类名,这问题是刚接触java才会遇到的,特别是新手一般都没有建立包,而是使用默认的,易出现同名的类名,导致eclipse提示错误
- sqlserver建表遇到的只能插入时间,不能插入日期的问题
- 「解决」spark on yarn上遇到的一个问题
- 4:上网时只能打开一个IE窗口..不能打开第二个..怎样解决这个问题?