Spark项目之电商用户行为分析大数据平台之（十二）Spark上下文构建及模拟数据生成

一、模拟生成数据

import com.bw.conf.ConfigurationManager;
import com.bw.constant.Constants;
import com.bw.test.MockData;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SQLContext;

/**
* 用户访问session分析Spark作业
*
* */
public class UserVisitSessionAnalyzeSpark {

public static void main(String[] args) {
//构建Spark上下文
SparkConf sparkConf = new SparkConf();
//Spark作业本地运行
sparkConf.setMaster("local");
//为了符合大型企业的开发需求，不能出现硬编码，创建一个Constants接口类，定义一些常量
sparkConf.setAppName(Constants.SPARK_APP_NAME_SESSION);

JavaSparkContext jsc = new JavaSparkContext(sparkConf);
SQLContext sqlContext = new SQLContext(jsc);

mockData(jsc,sqlContext);
jsc.stop();
}

/**
* 生成模拟数据（只有本地模式，才会去生成模拟数据）
* @param sc
* @param sqlContext
*/
private static void mockData(JavaSparkContext sc, SQLContext sqlContext) {
boolean local = ConfigurationManager.getBoolean(Constants.SPARK_LOCAL);
if(local) {
MockData.mock(sc, sqlContext);
}
}
}

三、打印的测试数据

3.1　user_visit_action

用户下的订单

[2018-05-23,34,4ad62c0824194e5687467bb84b9beeb9,3,2018-05-23 18:27:37,null,null,null,null,null,8,64,8]

3.2　user_info

[0,user0,name0,26,professional11,city4,male]

3.3　product_info

[0,product0,{"product_status": 1}]