DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决
2016-04-21 10:29
369 查看
将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。
Spark DataFrame提供了registerTempTable这样的接口,可以将数据对象存成临时表,便于后续的各种查询操作等。如select, join等。
以前都是直接从数据中读入数据,生成一个dataframe对象,都没有遇到 table not found的问题。然而今天用手工创建的时候,总是会报这个错误。
经过查资料,才发现由于自己的dataframe是用SQLContext创建的,而用HiveContext是无法访问的。这就涉及到registerTempTable生命周期的问题,以前都没细看,其生命周期只在所定义的sqlContext或hiveContext实例之中。换而言之,在一个sqlontext(或hiveContext)中registerTempTable的表不能在另一个sqlContext(或hiveContext)中使用。
因此,HiveContext来创建DataFrame就没有问题。成功解决。
Spark DataFrame提供了registerTempTable这样的接口,可以将数据对象存成临时表,便于后续的各种查询操作等。如select, join等。
以前都是直接从数据中读入数据,生成一个dataframe对象,都没有遇到 table not found的问题。然而今天用手工创建的时候,总是会报这个错误。
经过查资料,才发现由于自己的dataframe是用SQLContext创建的,而用HiveContext是无法访问的。这就涉及到registerTempTable生命周期的问题,以前都没细看,其生命周期只在所定义的sqlContext或hiveContext实例之中。换而言之,在一个sqlontext(或hiveContext)中registerTempTable的表不能在另一个sqlContext(或hiveContext)中使用。
因此,HiveContext来创建DataFrame就没有问题。成功解决。
相关文章推荐
- 申请付费苹果开发者账号 注意事项及流程 (转)
- myeclipse中启动tomcat后console不显示,会跳出URLClassLoader.class
- 关于使用getActionBar()报空指针异常的错误
- new,关于effective c++ 的总结2
- mvp模式
- 图形处理相关资源(面部识别、姿态估计、变形、、、)
- 3.1/3.2图片上传类
- 线段覆盖
- private key 与unique key的区别
- Windows 任务计划执行Python程序的设置
- Java常用集合分类
- 编译安装和二进制安装mysql
- iOS 防止循环引用的两个方法
- C++第四次实验(求1000内所有偶数的和)
- kalman 滤波 演示与opencv代码
- svm使用的一般步骤
- 让ECSHOP模板支持转smarty时间戳
- Intent传递对象
- C#基础知识之结构体(Struct)
- Android 图形架构