DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决

转：http://blog.csdn.net/sparkexpert/article/details/51206487

所说这个错误没有遇到过不过背后的原理还是需要知道的。

将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。

Spark DataFrame提供了registerTempTable这样的接口，可以将数据对象存成临时表，便于后续的各种查询操作等。如select, join等。

以前都是直接从数据中读入数据，生成一个dataframe对象，都没有遇到 table not found的问题。然而今天用手工创建的时候，总是会报这个错误。



经过查资料，才发现由于自己的dataframe是用SQLContext创建的，而用HiveContext是无法访问的。这就涉及到registerTempTable生命周期的问题，以前都没细看，其生命周期只在所定义的sqlContext或hiveContext实例之中。换而言之，在一个sqlontext（或hiveContext）中registerTempTable的表不能在另一个sqlContext（或hiveContext）中使用。

因此，HiveContext来创建DataFrame就没有问题。成功解决。