CDH使用过程中如何避免各种无谓的错误?
2017-02-21 00:00
302 查看
首先要注意环境变量,特别是java_home
hadoop生态圈,对java的版本是有要求的,但是系统可能会提供多个不同版本的java,所以在执行hadoop相关命令时,务必设置好java_home,这样可以避免很多无谓的错误,而且这些错误往往不告诉你,是你的java版本太低。
其次要注意应用组件的版本。
如果是采用商业集成版,应用组件的版本往往不是最新。例如CDH 5.10是Cloudera 2017年初推出的版本,配套的Spark版本才是1.6.0,而apache上的版本已经是2.1了。如果按照2.1的文档去验证,自然会报一堆莫明其妙的错误。
hadoop生态圈,对java的版本是有要求的,但是系统可能会提供多个不同版本的java,所以在执行hadoop相关命令时,务必设置好java_home,这样可以避免很多无谓的错误,而且这些错误往往不告诉你,是你的java版本太低。
其次要注意应用组件的版本。
如果是采用商业集成版,应用组件的版本往往不是最新。例如CDH 5.10是Cloudera 2017年初推出的版本,配套的Spark版本才是1.6.0,而apache上的版本已经是2.1了。如果按照2.1的文档去验证,自然会报一堆莫明其妙的错误。
相关文章推荐
- 如何避免错误使用 Enum
- CDH安装和使用时碰到的各种错误记录(基于5.8)
- iOS开发工具-如何使用网络封包分析工具Charles,通过配置proxy对http、https、tcp、udp 等协议的请求响应过程交互信息进行分析、判断、解决我们移动开发中的遇到的各种实际问题。
- 如何使用ResourceManger,及使用ResourceManager过程中出错的找不到资源的错误
- CocoaPods 的详细安装步骤,使用方法以及安装过程中出现的各种错误总结
- 如何使用ResourceManger,及使用ResourceManager过程中出错的找不到资源的错误
- 11gr1,使用OUI进行预安装必要条件检查,避免出现安装过程中的错误
- linux学习使用过程中各种错误总结
- 如何使用VS.NET调试数据库存储过程
- 如何在存储过程中使用like操作符
- 如何在存储过程中使用like操作符
- 如何在VC工程中避免使用Precompiled Header
- 如何使用 ADO.NET 和 Visual C# .NET 调用带参数的存储过程
- 如何提高TreeView与存储过程的结合使用的效率
- 如何使用脚本模仿登陆过程
- 如何将频繁使用的内容缓存起来以避免频繁访问磁盘?
- 如何使用 Visual Studio .NET 工具创建数据库对象和 Transact-SQL 存储过程。
- 如何使用XML格式的参数在SQL server的存贮过程中。
- .NET下水晶报表,使用过程中,提示查询引擎错误
- 如何解决FormView中实现DropDownList连动选择时出现 "Eval()、XPath() 和 Bind() 这类数据绑定方法只能在数据绑定控件的上下文中使用" 的错误