您的位置：首页 > 其它

saprk rdd使用中遇到的一个典型问题

2017-05-19 18:55 183 查看
最近公司在做推荐系统相关的项目, 目前使用的是spark2.1.1 中的ML 中的机器学习包ALS, 在开发的时候需要计算物品矩阵的相似度 这样就要涉及到两两矩阵进行计算,但是如何得到这两个矩阵, 已经得到了一个ItemFactor, 也有全部的item信息, 而向量呢就是根据这两个取值得到的, 为了体验一下楼主当时多low,看下图:写的多low, 
itemFactors这个对象先取出所有的itemIds 到driver端, 然后又遍历itemFactors这个对象,得到其中每一个itemId,然后又根据collect到driver
的itemIds又得到一个向量,很明显,在executor端又使用了itemFactors这个对象,这是不行的,所以一直报空指针错误

                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                spark
                                                rdd
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航