小編給大家分享一下spark如何實現parquetfile的寫操作,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
創新互聯是一家專業提供西華企業網站建設,專注與成都網站建設、成都網站制作、H5網站設計、小程序制作等業務。10年已為西華眾多企業、政府機構等服務。創新互聯專業網絡公司優惠進行中。
parquetfile的寫
case class ParquetFormat(usr_id:BigInt , install_ids:String ) val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1))) sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")
看完了這篇文章,相信你對“spark如何實現parquetfile的寫操作”有了一定的了解,如果想了解更多相關知識,歡迎關注創新互聯行業資訊頻道,感謝各位的閱讀!
當前標題:spark如何實現parquetfile的寫操作
標題來源:http://www.yijiale78.com/article10/piodgo.html
成都網站建設公司_創新互聯,為您提供服務器托管、自適應網站、微信公眾號、云服務器、做網站、定制網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯