目錄

• 前言
• 正文
• • 創建沒有schema的DataFrame
  • 創建有schema的DataFrame
  • • 直接創建空的DataFrame
    • • 法1：直接傳遞 [ ]
    • 通過空RDD創建空DataFrame
    • • 法2：通過spark.createDataFrame(rdd)函數
      • 法3：通過rdd.toDF函數
• 總結

廣州ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景，ssl證書未來市場廣闊！成為創新互聯公司的ssl證書銷售渠道，可以享受市場價格4-6折優惠！如果有意向歡迎電話聯系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！前言

做大數據分析時，經常會使用到空的DataFrame，直接給spark.createDataFrame傳遞空的Pandas DataFrame會報錯：

spark.createDataFrame(data=pd.DataFrame(data=None,columns=['pageid','uid']))
# 報錯：
ValueError: can not infer schema from empty dataset

因此總結了幾種可以成功創建空的spark DataFrame的方法。

參考：None

正文 創建沒有schema的DataFrame

df_empty = spark.createDataFrame([], StructType([]))
df_empty.printSchema()
"""
輸出:
root
"""

創建有schema的DataFrame

創建schema:

from pyspark.sql.types import StructType,StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])

# 查看schema  
print(schema.simpleString())
"""
輸出:
struct"""

直接創建空的DataFrame 法1：直接傳遞 [ ]

df_empty1 = spark.createDataFrame([], schema)
df_empty1.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)

"""

通過空RDD創建空DataFrame

可以通過兩種方式創建空的rdd:

rdd1 = spark.sparkContext.emptyRDD()
rdd2 = spark.sparkContext.parallelize([])

法2：通過spark.createDataFrame(rdd)函數

df_empty2 = spark.createDataFrame(rdd1,schema)
df_empty2.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

法3：通過rdd.toDF函數

df_empty3 = rdd1.toDF(schema)
df_empty3.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

總結

推薦使用通過“法1”，流程簡單：

from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])
df_empty1 = spark.createDataFrame([], schema)

完。

你是否還在尋找穩定的海外服務器提供商？創新互聯www.cdcxhl.cn海外機房具備T級流量清洗系統配攻擊溯源，準確流量調度確保服務器高可用性，企業級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

名稱欄目：pyspark創建空的DataFrame-創新互聯
鏈接分享：http://www.yijiale78.com/article20/csocco.html

成都網站建設公司_創新互聯，為您提供虛擬主機、App開發、定制網站、網站收錄、移動網站建設、品牌網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯