普通情況下使用scan讀取數據

x <- scan("D:\\test.txt")按列讀入,指定數據類型
x <- scan("test2dat.txt", what=list("",0,0)) #讀取三列數據,第一列是字符,第二和第三列是數值
#以下寫法也可以
x2 <- scan("test2dat.txt", list(name="", num1=0,num2=0)) # 每個list都有個名字,分別為name,num1,num2可以指定讀取的行數,以下為讀取以逗號分割的csv文件的讀取方法
mydata <- read.table("test_nrow.txt.txt",sep=",", header=TRUE,nrow=5) #讀取除了表頭之外的5行數據參考: http://www.biostat.jhsph.edu/~rpeng/docs/R-large-tables.html
tab5rows <- read.table("datatable.txt", header = TRUE, nrows = 5)
classes <- sapply(tab5rows, class)
tabAll <- read.table("datatable.txt", header = TRUE, colClasses = classes)也可以用data.table 讀取大數據
install.packages("data.table")
library(data.table)
mydata <- fread("test.table.txt") #讀取文件時會顯示 Read **.*% of ***** rows, 讀取完畢會有提示
#查看文件的前6行
head(mydata)參考:http://www.r-bloggers.com/reading-large-data-tables-in-r/
也可以使用ff包
setwd("D:/data test")
library(ff)
ffdf1 <- read.table.ffdf(file = "test.ido", header = TRUE, sep = "|")參考: http://stackoverflow.com/questions/11782084/reading-in-large-text-files-in-r
http://www.bytemining.com/wp-content/uploads/2010/08/r_hpc_II.pdf
使用Python打開大數據的話,采用mmap
參考: http://stackoverflow.com/questions/11159077/python-load-2gb-of-text-file-to-memory
http://davetang.org/muse/2013/09/03/handling-big-data-in-r/
另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網站題目:R語言讀取大數據-創新互聯
新聞來源:http://www.yijiale78.com/article24/dddjje.html
成都網站建設公司_創新互聯,為您提供網站設計、網站營銷、小程序開發、網站維護、建站公司、軟件開發
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯