如何用php導出導入大數據庫

在使用PhpMyAdmin的時候經常用到數據的導入和導出(Export/Import)，但是在導入大數據的時候由于php上傳文件的限制和腳本響應時間的限制，導致phpMyAdmin無法導入大數據。很多時候都是由于文件過大，從本地瀏覽上傳導入，容易中斷失敗，有沒有更好的方法呢？

公司主營業務：網站設計、網站建設、移動網站開發等業務。幫助企業客戶真正實現互聯網宣傳，提高企業的競爭能力。創新互聯建站是一支青春激揚、勤奮敬業、活力青春激揚、勤奮敬業、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創新互聯建站推出西夏免費做網站回饋大家。

方法：

在phpMyAdmin的目錄下，找到根目錄的config.inc.php文件，

打開config.inc.php文件，查找$cfg['UploadDir']，這個參數就是設定導入文件存放的目錄，這里把值設定為：ImportSQLFile。

在phpMyAdmin目錄下，建立以ImportSQLFile命名的文件夾，

把我們需要導入的數據文件，放到ImportSQLFile文件夾下面，非常簡單，

登入phpMyAdmin，選擇需要導入的數據，點擊導航條上面的“導入”按鈕，

選中“從網站服務器上傳文件夾ImportSQLFile/中選擇：”選項，并需要導入的數據文件，

最后點擊“執行”，即可導入成功。

注意事項

如果在config.inc.php文件，沒有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

php采集大數據的方案

1、建議你讀寫數據和下載圖片分開，各用不同的進程完成。

比如說，取數據用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設置它每5分鐘執行一次，只負責讀數據，然后把讀回來的數據一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數據的腳本作為worker，例如叫process-data.php，這個腳本常駐內存。它作為worker從geraman 隊列里讀出一條一條的數據，然后跟你的數據庫老數據比較，進行你的業務邏輯。如果你要10個并發，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發隨便你。這個進程也常駐內存運行，從gearman worker的圖片數據隊列里取數據出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環，讓它一直運行好了。如果怕內存泄露啥的，你可以每循環10萬次退出一下。然后在crontab里設置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

php怎么導出大量數據的Excel

微軟的Excel設置單元格行數默認是6萬行rows，相對的講其實當我們超過1萬行的時候已經是大數據的導出。

好比：有客戶10000人，平均每人每天產生10條活動記錄，要導出上周所有的客戶活動記錄： 10000*10*7=700000

估計看70萬行的Excel這個人會瘋掉的，我們的建議是分批次導出，按時間導出到不同的excel

下面是一個PHPExcel官方的Demo（已修改過）

復制代碼

define('EOL', 'br /');

$objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();

ini_set("memory_limit", "1024M"); // 設置php可使用內存

$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;

if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {

die($cacheMethod . " 緩存方法不可用" . EOL);

}

echo date('H:i:s'), " 當前使用的緩存方法是： ", $cacheMethod, " 方式", EOL;

echo date('H:i:s'), " 開始設置文檔屬性", EOL;

$objPHPExcel-getProperties()-setCreator("Maarten Balliauw")

-setLastModifiedBy("Maarten Balliauw")

-setTitle("Office 2007 XLSX Test Document")

-setSubject("Office 2007 XLSX Test Document")

具體的還有很多寫不下，我是在后盾人看的教學視頻無意中學到的，正好解答給你希望能幫到你

求關于php excel導入大數據到mysql的解決辦法

下載 PHPExcel

require_once(?'./PHPExcel/IOFactory.php');

$filePath?=?'D:/xxx.xlsx';?//excel?文件名?

$objReader?=?new?PHPExcel_Reader_Excel2007();??//具體查看（Documentation/Examples/Reader/exampleReader01.php）

$objPHPExcel?=?$objReader-load($filePath);

$sheetData?=?$objPHPExcel-getActiveSheet()-toArray(null,true,true,true);

$insql?=?'insert?into?表名(x,x,x)?valeus';

//遍歷數組?$sheetData

//如果有標題?先刪除?unset($sheetData[1]);

foreach($sheetData?as?$k?=?$data){

$insql?.=?'('.$data['A'].','.$data['B'].','.$data['C'].'),';

//一次插入100條數據??減少數據庫壓力

if(($k+1?/?100)?==?0){

$insql?=?rtrim($insql,',').';';?//將最后的逗號替換成分好

//插入數據庫?并且重置?字符串?$insql??

//或者保存到文件中?利用source?命令插入數據庫

}

}

文章題目：大數據文件php生成 php大數據導出
本文鏈接：http://www.yijiale78.com/article18/hhcpgp.html

成都網站建設公司_創新互聯，為您提供搜索引擎優化、做網站、關鍵詞優化、營銷型網站建設、網站建設、外貿建站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯