確保計算機有16G或更多內存,然后使用您正在使用的軟件慢慢處理。如果你卡住了,你就贏了。;不會死。
付錢給專業人士。
JSON是數據交換的常用格式,而不是用于數據存儲和處理。建議轉移到數據庫,用SQL處理。
任何人都可以處理1KB數量級的數據。;it'還是手工做的好。1MB的數據,手動疲勞,需要一些軟件;1GB的數據,帶UI(
4[mysqld]
5綁定地址
6數據目錄/數據/MySQL數據/數據
查詢一段數據:lt%jsonobjnewjsonobject()JSONobj.put(
文本類型可以存儲長度為1-4GB的文本字符串,直接使用
1.優化數據結構,每個數據表4-5個字段,一個索引。您還可以在不同的數據庫中存儲不同種類的數據。減輕單個數據庫的壓力。
2.寫數據只是保存的問題,問題是讀數據會很慢。建議用緩存
使用場景:
測試時需要插入100w甚至1000W,超過1億的數據,運行sql腳本循環插入或者程序遍歷插入都非常慢。
解決方案:
寫文件
將文件導入mysql
實施例(以100w為例)
1.使用sql將100w數據生成txt文件。
2.將數據從數據庫導入表中:
耗時:
該方案的缺點:
1.權威。非管理員用戶沒有導入。
2.寫文件代碼。對于測試人員來說,寫文件不限于任何語言,任何語言都可以實現。