54.超大数据快速导入MySQL

超大数据快速导入MySQL

 ----千万级数据只需几十分钟
本地测试方法
1.首先需要修改本地mysql的编码和路径,找到my.ini。
2.在里面添加或修改
character-set-server=utf8
collation-server=utf8_general_ci
default-storage-engine=INNODB
(最低部添加)secure_file_priv="C:UsersAdministratorDesktopye(xlsx表格所在父路径)"
3.将需要的xlsx表格转换成csv格式保存
4.将csv格式用记事本打开,另存为编码为utf-8的csv格式
5.在mysql数据库里,如果某些字段涉及到html代码,需将这些字段的字段类型修改logtext。
6.在打开mysql命令行时,先建议添加一个自增ID列,方便统计记录数。
7.打开mysql命令行输入:
show databases;回车
use tablename(表名)回车
mysql>LOAD DATA INFILE "C:\Users\Administrator\Desktop\ye\product.csv"(xlsx表格所在路径)
-> into table p1_product_description(需要传入的表名)
-> fields terminated by '&&'(字段分割符)
-> lines terminated by ' '(换行符)
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword);(字段名)

线上服务器方法(需要putty.exe软件)
1.将在本地测试修改好的csv格式文件上传到网站根目录下面
2.在mysql数据库里,如果某些字段涉及到html代码,需将这些字段的字段类型修改logtext。
6.在打开mysql命令行时,先建议添加一个自增ID列,方便统计记录数。
7.打开mysql命令行输入:
数据库远程登陆密码 回车
登陆数据库命令行mysql -h localhost -u root -p 回车
输入mysql数据库密码 回车
show databases;回车
use tablename(表名)回车
mysql> LOAD DATA LOCAL INFILE '/www/web/1hydraulicpump/public_html/product2.csv(csv所在路径)'
-> into table h1_product_description(需要传入的表名)
-> fields terminated by '&&(字段分割符)'
-> lines terminated by ' (换行符)'
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword)(字段名);

原文地址:https://www.cnblogs.com/sqyambition/p/9860072.html