mysql批量录入数据方法介绍
时间:2021-01-05 来源:互联网
mysql怎么批量录入数据额?1、使用循环插入;2、减少连接资源,拼接一条sql;3、使用存储过程;4、使用【MYSQL LOCAL_INFILE】。下面PHP爱好者为大家分享mysql批量录入数据方法,希望对大家有所帮助。
本教程操作环境:windows7系统、mysql8.0.22版,DELL G3电脑,该方法适用于所有品牌电脑。
相关免费学习推荐:mysql视频教程
mysql批量录入数据的方法:
方法一:循环插入
这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。
大致思维如下
(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)
for($i=1;$i<=100;$i++){
$sql = 'insert...............';
//querysql
}
foreach($arr as $key => $value){
$sql = 'insert...............';
//querysql
}
while($i <= 100){
$sql = 'insert...............';
//querysql
$i++
}
因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说
方法二:减少连接资源,拼接一条sql
伪代码如下
//这里假设arr的key和数据库字段同步,其实大多数框架中在php操作数据库的时候都是这么设计的
$arr_keys = array_keys($arr);
$sql = 'INSERT INTO tablename (' . implode(',' ,$arr_keys) . ') values';
$arr_values = array_values($arr);
$sql .= " ('" . implode("','" ,$arr_values) . "'),";
$sql = substr($sql ,0 ,-1);
//拼接之后大概就是 INSERT INTO tablename ('username','password') values
('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx')
.......
//querysql
这样写正常插入一万条基本问题不大,除非数据很长,应付普通的批量插入够用了,比如:批量生成卡号,批量生成随机码等等。。。
方法三:使用存储过程
这个我手里正好再用这个就把sql付出来,具体业务逻辑大家自己组合一下就可以。
delimiter $$$
create procedure zqtest()
begin
declare i int default 0;
set i=0;
start transaction;
while i<80000 do
//your insert sql
set i=i+1;
end while;
commit;
end
$$$
delimiter;
call zqtest();
这个也只是个测试代码,具体参数大家自行定义
我这里是一次插入8万条,虽然不多但是,每一条数据量都很大,有很多varchar4000 和text字段
耗时 6.524s
方法四:使用MYSQL LOCAL_INFILE
这个我目前正在使用,所以顺便把pdo的代码也复上来,以便大家参考
//设置pdo开启MYSQL_ATTR_LOCAL_INFILE
/*[email protected]
public function pdo_local_info ()
{
global $system_dbserver;
$dbname = '[email protected]';
$ip = '[email protected]';
$user = '[email protected]';
$pwd = '[email protected]';
$dsn = 'mysql:dbname=' . $dbname . ';host=' . $ip . ';port=3306';
$options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
$db = new PDO($dsn ,$user ,$pwd ,$options);
return $db;
}
//伪代码如下
public function test(){
$arr_keys = array_keys($arr);
$root_dir = $_SERVER["DOCUMENT_ROOT"] . '/';
$my_file = $root_dir . "[email protected]/sql_cache/" . $order['OrderNo'] . '.sql';
$fhandler = fopen($my_file,'a+');
if ($fhandler) {
$sql = implode("\t" ,$arr);
$i = 1;
while ($i <= 80000)
{
$i++;
fwrite($fhandler ,$sql . "\r\n");
}
$sql = "LOAD DATA local INFILE '" . $myFile . "' INTO TABLE ";
$sql .= "tablename (" . implode(',' ,$arr_keys) . ")";
$pdo = $this->pdo_local_info ();
$res = $pdo->exec($sql);
if (!$res) {
//TODO 插入失败
}
@unlink($my_file);
}
}
这个同样每一条数据量都很大,有很多varchar4000 和text字段
耗时 2.160s
以上满足基本需求,100万数据问题不大,要不数据实在太大也涉及分库分表了,或者使用队列插入了。
-
新月同行怎么预抽卡 2024-11-23
-
崩坏星穹铁道2.6版本乱破值得抽取吗 2024-11-23
-
光遇新季节姆明季任务三怎么过 2024-11-23
-
光遇新季节姆明季任务二怎么过 2024-11-23
-
光遇新季节姆明季任务一怎么过 2024-11-23
-
罗德里高效跑商玩法介绍 2024-11-23