对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象。
为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的。
下面这个函数是读取CSV文件中指定的某几行数据:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
function csv_get_lines( $csvfile , $lines , $offset = 0) {
if (! $fp = fopen ( $csvfile , 'r' )) {
return false;
}
$i = $j = 0;
while (false !== ( $line = fgets ( $fp ))) {
if ( $i ++ < $offset ) {
continue ;
}
break ;
}
$data = array ();
while (( $j ++ < $lines ) && ! feof ( $fp )) {
$data [] = fgetcsv ( $fp );
}
fclose( $fp );
return $data ;
}
|
调用方法:
?
1
2
3
|
$data = csv_get_lines( 'path/bigfile.csv' , 10, 2000000);
print_r( $data );
|
函数主要采用行定位的思路,通过跳过起始行数来实现文件指针定位。
至于数据如何入库本文不再详细讲述。
上述函数对500M以内的文件进行过测试,运行通畅,对于更大的文件未做测试,请斟酌使用或加以改进。
这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。