当前位置：首页>资讯 >商务贸易 > 技术交流>PHP如何对CSV大文件进行读取并导入数据库？

PHP如何对CSV大文件进行读取并导入数据库？

2018-06-26 责任编辑：未填 浏览数：未显示 中贸商网-贸易商务资源网

核心提示：对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。为了成功将CSV文件里的数

 对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库，分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function csv_get_lines($csvfile, $lines, $offset = 0) {
 if(!$fp = fopen($csvfile, 'r')) {
    return false;
 }
 $i = $j = 0;
    while (false !== ($line = fgets($fp))) {
        if($i++ < $offset) {
            continue;
        }
        break;
    }
    $data = array();
    while(($j++ < $lines) && !feof($fp)) {
        $data[] = fgetcsv($fp);
    }
    fclose($fp);
 return $data;
}

调用方法：

?
1
2
3
$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
 
print_r($data);

函数主要采用行定位的思路，通过跳过起始行数来实现文件指针定位。

至于数据如何入库本文不再详细讲述。

上述函数对500M以内的文件进行过测试，运行通畅，对于更大的文件未做测试，请斟酌使用或加以改进。

这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

分享到：
阅读上文 >> PHP读取CSV文件内容 并且插入到数据库中
阅读下文 >> 燕之屋：拯救球迷的熬夜营养品神器

大家喜欢看的

  • 品牌
  • 资讯
  • 展会
  • 视频
  • 图片
  • 供应
  • 求购
  • 商城

版权与免责声明：

凡注明稿件来源的内容均为转载稿或由企业用户注册发布，本网转载出于传递更多信息的目的；如转载稿涉及版权问题，请作者联系我们，同时对于用户评论等信息，本网并不意味着赞同其观点或证实其内容的真实性；


本文地址：http://news.ceoie.com/show-186958.html

转载本站原创文章请注明来源：中贸商网-贸易商务资源网

推荐新闻

更多

行业专题

更多行业专题

行业热点

更多

热门频道

资讯
渠道 热点 致富 价格 行业
供应
机械 能源 服装 家居 电脑
求购
化工 食品 环保 电工
公司
机械 能源 服装
展会
国内 国外

产品信息

热门行业企业

更多

微信“扫一扫”
即可分享此文章

友情链接

  • 手机登录

  • 关注官方微信

服务热线：0311-89210691 ICP备案号：冀ICP备2023002840号-2