PHP中使用Generator处理大数据集的5个高效技巧
一、Generator基础概念
Generator是PHP 5.5引入的重要特性，它允许你在不需要创建数组的情况下迭代一组数据。与普通函数不同，Generator函数使用yield关键字返回值，并在每次迭代时暂停执行。
function generateNumbers($start, $end) {
for ($i = $start; $i <= $end; $i++) {
yield $i;
}
}
foreach (generateNumbers(1, 1000000) as $number) {
echo $number . "n";
}二、内存效率对比
传统数组方式处理100万条数据需要约128MB内存，而使用Generator仅需不到1MB：
// 传统数组方式
function getNumbers($start, $end) {
$result = [];
for ($i = $start; $i <= $end; $i++) {
$result[] = $i;
}
return $result;
}
// Generator方式
function generateNumbers($start, $end) {
for ($i = $start; $i <= $end; $i++) {
yield $i;
}
}三、实战案例：CSV文件处理
处理大型CSV文件时，Generator可以显著降低内存使用：
function readLargeCsv($file) {
$handle = fopen($file, 'r');
while (!feof($handle)) {
$line = fgetcsv($handle);
if ($line !== false) {
yield $line;
}
}
fclose($handle);
}
foreach (readLargeCsv('data.csv') as $row) {
// 处理每行数据
processRow($row);
}四、高级技巧：键值对生成
Generator可以生成键值对，类似关联数组：
function generateKeyValuePairs() {
yield 'name' => '张三';
yield 'age' => 28;
yield 'position' => '开发工程师';
}
foreach (generateKeyValuePairs() as $key => $value) {
echo "$key: $valuen";
}五、性能优化实践
结合SPL迭代器实现更高效的数据处理：
class BatchProcessor extends IteratorIterator {
private $batchSize;
public function __construct(Traversable $iterator, $batchSize = 1000) {
parent::__construct($iterator);
$this->batchSize = $batchSize;
}
public function current() {
$batch = [];
for ($i = 0; $i batchSize && parent::valid(); $i++) {
$batch[] = parent::current();
parent::next();
}
return $batch;
}
}
// 使用示例
$dataGenerator = function() {
for ($i = 0; $i $i, 'data' => md5($i)];
}
};
foreach (new BatchProcessor($dataGenerator()) as $batch) {
processBatch($batch);
}
