用PHP写的一个去重统计的程序

    小弟的工作有时候要进行大数据量的统计与去重，考虑到高级语言的易用性，所以用PHP实现了一个去重统计的程序，效果还不错，统计速度也还行，在此拿出来跟大家共享一下，交流下设计思想。

#!/usr/bin/php -q
?php
/***
*
*    File    : skip_repeat.php
*    Date    : 2008/05/23
*    Author    : Nie Jun
*    E-Mail    : [email protected]
*    Version    : 0.1.0
*
*
*/

$fp = fopen('./key_record.txt', 'r');
if ($fp) {
    while (!feof($fp)) {
        $buffer = fgets($fp, 20);
        
        $buffer = trim($buffer);
        
        if (empty($buffer))
            continue;
            
        $md5_str = md5($buffer);
        
        if (empty($obj_array[$md5_str])) {
            $obj_array[$md5_str] = new OBJ_SIG;
            $obj_array[$md5_str]->sig_stat = 1;
            $obj_array[$md5_str]->sig_count++;
            $obj_array[$md5_str]->sig_code = $buffer;
        
        } else {
            $obj_array[$md5_str]->sig_count++;
        }
        
    }
}
foreach($obj_array as $val) {
   
    $w_fp = fopen('./key_code.csv', 'a');
   
    if ($w_fp) {
        fputs($w_fp, "\"'$val->sig_code\",\"$val->sig_count\"");
        fputs($w_fp, "\r\n");
    }
   
    fclose($w_fp);   
}
//print_r($obj_array);
//
class OBJ_SIG
{
    var $sig_stat;
    var $sig_count;
    var $sig_code;
}
?>