真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

PHP如何在兩個(gè)大文件中找出相同的記錄

本篇內(nèi)容介紹了“PHP如何在兩個(gè)大文件中找出相同的記錄”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

平塘網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)建站,平塘網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為平塘成百上千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢，請找那個(gè)售后服務(wù)好的平塘做網(wǎng)站的公司定做！

引言

給定a，b兩個(gè)文件, 分別有x，y行數(shù)據(jù), 其中(x, y均大于10億), 機(jī)器內(nèi)存限制100M，該如何找出其中相同的記錄?

思路

  • 處理該問題的困難主要是無法將這海量數(shù)據(jù)一次性讀內(nèi)內(nèi)存中.

  • 一次性讀不進(jìn)內(nèi)存中，那么是否可以考慮多次呢？如果可以，那么多次讀入要怎么計(jì)算相同的值呢？

  • 我們可以用分治思想， 大而化小。相同字符串的值hash過后是相等的, 那么我們可以考慮使用hash取模, 將記錄分散到n個(gè)文件中。這個(gè)n怎么取呢？ PHP 100M內(nèi)存，數(shù)組大約可以存100w的數(shù)據(jù), 那么按a,b記錄都只有10億行來算, n至少要大于200。

  • 此時(shí)有200個(gè)文件，相同的記錄肯定在同一個(gè)文件中，并且每個(gè)文件都可以全部讀進(jìn)內(nèi)存。那么可以依次找出這200個(gè)文件中各自相同的記錄，然后輸出到同一個(gè)文件中，得到的最終結(jié)果就是a, b兩個(gè)文件中相同的記錄。

  • 找一個(gè)小文件中相同的記錄很簡單了吧，將每行記錄作為hash表的key, 統(tǒng)計(jì)key的出現(xiàn)次數(shù)>=2就可以了。

實(shí)操

10億各文件太大了，實(shí)操浪費(fèi)時(shí)間，達(dá)到實(shí)踐目的即可。

問題規(guī)?？s小為: 1M內(nèi)存限制, a, b各有10w行記錄, 內(nèi)存限制可以用PHP的ini_set('memory_limit', '1M');來限制。

生成測試文件

生成隨機(jī)數(shù)用于填充文件:

/** * 生成隨機(jī)數(shù)填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸出文件名 * @param int $batch 按多少批次生成數(shù)據(jù) * @param int $batchSize 每批數(shù)據(jù)的大小 */function generate(string $filename, int $batch=1000, int $batchSize=10000){   for ($i=0; $i<$batch; $i++) {   $str = '';for ($j=0; $j<$batchSize; $j++) {   $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù)}file_put_contents($filename, $str, FILE_APPEND);  // 追加模式寫入文件}}generate('a.txt', 10);generate('b.txt', 10);

分割文件

  • 將a.txt, b.txt通過hash取模的方式分割到n個(gè)文件中.

/**
 * 用hash取模方式將文件分散到n個(gè)文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 輸入文件名
 * @param int $mod 按mod取模
 * @param string $dir 文件輸出目錄
 */
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
    if (!is_dir($dir)){
        mkdir($dir);
    }

    $fp = fopen($filename, 'r');

    while (!feof($fp)){
        $line = fgets($fp);
        $n = crc32(hash('md5', $line)) % $mod; // hash取模
        $filepath = $dir . '/' . $n . '.txt';  // 文件輸出路徑
        file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
    }

    fclose($fp);
}

spiltFile('a.txt');
spiltFile('b.txt');

  • 執(zhí)行splitFile函數(shù), 得到如下圖files目錄的20個(gè)文件。

PHP如何在兩個(gè)大文件中找出相同的記錄

查找重復(fù)記錄

現(xiàn)在需要查找20個(gè)文件中相同的記錄, 其實(shí)也就是找一個(gè)文件中的相同記錄，操作個(gè)20次。

  • 找一個(gè)文件中的相同記錄:

    /**
 * 查找一個(gè)文件中相同的記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $inputFilename 輸入文件路徑
 * @param string $outputFilename 輸出文件路徑
 */
function search(string $inputFilename, $outputFilename='output.txt')
{
    $table = [];
    $fp = fopen($inputFilename, 'r');

    while (!feof($fp))
    {
        $line = fgets($fp);
        !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1，否則自增
    }

    fclose($fp);

    foreach ($table as $line => $count)
    {
        if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

  • 找出所有文件相同記錄:

    /**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

  • 到這里已經(jīng)解決了大文件處理的空間問題，那么時(shí)間問題該如何處理? 單機(jī)可通過利用CPU的多核心處理，不夠的話通過多臺服務(wù)器處理。

完整代碼

 $count)
    {
        if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

/**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

// 生成文件
generate('a.txt', 10);
generate('b.txt', 10);

// 分割文件
spiltFile('a.txt');
spiltFile('b.txt');

// 查找記錄
searchAll('files', 'output.txt');

title: PHP如何在兩個(gè)大文件中找出相同的記錄?
date: 2021-04-20 22:07:39
tags:
- 海量數(shù)據(jù)處理算法
- PHP
categories:
- 海量數(shù)據(jù)處理算法

引言

給定a，b兩個(gè)文件, 分別有x，y行數(shù)據(jù), 其中(x, y均大于10億), 機(jī)器內(nèi)存限制100M，該如何找出其中相同的記錄?

思路

  • 處理該問題的困難主要是無法將這海量數(shù)據(jù)一次性讀內(nèi)內(nèi)存中.

  • 一次性讀不進(jìn)內(nèi)存中，那么是否可以考慮多次呢？如果可以，那么多次讀入要怎么計(jì)算相同的值呢？

  • 我們可以用分治思想， 大而化小。相同字符串的值hash過后是相等的, 那么我們可以考慮使用hash取模, 將記錄分散到n個(gè)文件中。這個(gè)n怎么取呢？ PHP 100M內(nèi)存，數(shù)組大約可以存100w的數(shù)據(jù), 那么按a,b記錄都只有10億行來算, n至少要大于200。

  • 此時(shí)有200個(gè)文件，相同的記錄肯定在同一個(gè)文件中，并且每個(gè)文件都可以全部讀進(jìn)內(nèi)存。那么可以依次找出這200個(gè)文件中各自相同的記錄，然后輸出到同一個(gè)文件中，得到的最終結(jié)果就是a, b兩個(gè)文件中相同的記錄。

  • 找一個(gè)小文件中相同的記錄很簡單了吧，將每行記錄作為hash表的key, 統(tǒng)計(jì)key的出現(xiàn)次數(shù)>=2就可以了。

實(shí)操

10億各文件太大了，實(shí)操浪費(fèi)時(shí)間，達(dá)到實(shí)踐目的即可。

問題規(guī)?？s小為: 1M內(nèi)存限制, a, b各有10w行記錄, 內(nèi)存限制可以用PHP的ini_set('memory_limit', '1M');來限制。

生成測試文件

生成隨機(jī)數(shù)用于填充文件:

/** * 生成隨機(jī)數(shù)填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸出文件名 * @param int $batch 按多少批次生成數(shù)據(jù) * @param int $batchSize 每批數(shù)據(jù)的大小 */function generate(string $filename, int $batch=1000, int $batchSize=10000){   for ($i=0; $i<$batch; $i++) {   $str = '';for ($j=0; $j<$batchSize; $j++) {   $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù)}file_put_contents($filename, $str, FILE_APPEND);  // 追加模式寫入文件}}generate('a.txt', 10);generate('b.txt', 10);

分割文件

  • 將a.txt, b.txt通過hash取模的方式分割到n個(gè)文件中.

/**
 * 用hash取模方式將文件分散到n個(gè)文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 輸入文件名
 * @param int $mod 按mod取模
 * @param string $dir 文件輸出目錄
 */
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
    if (!is_dir($dir)){
        mkdir($dir);
    }

    $fp = fopen($filename, 'r');

    while (!feof($fp)){
        $line = fgets($fp);
        $n = crc32(hash('md5', $line)) % $mod; // hash取模
        $filepath = $dir . '/' . $n . '.txt';  // 文件輸出路徑
        file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
    }

    fclose($fp);
}

spiltFile('a.txt');
spiltFile('b.txt');

  • 執(zhí)行splitFile函數(shù), 得到如下圖files目錄的20個(gè)文件。

PHP如何在兩個(gè)大文件中找出相同的記錄

查找重復(fù)記錄

現(xiàn)在需要查找20個(gè)文件中相同的記錄, 其實(shí)也就是找一個(gè)文件中的相同記錄，操作個(gè)20次。

  • 找一個(gè)文件中的相同記錄:

    /**
 * 查找一個(gè)文件中相同的記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $inputFilename 輸入文件路徑
 * @param string $outputFilename 輸出文件路徑
 */
function search(string $inputFilename, $outputFilename='output.txt')
{
    $table = [];
    $fp = fopen($inputFilename, 'r');

    while (!feof($fp))
    {
        $line = fgets($fp);
        !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1，否則自增
    }

    fclose($fp);

    foreach ($table as $line => $count)
    {
        if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

  • 找出所有文件相同記錄:

    /**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

  • 到這里已經(jīng)解決了大文件處理的空間問題，那么時(shí)間問題該如何處理? 單機(jī)可通過利用CPU的多核心處理，不夠的話通過多臺服務(wù)器處理。

完整代碼

 $count)
    {
        if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

/**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

// 生成文件
generate('a.txt', 10);
generate('b.txt', 10);

// 分割文件
spiltFile('a.txt');
spiltFile('b.txt');

// 查找記錄
searchAll('files', 'output.txt');

“PHP如何在兩個(gè)大文件中找出相同的記錄”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！


名稱欄目：PHP如何在兩個(gè)大文件中找出相同的記錄
網(wǎng)頁網(wǎng)址：http://weahome.cn/article/pcccjh.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220（工作日）

18980820575（7×24）

提交需求

返回頂部