Comment itérer un gros fichier json

vous voudrez utiliser un analyseur de flux. Ces tirer seulement de petites portions de votre fichier dans la mémoire.

ils viennent dans un couple de saveurs différentes: Sax-like parsers, et pull parsers. XML reader models: SAX versus XML pull parser donne un aperçu de la différence.

---

Push Parser

ceci est un exemple rapide en utilisant salsifis/json-streaming-analyseur .

comme il roule dans le dossier nous garderons la trace du summonerId , championId , et l'état. Tout est basé sur les événements - vous n'avez pas accès au hasard avec un analyseur séquentiel donc vous devez garder une trace des choses vous-même. Chaque fois qu'un totalSessionsPlayed apparaît, il fait écho aux summonerId , championId , et totalssionsplayed .

---

données.json

il s'agit d'un fichier JSON couplé pour une démonstration.

[
    {
        "_id": "53b29644aafd413977b23b7e",
        "summonerId": 24570940,
        "region": "euw",
        "stats": {
            "110": {
                "totalSessionsPlayed": 3,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            },
            "112": {
                "totalSessionsPlayed": 45,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            }
        }
    },
    {
        "_id": "asdfasdfasdf",
        "summonerId": 555555,
        "region": "euw",
        "stats": {
            "42": {
                "totalSessionsPlayed": 65,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            },
            "88": {
                "totalSessionsPlayed": 99,
                "totalSessionsLost": 2,
                "totalSessionsWon": 1
            }
        }
    }
]

exemple:

class ListMatchUps extends JsonStreamingParser\Listener\IdleListener
{

    private $key;
    private $summonerId;
    private $championId;
    private $inStats;

    public function start_document()
    {
        $this->key        = null;
        $this->summonerId = null;
        $this->championId = null;
        $this->inStats    = false;
    }

    public function start_object()
    {
        if ($this->key === 'stats') {
            $this->inStats = true;
        } else if ($this->inStats) {
            $this->championId = $this->key;
        }
    }

    public function end_object()
    {
        if ($this->championId !== null) {
            $this->championId = null;
        } else if ($this->inStats) {
            $this->inStats = false;
        } else {
            $this->summonerId = null;
        }
    }

    public function key($key)
    {
        $this->key = $key;
    }

    public function value($value)
    {
        switch ($this->key) {
            case 'summonerId':
                $this->summonerId = $value;
                break;
            case 'totalSessionsPlayed':
                echo "{$this->summonerId},{$this->championId},$value\n";
                break;
        }
    }
}

$stream = fopen('data.json', 'r');
$listener = new ListMatchUps();
try {
    $parser = new JsonStreamingParser_Parser($stream, $listener);
    $parser->parse();
} catch (Exception $e) {
    fclose($stream);
    throw $e;
}

sortie:

24570940,110,3
24570940,112,45
555555,42,65
555555,88,99

---

Pull Parser

ceci utilise un analyseur que j'ai récemment écrit, pcrov/jsonreader (nécessite PHP 7.)

mêmes données.json comme ci-dessus.

exemple:

use pcrov\JsonReader\JsonReader;

$reader = new JsonReader();
$reader->open("data.json");

while($reader->read("summonerId")) {
    $summonerId = $reader->value();
    $reader->next("stats");
    foreach($reader->value() as $championId => $stats) {
        echo "$summonerId, $championId, {$stats['totalSessionsPlayed']}\n";
    }
}
$reader->close();

sortie:

24570940, 110, 3
24570940, 112, 45
555555, 42, 65
555555, 88, 99