2026-11-04 · 出典:KDNuggets

日常的なデータ読み込みのステップが常駐メモリーを約19倍に膨張させました。ijsonのようなストリーミングパーサーはレコードを1件ずつ処理するため、ファイルサイズにかかわらずメモリーフットプリントを一定に保てます。
808MB。これは、ディスク上ではわずか43MBという単一のJSONファイルを1つ取り込んだ後に、Pythonプロセスが到達したメモリーフットプリントです。ほぼ19倍の膨張であり、KDNuggetsの最近のエンジニアリング解説の中心にある問題です。
この跳躍はバグではありません。ファイル全体を一括でパースする場合のデフォルト動作です。Pythonが従来の方法でJSONドキュメントをロードするとき、何らかの解析が始まるずっと前に、オブジェクト、配列、文字列のすべてを含む階層全体をネイティブなPython構造として一括で実体化します。Pythonのオブジェクトは項目ごとに大きなオーバーヘッドを抱え込むため、テキストとしてはコンパクトなドキュメントも、生きたメモリーとしては1桁多くを占めることがあります。ファイルサイズがRAM要件の信頼できる代理指標だと想定していたチームにとって、43MBと808MBの間の距離は心苦しい訂正となるでしょう。
この解説が示す答えは、ストリーミングパーサーのijsonです。ドキュメント全体をメモリーに読み込むのではなく、ijsonは文書をインクリメンタルに走査し、1度に1レコードずつ生成します。そのためコードは、次の項目が到着する前に各項目を処理して破棄できます。その結果、メモリー使用量はファイルのサイズではなく単一レコードのサイズに追従します。筆者がストリーミングは「すべてを変えた」と述べる意味はここにあります。
この教訓は1つのファイル形式を超えて広がります。RAMの上限に突き当たるパイプラインが失敗するのは、データが本当に大きすぎるためではなく、読み込み戦略がすべてを同時に実体化することに固執しているためであることが少なくありません。
タグ: ijson · Python · JSON Streaming · Memory Management · Data Engineering
萬安算交所 AIXX · AIXX · 検証済みコンピュート取引所 · 現貨ホールへ