[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-deep-evm-28-high-throughput-data-pipeline":3},{"article":4,"author":55},{"id":5,"category_id":6,"title":7,"slug":8,"excerpt":9,"content_md":10,"content_html":11,"locale":12,"author_id":13,"published":14,"published_at":15,"meta_title":16,"meta_description":17,"focus_keyword":18,"og_image":19,"canonical_url":19,"robots_meta":20,"created_at":15,"updated_at":15,"tags":21,"category_name":35,"related_articles":36},"d4000000-0000-0000-0000-000000000128","a0000000-0000-0000-0000-000000000045","Deep EVM #28：高スループットデータパイプライン — バッチインサート、COPY、コンフリクト解決","deep-evm-28-high-throughput-data-pipeline","COPYプロトコル、バルクupsertパターン、WALチューニング、PgBouncerコネクションプーリング、モニタリングを使用したPostgreSQLの高スループットデータパイプライン構築。","## インサートスループット問題\n\n個別INSERTは約5,000行\u002F秒。COPYプロトコルは250,000行\u002F秒以上。40倍の差 — 9日のバックフィルと5時間のバックフィルの差。\n\n## INSERT vs COPYパフォーマンス\n\n| メソッド | スループット | レイテンシ\u002F行 |\n|---------|-----------|----------|\n| 個別INSERT | 5K行\u002F秒 | 200us |\n| バッチINSERT（1000） | 50K行\u002F秒 | 20us |\n| COPYテキスト | 150K行\u002F秒 | 6.7us |\n| COPYバイナリ | 250K行\u002F秒 | 4us |\n\n## ON CONFLICT戦略\n\nUpsert（コンフリクト時更新）、重複スキップ、バルクupsertパターン。\n\n## WALチューニング\n\n`synchronous_commit = off`で約3倍の書き込みスループット向上（クラッシュ時に最後の200msのデータ損失リスクあり）。再取得可能なブロックチェーンデータには許容可能。\n\n## PgBouncerコネクションプーリング\n\n`transaction`モードで各トランザクション後にコネクションを解放。1000クライアント接続を50のPostgreSQL接続にマルチプレックス。\n\n## まとめ\n\n高スループットPostgreSQLパイプラインはバッチ思考が必要です。COPYプロトコルで最大取り込み速度、バッチINSERTでON CONFLICTサポート、WAL設定でチェックポイントオーバーヘッド削減。ナイーブなパイプラインと最適化されたパイプラインの差は40倍です。","\u003Ch2 id=\"\">インサートスループット問題\u003C\u002Fh2>\n\u003Cp>個別INSERTは約5,000行\u002F秒。COPYプロトコルは250,000行\u002F秒以上。40倍の差 — 9日のバックフィルと5時間のバックフィルの差。\u003C\u002Fp>\n\u003Ch2 id=\"insert-vs-copy\">INSERT vs COPYパフォーマンス\u003C\u002Fh2>\n\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>メソッド\u003C\u002Fth>\u003Cth>スループット\u003C\u002Fth>\u003Cth>レイテンシ\u002F行\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\n\u003Ctr>\u003Ctd>個別INSERT\u003C\u002Ftd>\u003Ctd>5K行\u002F秒\u003C\u002Ftd>\u003Ctd>200us\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>バッチINSERT（1000）\u003C\u002Ftd>\u003Ctd>50K行\u002F秒\u003C\u002Ftd>\u003Ctd>20us\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>COPYテキスト\u003C\u002Ftd>\u003Ctd>150K行\u002F秒\u003C\u002Ftd>\u003Ctd>6.7us\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\u003Ctd>COPYバイナリ\u003C\u002Ftd>\u003Ctd>250K行\u002F秒\u003C\u002Ftd>\u003Ctd>4us\u003C\u002Ftd>\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Ch2 id=\"on-conflict\">ON CONFLICT戦略\u003C\u002Fh2>\n\u003Cp>Upsert（コンフリクト時更新）、重複スキップ、バルクupsertパターン。\u003C\u002Fp>\n\u003Ch2 id=\"wal\">WALチューニング\u003C\u002Fh2>\n\u003Cp>\u003Ccode>synchronous_commit = off\u003C\u002Fcode>で約3倍の書き込みスループット向上（クラッシュ時に最後の200msのデータ損失リスクあり）。再取得可能なブロックチェーンデータには許容可能。\u003C\u002Fp>\n\u003Ch2 id=\"pgbouncer\">PgBouncerコネクションプーリング\u003C\u002Fh2>\n\u003Cp>\u003Ccode>transaction\u003C\u002Fcode>モードで各トランザクション後にコネクションを解放。1000クライアント接続を50のPostgreSQL接続にマルチプレックス。\u003C\u002Fp>\n\u003Ch2 id=\"\">まとめ\u003C\u002Fh2>\n\u003Cp>高スループットPostgreSQLパイプラインはバッチ思考が必要です。COPYプロトコルで最大取り込み速度、バッチINSERTでON CONFLICTサポート、WAL設定でチェックポイントオーバーヘッド削減。ナイーブなパイプラインと最適化されたパイプラインの差は40倍です。\u003C\u002Fp>\n","ja","b0000000-0000-0000-0000-000000000001",true,"2026-03-28T10:44:27.272192Z","高スループットデータパイプライン — バッチインサート、COPY、コンフリクト解決","COPYプロトコル、バルクupsert、WALチューニング、PgBouncerコネクションプーリング、pg_stat_statementsモニタリングでPostgreSQL高スループットデータパイプラインを構築。","postgresql 高スループット データパイプライン",null,"index, follow",[22,27,31],{"id":23,"name":24,"slug":25,"created_at":26},"c0000000-0000-0000-0000-000000000006","Docker","docker","2026-03-28T10:44:21.513630Z",{"id":28,"name":29,"slug":30,"created_at":26},"c0000000-0000-0000-0000-000000000005","PostgreSQL","postgresql",{"id":32,"name":33,"slug":34,"created_at":26},"c0000000-0000-0000-0000-000000000001","Rust","rust","DevOps",[37,43,49],{"id":38,"title":39,"slug":40,"excerpt":41,"locale":12,"category_name":35,"published_at":42},"d0000000-0000-0000-0000-000000000650","Platform EngineeringがDevOpsを飲み込んだ：2026年のIDP構築","platform-engineering-devops-nomikonda-2026-idp-kochiku","80%の大規模エンジニアリング組織が専任のプラットフォームチームを持ち、2024年の45%から増加。内部開発者プラットフォーム——セルフサービスポータル、事前承認インフラ、自動化ガードレール——がDevOpsをスケールで提供する標準的な方法になりました。","2026-03-28T10:44:47.822230Z",{"id":44,"title":45,"slug":46,"excerpt":47,"locale":12,"category_name":35,"published_at":48},"d0000000-0000-0000-0000-000000000649","ゼロ計装オブザーバビリティ：eBPFがSidecarフリートを置き換えた方法","zero-keiso-obuzababiriti-ebpf-sidecar-furito-okikaeta","67%のKubernetesチームがeBPFベースのオブザーバビリティツールを使用しており、2024年の29%から増加。テレメトリ収集をカーネルに移すことで、eBPFはsidecarコンテナを排除し、RAM使用量を84%削減、CPU オーバーヘッドは1%未満を実現。","2026-03-28T10:44:47.817031Z",{"id":50,"title":51,"slug":52,"excerpt":53,"locale":12,"category_name":35,"published_at":54},"d0000000-0000-0000-0000-000000000648","WASI 0.3とコールドスタートの終焉：サーバーサイドWasmの本番運用","wasi-0-3-korudo-sutato-no-shuen-sabasaido-wasm-honban-unyo","WASI 0.3は2026年2月にネイティブasync I\u002FO、ストリーム型、完全なソケットサポートとともにリリースされました。サーバーサイドWebAssemblyはマイクロ秒のコールドスタートを実現し、主要クラウドプロバイダーすべてがWasmサーバーレスを提供しています。","2026-03-28T10:44:47.799002Z",{"id":13,"name":56,"slug":57,"bio":58,"photo_url":19,"linkedin":19,"role":59,"created_at":60,"updated_at":60},"Open Soft Team","open-soft-team","The engineering team at Open Soft, building premium software solutions from Bali, Indonesia.","Engineering Team","2026-03-28T08:31:22.226811Z"]