Postgres-Warteschlange mit SKIP LOCKED stockt bei 375 Jobs pro Sekunde, Pool hebt sie auf 650
Ein Beitrag auf garbagecollected.io misst, wo das beliebte Muster einer Postgres-Jobwarteschlange, bei dem Zeilen mit FOR UPDATE SKIP LOCKED beansprucht werden, an seine Grenzen stößt. Der Aufbau war bewusst klein: Postgres 18 in einem Container mit einer CPU und 1 GB Speicher, Standardeinstellungen bis auf 256 MB Shared Buffers, ein Rückstau von 500.000 offenen Jobs und Worker, die jeweils einen Job übernehmen, 100 Millisekunden Arbeit simulieren und ihn abschließen, jeder über eine eigene Verbindung.
Bei Verdopplung der Worker von 1 auf 128 stieg der Durchsatz bis 32 Worker und stockte bei 64 Workern bei rund 375 Jobs pro Sekunde, noch bevor die standardmäßigen 100 Verbindungen belegt waren. Mit 128 Workern fiel er auf etwa 200 Jobs pro Sekunde, und 29 Worker bekamen keine Verbindung. Die mittlere Abfragezeit stieg zwischen 32 und 64 Workern von 8 auf 45 Millisekunden, das 99. Perzentil von 25 auf 393 Millisekunden und dann auf 1,6 Sekunden.
Speicher war nicht die Grenze; der Container kam auf knapp 560 MB, überwiegend Cache, bei etwa 2 MB je Verbindung. Die CPU lag bei 64 Workern bei 86 Prozent und bei 128 bei 100 Prozent. Am häufigsten warteten die Verbindungen auf LWLock:WALWrite, weil jeder Job das Log zweimal schreibt, und danach auf LWLock:BufferContent, den Wettbewerb um die wenigen Seiten am Kopf der Warteschlange, aus denen alle Worker Jobs ziehen.
Mit einem gemeinsamen Pool von 20 Verbindungen auf Clientseite schafften 128 Worker 652 Jobs pro Sekunde, das 99. Perzentil sank auf 360 Millisekunden. Der Preis: höhere Spitzenlatenz ab 32 Workern und wieder fast volle CPU bei Postgres. Der Autor merkt an, dass die Zahlen aus Einzelläufen stammen, dass auch der Python-Client einen vollen Kern belegte und dass ein Pool Verbindungen nur innerhalb eines Prozesses teilt, wofür ein serverseitiger Pooler wie PgBouncer gedacht ist.

Was das bedeutet
Das Muster trägt weit, aber seine Grenze liegt bei CPU und Sperrkonflikten, lange vor dem Verbindungslimit, auf das die meisten achten. Pooling verschiebt diese Grenze, statt sie aufzuheben.