Matrix SynapseにおけるPostgreSQLのメモリ負荷を軽減する

Matrix SynapseでPostgreSQLが想定以上のメモリを消費している場合は、まずメモリが共有バッファ、アクティブなクエリ処理、自動バキューム、または多数の接続のいずれに起因しているかを特定してください。次に、一度に1つのソースを調整し、再度測定してください。Synapse独自のPythonワーカーもかなりのメモリを使用するため、データベース設定を変更する前に、PostgreSQLプロセスまたはデータベースコンテナが原因であることを確認してください。

「高記憶力」の意味を理解する

PostgreSQLは、キャッシュに共有メモリ、各サーバー接続とクエリにプライベートメモリ、そしてオペレーティングシステムのページキャッシュを使用します。Linuxでは、「使用済み」と表示されるメモリには、再利用可能なファイルシステムキャッシュが含まれる場合があります。この数値だけでは、データベースに負荷がかかっているとは言えません。利用可能なメモリが継続的に低い状態、スワップアクティビティ、メモリ不足イベント、またはコンテナがメモリ制限に近づいている状態などを確認してください。これらの兆候をSynapseとPostgreSQLのプロセスメトリックと比較してください。

PostgreSQLバックエンドは、クライアント接続を処理するサーバープロセスです。Synapseのデータベース接続プールは、プロセスごとに複数のバックエンドを開くことができ、Synapseワーカーはそれぞれ独自のプールを持ちます。そのため、ワーカー数やプールサイズを増やすと、同時データベース処理とメモリ需要が増加する可能性があります。対策: PostgreSQLの設定を調整する前に、Synapseプロセス、ワーカー数、プール設定、PostgreSQL接続、ホストまたはコンテナのメモリ制限を確認してください。

チューニングする前に、メインソースを見つけてください。

管理者としてSynapseデータベースに接続し、メモリと接続を制御する設定を確認します。

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersは PostgreSQL の共有キャッシュであり、サーバーの起動時に割り当てられます。work_memは、ソートとハッシュテーブルに対するクエリ操作ごとの予算であり、サーバーごとの上限ではありません。1 つのクエリでこのような操作を複数使用でき、多くの接続が同時に実行できます。メンテナンスワーカーが複数実行されると、メンテナンスと自動バキュームメモリも増加する可能性があります。対処法:最大の設定が最適であると想定するのではなく、設定値を使用可能な RAM、同時実行数、および Synapse 接続数と比較してください。

このクエリを使用して、接続されているクライアントセッションの数と、それらがアクティブかアイドル状態かを確認します。

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

デプロイメントでサポートされている場合は、PostgreSQLコンテナのメモリ制限を調べ、そのメトリックまたはホストのプロセスおよびcgroupメトリックを使用してください。PostgreSQLプロセス全体で常駐メモリを合計すると、共有ページが過剰にカウントされる可能性があります。対処方法:コンテナまたはホストの合計メモリ使用量を使用して負荷を確認し、接続およびクエリ統計を使用して原因として考えられるものを特定してください。

証拠に基づいて変更を選択する

ビジー期間中にクエリメモリが急増する場合

まず、値を確認してくださいwork_mem。同時実行クエリが複数のソートやハッシュ操作を実行する場合、高い値は大量のメモリを消費する可能性があります。クエリの同時実行によってメモリ使用量が急増していることが測定結果から判明した場合は、慎重に値を減らしてください。ただし、大きな操作が一時ファイルに書き込まれ、処理速度が低下する可能性があります。SynapseのワークロードとPostgreSQLのバージョンによって結果が異なるため、別のサーバーから汎用的な値をコピーすることは避けてください。

PostgreSQLのドキュメントではshared_buffers、共有キャッシュをメインのキャッシュとして説明しており、RAMの約25%を、少なくとも1GBのRAMを搭載した専用データベースサーバーの場合に限り、妥当な開始点として挙げています。また、PostgreSQLはオペレーティングシステムのキャッシュにも依存するため、40%以上を割り当ててもほとんどのワークロードには効果がないとも述べています。対処法:これらの数値は、共有Synapseホストの目標値ではなく、あくまで参考値として使用してください。共有バッファが既に総メモリの大部分を占めている場合は、計画的な再起動時に、より低い値を評価してください。

接続数が主な圧力である場合

Synapse のdatabase.args.cp_minと のcp_max値をhomeserver.yamlワーカー構成ファイルと で確認してください。Synapse PostgreSQL ガイドでは、これらの設定を接続プールの最小サイズと最大サイズとして示しています。ワーカーが多数あり、それぞれにプールがある場合、可能な接続の総数は 1 つのファイルの値よりもはるかに大きくなる可能性があります。 を小さくすると、cp_max同時実行されるデータベース バックエンドとそのメモリ使用量を制限できますが、プールが小さすぎると、リクエストが接続を待つことになります。

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

上記の値はあくまで例示であり、普遍的な推奨事項ではありません。メインプロセスとすべてのワーカーにわたるプール数をカウントし、管理、移行、監視、およびその他のクライアントのために余裕を持たせてください。PostgreSQL は に基づいて一部のリソースを割り当てるmax_connectionsため、「念のため」その制限を上げると、ベースラインのメモリ負荷が増加する可能性があります。対策: Synapse プールを、測定された同時実行に必要なレベルに制限し、PostgreSQL の接続制限にすべてのサービスと管理アクセスのための余裕があることを確認してください。

メンテナンスや自動掃除機がスパイクと重なる場合

PostgreSQL は、VACUUM およびインデックス作業のためにメンテナンス メモリを割り当てる場合があります。自動バキューム メモリは自動バキューム ワーカーごとに割り当てられるため、大きな設定と複数のワーカーの組み合わせにより、ピーク時の使用量が増加する可能性があります。メモリを削減するために自動バキュームを無効にしないでください。自動バキュームは必要なテーブル メンテナンスを実行します。対処方法:スパイク発生時のログとアクティビティを調べ、それらの操作が原因であることが確認された場合にのみ調整してmaintenance_work_memくださいautovacuum_work_mem。

変更を適用し、結果を確認する

まず、PostgreSQL の設定と Synapse の設定をバックアップしてください。一度に 1 つの変数またはプール制限のみを変更し、既存の認証情報を安全に保管し、パッケージまたはコンテナに適した設定パスを使用してください。 や などの一部の PostgreSQL パラメータはshared_buffersサーバーmax_connectionsの再起動が必要です。再読み込み可能な設定は、PostgreSQL でサポートされている再読み込みメカニズムを使用して適用できます。再読み込みが適用されたと判断する前に、設定のコンテキストを確認してください。

変更後、代表的なビジー期間において、ピークメモリ、スワップおよびメモリ不足イベント、アクティブな接続、クエリのレイテンシ、一時ファイルのアクティビティ、およびSynapseリクエストの遅延を監視してください。この変更は、接続待ちの継続、クエリの遅延、またはリクエストのバックログの増加を引き起こすことなくメモリ負荷を軽減する場合に有効です。SynapseがPostgreSQLではなくRAMを消費するプロセスである場合は、Synapseのキャッシュ動作とワーカー数を個別に調整してください。PostgreSQLの設定では、Pythonワーカーが保持するメモリは修正されません。

work_memメモリ使用量をサーバーのRAM全体と同じ値に設定したり、max_connectionsプール合計を計算せずに値を増やしたり、自動バキュームを無効にしたりといった包括的な対策は避けてください。メモリ使用量が高い状態が続く場合は、ハードウェアを追加したり、広範囲にわたる構成変更を行う前に、ピーク時にメトリックを取得し、実際に実行されているクエリと接続元を確認してください。

公式資料

コメントを残す

Matrix SynapseにおけるPostgreSQLのメモリ負荷を軽減する

PostgreSQLのメモリがクエリ処理、共有バッファ、接続、メンテナンスのいずれに起因しているかを特定し、Synapseに安全な変更を的確に行います。

マトリックスシナプスルームの結合が遅い理由と、確認すべき点

マトリックスシナプスルームの結合が遅い理由と、確認すべき点

Synapseの設定を変更する前に、Matrixルームへの参加が遅い原因を、リモートホームサーバー、フェデレーションのバックオフ、ローカルデータベースの負荷、または送信キューのいずれかに特定してください。

SynapseでMatrixサインアップを閉鎖するか、招待トークンを必須にする

自己ホスト型のSynapseサーバーでの新規アカウント作成を停止するか、登録を招待制にし、使用回数に制限のある登録トークンを使用するようにしてください。

要素セッションID警告:ログインを安全に確認してください

信頼できるデバイスまたはリカバリキーを使用して、Elementの未検証セッション警告をクリアします。暗号化されたチャット履歴を保護するチェック機能も備えています。

適切なバックエンドを使用してownCloudのファイルロックタイムアウトを解消する

データベースロックの競合と期限切れのWebDAVロックを区別し、適切なownCloud 10の修正プログラムを選択して設定します。

ownCloud Webを開くと空白ページが表示される場合の確認事項

ownCloud Webを開くと空白ページが表示される場合の確認事項

ownCloudのWeb画面が空白になる原因を、ブラウザのキャッシュ、Webアセットの欠落、サービスエラー、またはリバースプロキシのURL設定など、特定のチェック項目に絞り込んで特定します。

ownCloud PHPメモリ警告を正しい実行時にクリアする

ownCloudのWeb PHPメモリ制限を設定し、該当するサービスを再起動し、CLI設定やアップロード制限と混同しないように注意しながら、有効な値を確認してください。

ownCloud 10のMySQL接続障害のトラブルシューティング

mySQL、PHP、ソケット設定、またはデータベース権限がownCloud 10の動作を妨げているかどうかを確認し、安全な修正方法を検証してください。

ownCloudの公開リンクに厳格な有効期限を設定する

ownCloudの公開リンクに厳格な有効期限を設定する

ownCloud Classicで公開リンクの有効期限を必須に設定し、最大有効期間を設定し、別途クリーンアップが必要な既存の共有フォルダを確認してください。

keycloakを使用してownCloud Infinite ScaleにTOTP二要素認証ログインを追加する

keycloakを使用してownCloud Infinite ScaleにTOTP二要素認証ログインを追加する

Keycloak経由でTOTPを有効にし、ユーザーを安全に登録し、Infinite ScaleのルートレベルのMFA設定が適用されるタイミングを理解します。