PostgreSQL/解析/バックグラウンドワーカプロセス のバックアップ(No.4)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• PostgreSQL/解析/バックグラウンドワーカプロセス へ行く。
  • 1 (2018-01-12 (金) 08:45:07)
  • 2 (2018-01-12 (金) 09:08:39)
  • 3 (2018-01-14 (日) 07:42:29)
  • 4 (2018-01-16 (火) 04:40:55)
  • 5 (2018-01-15 (月) 23:57:39)
  • 6 (2018-01-22 (月) 23:02:44)
  • 7 (2018-02-04 (日) 22:32:14)
  • 8 (2018-03-28 (水) 09:16:55)
  • 9 (2018-04-10 (火) 08:14:29)

---

PostgreSQL/開発

バックグラウンドワーカプロセス †

PostgreSQLでは、クライアントコネクション接続を処理するバックエンドプロセスとは異なるプロセスを実行することができる。このバックグラウンドワーカプロセスは、postmasterプロセスによって起動（fork）され、ワーカプロセスの状態はpostmasterの起動・停止・監視とリンクしている。このバックグラウンドワーカの仕組みは、パラレルワーカでも使われており、バックエンドプロセスから動的にバックグラウンドワーカプロセスを登録（※）することも可能である。

バックグラウンドワーカは、バージョン9.3から機能追加されている。
9.4からは動的にバックグラウンドワーカを起動できるように拡張されている。

補足※ 登録と記述しているのは、実際にプロセス生成を行なうのがpostmasterプロセスであるためである。バックグラウンドワーカの起動は、呼び出し側がposmasterにシグナル送信（SIGUSR1）し、postmasterがforkすることで実現されている。

バックグラウンドワーカプロセスのフロー †

バックグラウンドワーカは、Postmaster起動時及び起動後のタイミングで登録することができる（便宜上、ここではPostmaster起動時のワーカを静的、Posmaster起動後のワーカを動的と呼ぶこととする）。静的、動的では以下の違いがある。

• 静的バックグラウンドワーカ（BackgroundWorker）
  • postmaster起動時（postmasterプロセスからの呼び出し）
  • shared_preload_librariesの初期化中
• 動的バックグラウンドワーカ（DynamicBackgroundWorker）
  • postmaster起動時以外（NOT postmasterプロセスからの呼び出し）。バックエンドプロセス、静的バックグラウンドワーカ、動的バックグラウンドワーカから登録が可能。

静的・動的でバックグラウンドワーカを登録する関数は異なるが、バックグラウンドワーカ自体は、同じ構造体変数で表現され、共有メモリ上のバックグラウンドワーカ配列で管理される。

BackgroundWorker構造体 †

バックグラウンドワーカの登録は、BackgroundWorker構造体を介して行なう。以下、静的バックグラウンドワーカを登録する例である。

サンプル 静的バックグラウンドワーカの登録

src/test/modules/worker_spiにあるサンプルが大変参考になる。

void
_PG_init(void)
{
	BackgroundWorker worker;

	memset(&worker, 0, sizeof(worker));

        // ワーカは、データベース接続を必要とする
	worker.bgw_flags = BGWORKER_SHMEM_ACCESS |
		BGWORKER_BACKEND_DATABASE_CONNECTION;

        /* リカバリ完了しクエリの受け付け可能になったタイミングで起動 */
	worker.bgw_start_time = BgWorkerStart_RecoveryFinished;
        /* クラッシュしても再起動しない */
	worker.bgw_restart_time = BGW_NEVER_RESTART;
        /* モジュール名 */
	sprintf(worker.bgw_library_name, "myworker");
        /* エントリーポイント */
	sprintf(worker.bgw_function_name, "myworker_main");
        /* 静的バックグラウンドワーカの場合は、0以外は無効（ワーカが登録されない） */
	worker.bgw_notify_pid = 0;
        /* プロセスリストやログに表示される名前 */
	snprintf(worker.bgw_name, BGW_MAXLEN, "myworker");

	/* ワーカスロットに登録 */
	RegisterBackgroundWorker(&worker);
}


/*
 * ワーカのエントリポイント
 */
void myworker_main(Datum main_arg)
{
    /* ワーカの処理 */
}

バックグラウンドワーカの終了 †

静的バックグラウンドワーカ †

postmasterの停止でワーカも停止する。
ワーカのみ停止したい場合は、シグナルを送ることで可能（ブロックや停止拒否していない場合）。

動的バックグラウンドワーカ †

バックグラウンドワーカ（ワーカ）を登録するプロセスを便宜上オーナと呼ぶ。

オーナが終了 †

ワーカはオーナの終了を知ることはない。BackgroundWorker 構造体のメンバ変数bgw_notify_pidに0以外を指定していた場合、オーナが終了するとBackgroundWorkerStopNotifications関数が呼ばれ、bgw_notify_pidが0に設定される。従って、ワーカでこの変数をチェックすればオーナの終了を知ることができる。

また、別の方法としてon_proc_exitによる終了ハンドラを利用するという方法も考えられる。通常、ワーカはループ内でLatchによるWaitを使って何らかの処理を繰り返し実行するような実装になると思うが、オーナありきのワーカの場合、オーナの終了をできるだけ早期に検知し自身も停止した方が、ワーカスロットの無駄な占有もしなくて済むはず。

ワーカの終了を待つ †

バッググラウンドワーカの

ワーカの終了通知（SIGUSR1）を受けとる †

バックグラウンドワーカの登録時、ワーカを登録するプロセス（ここでは、オーナと呼ぶ）は、BackgroundWorker構造体変数のbgw_notify_pidに自身のプロセスIDを指定すると、ワーカ終了の通知をシグナルSIGUSR1で受け取ることができる。

サンプル オーナでワーカの終了通知を受け取る

static void
RegisterDynamicWorker()
{
	BackgroundWorker worker;

	/* 
	 * Handle for worker.
	 * You can wait for the worker to shutdown with this handle.
	 */
	BackgroundWorkerHandle *handle;

	memset(&worker, 0, sizeof(worker));
	worker.bgw_flags = BGWORKER_SHMEM_ACCESS;
	worker.bgw_start_time = BgWorkerStart_ConsistentState;
	worker.bgw_restart_time = BGW_NEVER_RESTART;
	sprintf(worker.bgw_library_name, "myworker");
	sprintf(worker.bgw_function_name, "myworker_main");
	snprintf(worker.bgw_name, BGW_MAXLEN, "myworker");
	worker.bgw_main_arg = Int32GetDatum(MyProcPid);
	/* Send SIGUSR1 at end */
	worker.bgw_notify_pid = MyProcPid;

	/*
	 * Register a worker.
	 * The worker is boot via postmaster.
	 */
	if (!RegisterDynamicBackgroundWorker(&worker, &handle))
		ereport(WARNING,
				(errmsg("could not register background worker")));
}

参考リンク †

• 並列クエリを実行するPostgreSQLのアーキテクチャ - https://www.slideshare.net/kaigai/
• PostgreSQL 9.6.X 文書 第45章 バックグラウンドワーカプロセス - https://www.postgresql.jp/document/9.6/html/
• Chapter 47. Background Worker Processes - https://www.postgresql.org/docs/10/static/
• postmaster/bgworker.c - https://git.postgresql.org/gitweb/?p=postgresql.git;a=shortlog;h=refs/heads/REL_10_STABLE
• PostgreSQL のバックグラウンドワーカー(Background Worker)の使い方 - http://www.nminoru.jp/~nminoru/postgresql/