/help-enterprise-jp/オンプレ版をスケールさせる

generated at 2/18/2025, 2:57:16 PM
オンプレ版をスケールさせる

たくさんのクライアントからのリクエストを処理する方法
オンプレ版を運用するのに必要な、サーバー管理やDocker等の知識がある人向けです
セミオンプレ版の場合は不要です


オンプレ版をスケールさせるポイントは2つです
1. MongoDB
2. application server (node.js)

MongoDBのスケールアップ
MongoDBの強化は
サーバー数を増やすのではなく
1台のサーバーを増強するのが定石です
ストレージ
SSDにすると、read/writeが高速になります
これが一番重要です
RAM
8GBもあれば十分です
もっと少なくても大丈夫かも（規模による）

application serverのスケールアウト
ScrapboxのアプリケーションサーバーはNode.jsで実装されています
サーバーを強化するのではなく
サーバーの数を増やす事で性能を向上できます
Node.jsの仕様で、1プロセスあたり1.5GBまでしかメモリを確保できません
1つのapplication serverが同時にさばけるのは500クライアント程度まで
接続数は /api/health/sockets で確認できます

システム構成
 外部 <---> nginx <---> 複数のNode.jsサーバー + redis <---> mongodb 
外部からのリクエストは、nginxでランダムなNode.jsサーバーに割り振る
複数のNode.jsサーバーの協調動作に、redisを使う

Redis
redisにはデータは保持しません
純粋なpub/subサーバーとして使います
同時接続数の上限設定に気をつけて下さい
 appコンテナ数 * 2 + 1 の接続数が必要です


docker-composeの修正
app(web)とmongoに加えて、nginxとredisを docker-compose.yml に追加します
node.js appに環境変数 REDIS_URL を指定する事で、複数プロセス間で協調動作するようになります
docker-compose.ymlversion: '2.1'
services:
  nginx:  # これを追加する
    image: nginx:alpine
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
    ports:
      - "8888:80"
    depends_on:
      - app
    tty: true
  app:
    image: ${IMAGE:-notainc/scrapbox}
    environment:
      APP_URL: 'http://your-host-name:8888'
      REDIS_URL: 'redis://redis:6379'  # これを追加する
    ports:  # これを削除する
      - "${PORT:-8888}:80"  # これも削除する
    (略)
  mongo:
    (略)
  redis:  # これも追加
    image: redis:alpine
    restart: unless-stopped
    tty: true

nginxの設定
websocket proxyを有効にしつつ、リクエストを複数のapp containerに振り分ける
nginx/nginx.confuser  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
  worker_connections  1024;
}

http {
  upstream apps {
    server app:80; # docker-compose.ymlで指定したコンテナ名に合わせる
  }

  include       mime.types;
  default_type  application/octet-stream;

  log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';

  sendfile on;
  keepalive_timeout  65;
  gzip     on;
  server {
    listen       80;
    server_name  localhost;
    location / {        
      ## websocketをappにproxyする
      proxy_read_timeout     300;
      proxy_connect_timeout  300;
      proxy_set_header       Host               $host;
      proxy_set_header       X-Real-IP          $remote_addr;
      proxy_set_header       X-Forwarded-Host   $host;
      proxy_set_header       X-Forwarded-Server $host;
      proxy_set_header       X-Forwarded-For    $proxy_add_x_forwarded_for;
      proxy_set_header       X-Document-Root    $document_root;
      proxy_set_header       X-Document-URI     $document_uri;
      proxy_set_header       Upgrade            $http_upgrade;
      proxy_set_header       Connection         "Upgrade";

      proxy_pass  http://apps;
    }
  }
}


起動する
$ docker-compose up --scale app=5
app serverが5つになります
5つのサーバーにリクエストがランダムに割り振られている様子


コンテナ内でnode.jsプロセスをforkさせるCluster modeもあります