k6 がサポートしているテストシナリオ

Load and performance testing

Browser performance testing

Performance and synthetic monitoring

Automation of performance tests

Chaos and resilience testing

Infrastructure testing

基礎知識

用語集

メトリクスの種類

• Built-in metrics

ライフサイクル

• init
• Setup
• VU
• Teardown

init ステージ

VU ステージ

• ローカルファイルシステムからファイルを読み込めない。
• モジュールをインポートできない。

Setup / Teardown ステージ

• init ステージとは異なり、すべての JavaScript API を利用できます。
• --no-setup および --no-teardown フラグを使用して、このステージをスキップできます。
• setup 関数から default 関数および teardown 関数にデータのコピーを渡すことができます。
  • ただし、次の事柄に留意してください。
    • 渡せるのはデータのみで関数は渡せません
    • データが大きい場合はメモリ消費量に注意してください
    • default 関数内でデータを加工して teardown 関数に渡すことはできません

シナリオ

• テストを柔軟に構成できる
  • 同じスクリプト内に複数のシナリオを宣言でき、それぞれが異なる JavaScript 関数を独立して実行します。
• 現実的なトラフィックのシミュレーション
  • 各シナリオが特定の VUs やイテレーションスケジュールを使用でき、個別の Executor によって制御されます。
• 並列または順次のワークロード実行
  • シナリオは互いに独立しており並行して実行されますが、startTime プロパティを慎重に設定することでシーケンシャルな実行に見せることも可能です。
• 詳細な結果分析
  • 各シナリオに異なる環境変数やメトリックタグを設定でき、詳細な結果分析が可能です。

export const options = {
  scenarios: {
    example_scenario: {
      // name of the executor to use
      executor: 'shared-iterations',

      // common scenario configuration
      startTime: '10s',
      gracefulStop: '5s',
      env: { EXAMPLEVAR: 'testing' },
      tags: { example_tag: 'testing' },

      // executor-specific configuration
      vus: 10,
      iterations: 200,
      maxDuration: '10s',
    },
    another_scenario: {
      /*...*/
    },
  },
};

• Scenarios

Executor

macOS への k6 の導入と初期設定

インストール手順

brew install k6

OS のチューニング

使用状況レポート

基本的なテストシナリオの作成と実行

スクリプトの生成・編集

k6 new

export default function () {
  // ...
}

export const options = {
  vus: 10,
  duration: '30s',
};

• How to use options
• Options reference

シナリオ実行と結果確認

k6 run script.js

• Built-in メトリクス、およびユーザーが定義したカスタムメトリクス
  • Built-in メトリクスには次の値が含まれます
    • Median
    • Average
    • Minimum and Maximum
    • p90, p95 and p99
• Scenarios およびこれに所属する Groups のリスト
• Thresholds および Checks の成否
  • Thresholds は特定のパフォーマンス基準を設定し、それを超えるかどうかを検証するための条件です。例えばレスポンスタイムやエラー率などに対して閾値を設定し、それを満たしているかどうかを判定します。
  • Checks は個別のリクエストやレスポンスに対して、特定の条件を満たしているかどうかを確認するための機能です。これは HTTP ステータスコードやレスポンスボディの内容など、細かい要素に対して検証を行いたい場合に利用されます。

Ramp_Up ✓ [======================================] 00/20 VUs  30s
     █ GET home - https://example.com/

       ✓ status equals 200

     █ Create resource - https://example.com/create

       ✗ status equals 201
        ↳  0% — ✓ 0 / ✗ 45

     checks.........................: 50.00% ✓ 45       ✗ 45
     data_received..................: 1.3 MB 31 kB/s
     data_sent......................: 81 kB  2.0 kB/s
     group_duration.................: avg=6.45s    min=4.01s    med=6.78s    max=10.15s   p(90)=9.29s    p(95)=9.32s
     http_req_blocked...............: avg=57.62ms  min=7µs      med=12.25µs  max=1.35s    p(90)=209.41ms p(95)=763.61ms
     http_req_connecting............: avg=20.51ms  min=0s       med=0s       max=1.1s     p(90)=100.76ms p(95)=173.41ms
   ✗ http_req_duration..............: avg=144.56ms min=104.11ms med=110.47ms max=1.14s    p(90)=203.54ms p(95)=215.95ms
       { expected_response:true }...: avg=144.56ms min=104.11ms med=110.47ms max=1.14s    p(90)=203.54ms p(95)=215.95ms
     http_req_failed................: 0.00%  ✓ 0        ✗ 180
     http_req_receiving.............: avg=663.96µs min=128.46µs med=759.82µs max=1.66ms   p(90)=1.3ms    p(95)=1.46ms
     http_req_sending...............: avg=88.01µs  min=43.07µs  med=78.03µs  max=318.81µs p(90)=133.15µs p(95)=158.3µs
     http_req_tls_handshaking.......: avg=29.25ms  min=0s       med=0s       max=458.71ms p(90)=108.31ms p(95)=222.46ms
     http_req_waiting...............: avg=143.8ms  min=103.5ms  med=109.5ms  max=1.14s    p(90)=203.19ms p(95)=215.56ms
     http_reqs......................: 180    4.36938/s
     iteration_duration.............: avg=12.91s   min=12.53s   med=12.77s   max=14.35s   p(90)=13.36s   p(95)=13.37s
     iterations.....................: 45     1.092345/s
     vus............................: 1      min=1      max=19
     vus_max........................: 20     min=20     max=20

ERRO[0044] some thresholds have failed

• Ramp_Up シナリオが実行されている
  • これには GET home および Create resource グループが含まれている
• 95%のリクエストが 200ms 以内に完了することを要求する Thresholds が失敗している
  • サンプルの http_req_duration に ✗ が付いており、エラーメッセージとして ERRO\[0044\] some thresholds have failed が出力されています

応用的な使い方

オープンモデルとクローズドモデル

クローズドモデルが適さないケース

• Open and closed models

グループの活用方法

• グループは入れ子にできます。
• グループ内で排出されたメトリクスにはグループ名がタグとして付与されます。
  • グループが入れ子になっている場合、すべてのグループ名が :: で結合されます。
• k6はグループごとの duration をメトリクスとして排出します。
• タグ付け可能なリソース（Checks / Requests / Custom Metrics）がグループ内で実行された場合、それらのメトリクスには実行されたグループの名前がタグとして付与されます。

• Groups
• Discouraged: one group per request（グループのアンチパターン）

負荷テストの実践

.
├── Dockerfile
├── Makefile
├── compose.yml
├── ecs
│   ├── config.json
│   └── overrides
│        └── fargate
│             └── get_peek.json
└── k6
     ├── modules
     │    ├── utils
     │    │    ├── file_picker.js
     │    │    └── math.js
     │    └── get.js
     └── scenarios
          └── get_peek
               └── main.js

• シナリオを定義するファイル
• HTTP リクエストを生成するファイル

シナリオの定義

• Executor として constant-arrival-rate を使用する
• 100 RPS を維持する
• テスト期間は 5 分
• 初期 VU として 100 を割り当てる（小さすぎると VU が枯渇するため、RPS に併せて適切な値を設定します）
• Checks を使用してレスポンスのステータスコードが 200 であるか検証する

import { check } from 'k6';
import encoding from 'k6/encoding';

import { get } from '../../modules/get.js';
import { random } from '../../modules/utils/math.js';
import { dataFileIds } from '../../testdata/data.js';

export const options = {
  scenarios: {
    getPeek: {
      exec: 'getPeek',
      executor: 'constant-arrival-rate',
      rate: 100,
      duration: '5m',
      preAllocatedVUs: 100,
    },
  },
  summaryTimeUnit: 'ms',
  systemTags: [],
};

export function setup() {
  return {
    credentials: encoding.b64encode(`${__ENV.USERNAME}:${__ENV.PASSWORD}`),
    endpoint: __ENV.TEST_ENDPOINT,
    dataDirectoryRoot: __ENV.TEST_DATA_DIRECTORY_ROOT,
    dataSubDirectory: __ENV.TEST_DATA_SUB_DIRECTORY,
  };
}

export function getPeek(data) {
  let dir = {};
  for (let i = 0; 0 < dataFileIds.length; i++) {
    if (dataFileIds[i].name === data.dataSubDirectory) {
      dir = dataFileIds[i];
      break;
    }
  }

  const minFileId = dir.minFileId;
  const maxFileId = dir.maxFileId;

  const fileId = random(minFileId, maxFileId);
  const filePath = `${data.dataDirectoryRoot}/${data.dataSubDirectory}/file_${fileId}.dat`;

  const resp = get(data.endpoint, data.credentials, `${data.dataDirectoryRoot}/${filePath}`);

  check(resp, {
  'is status 200': (r) => r.status === 200,
  });
}

GET リクエストの生成

import http from 'k6/http';

export function get(endpoint, credentials, filePath) {
  const url = `${endpoint}/${filePath}`;
  return http.get(url, {
    headers: {
      'Authorization': `Basic ${credentials}`,
    },
  }, {
    tags: {
      name: 'get',
    },
  });
}

AWS Fargate で k6 を実行する

FROM golang:1.23.0 AS build

ARG XK6_VERSION=v0.13.3

# Build a k6 binary using Go
# https://grafana.com/docs/k6/latest/extensions/build-k6-binary-using-go/
RUN go install go.k6.io/xk6/cmd/xk6@${XK6_VERSION} && \
    xk6 build latest

FROM alpine:3.20 AS deploy

RUN apk add --no-cache aws-cli bash curl tzdata

COPY --from=build /go/k6 /usr/bin/k6

WORKDIR /usr/local/k6

COPY k6 .

CMD [ "./run.sh" ]

テストのエントリーポイント

• k6シナリオの実行
• k6が出力した統計情報のS3へのアップロード

#!/usr/bin/env bash
set -e

. ./.env

readonly EXEC_DATETIME="$(TZ=Asia/Tokyo date +"%Y%m%d-%H%M%S")"
readonly WORK_DIR=$(cd "$(dirname "$0")" && pwd)
readonly test_id=$(echo "${TEST_ID}" | tr "[:upper:]" "[:lower:]")

if k6 run \
  --quiet \
  --summary-export="summary.json" \
  -e USERNAME="${USERNAME}" \
  -e PASSWORD="${PASSWORD}" \
  "${WORK_DIR}/scenarios/${test_id}/main.js" 2>&1 \
| tee "console.log"; then {
  aws s3 cp summary.json "s3://backlog-k6-report/${TEST_PLATFORM}/${test_id}/${EXEC_DATETIME}/summary.json"
  aws s3 cp console.log "s3://backlog-k6-report/${TEST_PLATFORM}/${test_id}/${EXEC_DATETIME}/console.log"
}
fi

環境変数によるテストの制御

{
    "containerOverrides": [
        {
            "name": "k6",
            "environment": [
                {
                    "name": "TEST_PLATFORM",
                    "value": "fargate"
                },
                {
                    "name": "TEST_ID",
                    "value": "GET_PEEK"
                },
                {
                    "name": "TEST_ENDPOINT",
                    "value": "https://fargate-1360027822.ap-northeast-1.elb.amazonaws.com"
                }
            ]
        }
    ]
}

aws ecs run-task \
  --cli-input-json file://ecs/config.json \
  --overrides file://ecs/overrides/fargate/get_peek.json

まとめ