부하테스트를 위해 k6 + Prometheus + Grafana 자동 환경 구성하기 (with Docker-compose)

k6를 통하면 부하테스트를 js 기반 스크립트로 손쉽게 작성이 가능하다.

다만 k6는 단순 테스트 만을 수행해주기 때문에 추가적인 시각화 구성을 진행해야 할 필요가 있다.

이를 위해 구글링을 해보면, 대부분의 레퍼런스에서 수동으로 이를 구성한다. (Grafana UI에 접속해서 Datasource, Dashboard를 직접 등록하는 식)

따라서 부하 테스트를 진행하고자 하는 모두가 방법을 숙지해야 한다는 것인데, 개인적으로 이는 비효율적이라 생각하여 부하 테스트 + 시각화를 한번에 진행할 수 있는 스크립트를 작성하고자 한다.

개인적으로 로컬 PC에 이것저것 설치하는 것을 선호하지 않아서, 도커 이미지를 기반으로한 docker-compose 스크립트를 작성하였다.

 

Docker-compose.yml

version: "3.8"

services:
  grafana:
    image: grafana/grafana
    ports:
      - 3000:3000
    volumes:
      - ./grafana-provisioning:/etc/grafana/provisioning
      - ./grafana-dashboard:/dashboard
    depends_on:
      - prometheus
  prometheus:
    image: prom/prometheus
    ports:
      - 9090:9090
    command:
      - --web.enable-remote-write-receiver
      - --enable-feature=native-histograms
      - --config.file=/etc/prometheus/prometheus.yml
  k6:
    image: grafana/k6
    volumes:
      - ./k6-scripts:/scripts
    command: run -o experimental-prometheus-rw /scripts/stress.js
    environment:
      - K6_PROMETHEUS_RW_SERVER_URL=http://prometheus:9090/api/v1/write
      - K6_PROMETHEUS_RW_TREND_AS_NATIVE_HISTOGRAM=true
    extra_hosts:
      - "host.docker.internal:host-gateway"
    depends_on:
      - prometheus

작성한 docker-compose.yml 파일은 위와 같다.

도커 이미지는 모두 공식 이미지를 사용하였다.

각 서비스에 대한 설명을 덧붙이자면 아래와 같다.

grafana 서비스

grafana:
    image: grafana/grafana
    ports:
      - 3000:3000
    volumes:
      - ./grafana-provisioning:/etc/grafana/provisioning
      - ./grafana-dashboard:/dashboard
    depends_on:
      - prometheus

Grafana에 접속해서 datasource, dashboard 설정을 직접하지 않기 위해 Grafana의 Provisioning 기능을 활용했다.

이를 위해 볼륨을 통해 provisioning 파일과 대시보드 용 파일을 공유해야 한다. 각 폴더 경로와 포함되어야 하는 파일 내용은 아래와 같다.

docker-compose.yml 과 같은 경로에 구성해야 할 폴더

// dashboards.yml
apiVersion: 1

providers:
  - name: "k6 Stress Test"
    orgId: 1
    folder: ""
    type: file
    disableDeletion: false
    updateIntervalSeconds: 10
    options:
      path: /dashboard/k6.json
      foldersFromFilesStructure: true

// prometheus.yml
apiVersion: 1

datasources:
  - name: Prometheus
    type: prometheus
    access: proxy
    url: http://prometheus:9090

추가적으로 k6.json 파일도 작성해주어야 하는데, 이는 아래 링크에서 우측의 Download JSON 버튼을 통해 내려 받을 수 있는 파일의 내용을 복붙하면 된다.

k6 Prometheus (Native Histograms) | Grafana Labs

prometheus 서비스

prometheus:
    image: prom/prometheus
    ports:
      - 9090:9090
    command:
      - --web.enable-remote-write-receiver
      - --enable-feature=native-histograms
      - --config.file=/etc/prometheus/prometheus.yml

k6를 통해 획득한 결과를 Prometheus에 전달하기 위해서는 Prometheus의 remote-write 기능을 활용해야 한다. 또한 고해상도  시각화를 위해서는 native-histograms도 필요하다. command의 내용들은 이들을 설정한 뒤 Prometheus를 실행시키는 내용들이다.

k6 서비스

k6:
    image: grafana/k6
    volumes:
      - ./k6-scripts:/scripts
    command: run -o experimental-prometheus-rw /scripts/stress.js
    environment:
      - K6_PROMETHEUS_RW_SERVER_URL=http://prometheus:9090/api/v1/write
      - K6_PROMETHEUS_RW_TREND_AS_NATIVE_HISTOGRAM=true
    extra_hosts:
      - "host.docker.internal:host-gateway"
    depends_on:
      - prometheus

위 구성에서 k6는 로컬에 다운 받아도 되지만 개인적인 선호에 의해 이 또한 도커 컨테이너로 실행시켰다. 실행시킬 스크립트를 컨테이너에 제공하기 위해 볼륨 기능을 활용하며 아래처럼 작성이 필요하다.

docker-compose.yml과 동일한 경로에 k6-scripts 폴더를 구성

stress.js 파일에는 실제 부하테스트를 위한 내용이 포함되면 된다.

이 때 extra_hosts 옵션을 준 이유는, 부하테스트 로직에서 localhost에 띄워진 서버에 host.docker.internal 경로로 접근하기 위함이다. 만약 테스트할 서버도 함께 컨테이너로 실행시키는 상황이라면 extra_hosts 옵션은 빼주어도 된다.

 

실행 및 결과

단순히 docker-compose up 명령어를 실행하면 된다.

이를 실행하면 k6가 개별 컨테이너에서 부하테스트를 진행하고, 결과 데이터들이 Prometheus - Grafana 흐름으로 전달된다. 그 후 localhost:3000에 접속, 로그인을 해주고 (id: admin, pw: admin, 비밀번호 변경 창은 skip) 대시보드 쪽에 들어가보면 아래처럼 결과를 확인할 수 있다!

 

Code Repository

GitHub - One-armed-boy/k6-prom-grafana-script