💻업무 내용

• SaltStack의 dry-run 결과를 재정리하는 script를 작성하여 작업 시간 단축에 기여

🔧사용한 기술

• SaltStack
• Python

📜프로젝트 설명

• 배경 : SaltStack을 가지고 수동으로 여러 노드에 배포를 하게될때 SaltStack의 기본 Output을 가지고 변경사항을 확인하기가 쉽지않음

• 목적 : SaltStack의 Output 출력 결과를 간결하게 정리하는 script 작성

• AS-IS (노드 단위의 출력 - 동일한 변경사항(task)이 각개별 노드 마다 중복되서 출력) - 기본 saltstack output

  • 노드가 수백대인 경우 동일한 내용의 중복이 심함
    • node1, node2 모두 /etc/grafana/provisioning/dashboards/dashboard.yml 파일이 새로 생성된다는 내용이 중복해서 출력

  node2:
  ----------
            ID: grafana-server
      Function: file.managed
          Name: /etc/grafana/provisioning/dashboards/dashboard.yml
        Result: None
       Comment: The file /etc/grafana/provisioning/dashboards/dashboard.yml is set to be changed
                Note: No changes made, actual changes may
                be different due to other states.
       Started: 14:18:49.774240
      Duration: 290.103 ms
       Changes:   
                ----------
                newfile:
                    /etc/grafana/provisioning/dashboards/dashboard.yml
  
  Summary for node2
  ------------
  Succeeded: 1 (unchanged=1, changed=1)
  Failed:    0
  ------------
  Total states run:     1
  Total run time: 290.103 ms
  node1:
  ----------
            ID: grafana-server
      Function: file.managed
          Name: /etc/grafana/provisioning/dashboards/dashboard.yml
        Result: None
       Comment: The file /etc/grafana/provisioning/dashboards/dashboard.yml is set to be changed
                Note: No changes made, actual changes may
                be different due to other states.
       Started: 14:18:50.005310
      Duration: 196.772 ms
       Changes:   
                ----------
                newfile:
                    /etc/grafana/provisioning/dashboards/dashboard.yml
  
  Summary for node1
  ------------
  Succeeded: 1 (unchanged=1, changed=1)
  Failed:    0
  ------------
  Total states run:     1
  Total run time: 196.772 ms
  
  node3:
  ...
  node4:
  ...
  

• TO-BE (작업 단위 - 동일한 변경사항인 노드를 묶어서 보여준다) - script를 이용해 아래와 같이 개선

  • 노드가 수백대가 되더라도 변경사항 기준으로 묶어서 보여주기때문에 한눈에 파악 가능

  ------------
  ID: grafana-server
  Function: file.managed
  Name: /etc/grafana/provisioning/dashboards/dashboard.yml
  Targets: ['node1', 'node2', 'node3', 'node4']
  TargetCnt: 4
  		changes-1
  				Result: None
  				Comment: The file /etc/grafana/provisioning/dashboards/dashboard.yml is set to be changed
  				         Note: No changes made, actual changes may
  				         be different due to other states.
  				Changes:   
                ----------
                newfile:
                    /etc/grafana/provisioning/dashboards/dashboard.yml
  				hostnames: ['node1', 'node2', 'node3', 'node4']
          hostnamesCnt: 4
  ------------
  ID: ...
  

👏 해결하고자한점/노력한점

• Hash Table algorithm 아이디어 적용

  • 결과값의 json객체에서 유일한 값이 되는 값을 조합하여 해시코드를 만들고 해당 값을 키로하는 새로운 자료구조를 만들어서 분류 후 재조합하는 알고리즘 적용
    • 아래의 데이터에서 changes, comment, name, result를 텍스트로 합친후 인코딩하여 해시코드 생성
      • file_|-grafana-server_|-/etc/grafana/provisioning/dashboards/dashboard.yml_|-managed task에 대해서 node1, node2를 하나의 해시코드(키) 아래에 저장할 수 있음

  {
      "node2": {
          "file_|-grafana-server_|-/etc/grafana/provisioning/dashboards/dashboard.yml_|-managed": {
              "changes": {
                  "newfile": "/etc/grafana/provisioning/dashboards/dashboard.yml"
              },
              "comment": "The file /etc/grafana/provisioning/dashboards/dashboard.yml is set to be changed\\nNote: No changes made, actual changes may\\nbe different due to other states.",
              "name": "/etc/grafana/provisioning/dashboards/dashboard.yml",
              "result": null,
              //"__sls__": "common.file",
              //"__run_num__": 0,
              //"start_time": "14:20:11.975597",
              //"duration": 188.36,
              //"__id__": "grafana-server"
          }
      }
  }
  {
      "node1": {
          "file_|-grafana-server_|-/etc/grafana/provisioning/dashboards/dashboard.yml_|-managed": {
              "changes": {
                  "newfile": "/etc/grafana/provisioning/dashboards/dashboard.yml"
              },
              "comment": "The file /etc/grafana/provisioning/dashboards/dashboard.yml is set to be changed\\nNote: No changes made, actual changes may\\nbe different due to other states.",
              "name": "/etc/grafana/provisioning/dashboards/dashboard.yml",
              "result": null,
              //"__sls__": "common.file",
              //"__run_num__": 0,
              //"start_time": "14:20:11.931397",
              //"duration": 267.603,
              //"__id__": "grafana-server"
          }
      }
  }
  

• 개선전 - 노드 단위의 출력의 경우 노드수(n)*작업수(m) 의 내용이 출력돼서 노드가 많아지게 되면 변경사항이 다른 특정 몇노드를 찾기가 매우 어려움

• 개선후 - 작업 단위의 출력의 경우 작업수(m)의 내용이 출력되고 변경사항이 다른 특정 노드를 찾기가 쉬움