qa

About

일시 : 7월 6일 오전 10시~ 오후 5시 40분
주관 : https://www.qa-korea.com/

프로그램 구성

여기어때 컴퍼니 이경형님
- 사용자 행동로그 검증으로 보는 데이터 QA 전략
무신사 정다정님
- 자동화의 신뢰성(정확도)을 높이기 위해 한 액션
코인원 육경민님
- 키워드기반 자동화 테스트 with 로봇 프레임워크
아드리엘 디자이너 안소현님
- QA 엔지니어와 협업하여 생성형 AI프로덕트의 완성도 높이기
넷마블 엔트리 김준식님
- 게임에서 데이터를 기반으로 QA하는 방법
쏘카 문성준님
- 쏘카 QA 프로세스로 AI챗봇 고객센터 시스템(AICC) 품질 높이기
토스플레이스 이성수님
- 결제 단말기 E2E 자동화 도입 및 운영 사례
LG전자 황재성님
- Intelligent Automation: 효율적인 Test를 위한 Test case priority

내용 정리

강의 중간중간에 발췌해서 적어둔 내용이라 두서가 없고
몇 개 세션은 중간에 길을 잃어서.. 정리하지 못했습니다. 😥

Session 1.

사용자 행동로그를 수집해서 마케팅 성과 측정하거나 ai 학습데이터 등으로 활용
QA 도구 - kibana, postman
- es search api를 통해 검색해서 테스트케이스 실행하는 것으로 검증
고도화
- postman collection 생성 자동화

Session 2.

일관성 없는 실패율을 봤을 때, 테스트의 신뢰성을 의심해봐야한다.
정확도 향상을 위한 element 탐색 전략 필요
- accessibility id 적재
  - 개발자와 현업해서 고유아이디를 식별
  - id가 없다면 테스트케이스가 실패하게 된다.
  - 모든 것에 id를 선언하지 않고 필요한 것만 선언하고, 문서화해서 진행하고 있음
신뢰성 향상을 위한 코드 작성 전략
- API를 테스트 보조 수단으로 사용
- 테스트 케이스별로 독립성을 확보한다.
테스트 실패율이 0%이더라도 tc를 재검하는 등의 고민을 해서 개선해나가야한다.
자동화 실패율을 낮추는 것 뿐만 아닌 유지보수의 효율성도 함께 고민해야한다.
도구
- python, appium

Session 3.

로봇 프레임워크란
- python기반의 키워드 기반 자동화 프레임워크
- atdd, bdd, rpa 목적으로 사용된다.
로봇 프레임워크 도입배경
- 어플리케이션의 잦은 변경 - 재사용 불가
- 정리되지 않는 테스트 케이스 - 협업이 어려움
- 케이스 추적성 확보가 안됨 - 디버깅 난이도 상승
action keyword script 기반 테스트
- 테스트 케이스를 키워드 단위로 분리해서 작성하고, 각 키워드에 대한 동작을 미리 정의해두어 자동화하는 방법
도구
- robot framework
- cucumber

Session 4.

디자인 QA 프로세스
- 슬랙 자동화를 통해 UX 점검해서 알림을 준다.
- 테스트 자동화를 통해 내부 프로세스 간소화
추천 크롬 익스텐션
- Window Resizer, Dimensions, CSS Peeper, WhatFont
mobbin, whatwhatit, product hunt, aiverse.design, there is an ai for that

Session 6.

QA Plan 수립
- 테스트 자동화를 위해 수동테스트를 고도화
- 테스트 목표를 구체적 정의
  - 잔존 이슈
  - 잔존 이슈 수정기간
- 명확한 버그 기준
- QA 중단 기준 확립 중료
- 테스트 유형 선택 및 체계화
AI챗봇기반의 고객센터 시스템 (AICC)
- 등장 배경
  - 잦은 상담사 이직
  - 불균일한 응대
  - 운영 비용 이슈
- 설계
  - 초기 모델은 gpt활용해서 답변했지만 운영비용 초과하는 문제 발생
  - AI 모델 작성
    - gPT와 함께 동작하도록 엔진 구조 변경
- QA
  - 요구사항 분석 - 검증 범위(플로우 및 로직 확인)
  - 리스크 예측
    - 식별→ 분석→평가→예측
  - 테스트 목표 구체화
  - 테스트 전략 수립
    - 탐색적 테스트 병행
    - spec out & back log 전략
  - 품질 안정화
- QA Leadership 중요성
  - 명확한 목표설정
  - 커뮤니케이션 스킬
  - 문제 해결 능력
  - 데이터 기반 의사 결정

Session 7.

결제 단말기 테스트 자동화 도입 배경
- 배포시마다 qa및 개발자 리소스 투입하게 되는 문제 → 주요 시나리오에 한해서 자동화 도입하게 됨
구현순서
- 플랜 작성
- 테스트 케이스 작성 (ATC)
- 구현
- 안정성 및 신뢰성 확인
- 테스트 자동화 운영 및 유지보수
허들 검토
- 환경(운영, 개발..)
- 결제 수단
- 다양한 기기 대응
  - 구현방법(ui, 결제방식)이 모두 다르기 때문에 다양한 기기조합에 대한 커버리지 달성 필요
- 다양한 Van 사 대응
E2E 테스트
- 핵심은 Mocking 최소화
  - Mocking을 하면 커버리지는 늘어나지만 의미있는 테스트로 간주하기 어렵다
자동화 실행 봇
- 테스트 자동화 트리거

적용 및 활용 방안

툴에 대한 고민은 어디든 공통된 것 같습니다.
앞으로의 계획 및 적용하고 싶은 아이디어
- 셀레늄의 경우, 누군가 qna시간에 질문한 것처럼 id를 선언하지 않는 추세? 이기 때문에 진행하지 않았는데요.
  - 무신사 정다정님 말처럼 필요한 시나리오에만 개발팀과의 협의해서 id를 선언하는 것도 방법인 것 같습니다..
- robot framework도 적용해보고 싶습니다.
- 슬랙 자동화를 통해 주기적으로 UX 점검해서 알림을 주는 기능은 바로 팀에 의견을 물어봐야겠습니다!

후기 및 소감

예상보다 많은 인원이 같이 수강했습니다. (동시접속자가 700명이 넘기도..)
카카오 오픈채팅방이 제공되어 진행상황을 공유받으면서 들을 수 있었습니다. 👍🏻
다양한 서비스에서 직면한 문제상황을 알 수 있었고 어떻게 고민하고 어떻게 QA를 하고 있는지 경험치를 전달받을 수 있었습니다.
여담이지만 전반적으로 디자이너 안소현님의 발표자료가 시각적으로 가장 훌….훌륭했습니다.
몇 가지 아이디어를 얻고, 해보고 싶은 것도 생겼습니다.

결론

전반적으로 유익했던 시간이였습니다. 😉
내년에도 기회가 된다면 또 참석하고 싶습니다.