성능 평가(Benchmarks)

• TPC(Transaction Processing Performance Council) 성능 평가
  • TPC는 데이터베이스 시스템의 성능 평가에 관한 표준들을 정의
  • 1989년에 발표한 TPC 성능 평가 A 모델(TPC-A)을 시작으로 TPC-B, TPC-C, TPC-D 등 4 종류의 표준규격이 결정되었으며, 최근에는 TPC-H, TPC-R, TPC-w 등이 새로이 규격화됨
  • TPC 성능 평가를 공표하기 위해서는 TPC 위원회에 완전 공개 보고서)FDR; Full Disclosure Report)를 제출하여 승인 받아야 함
  • FDR에는 테스트를 실시한 시스템 구성이나 가격이 명시되어야 함
  • TPC 성능 평가는 네트워크를 포함하는 하드웨어 성능과 운영체제(OS)를 포함하는 소프트웨어 성능을 종합해서 평가할 수 있음
  • TPC - 온라인 트랜잭션 처리(OLTP) 시스템의 처리 성능을 측정하는 성능 평가 기준의 표준 규격을 제정하기 위해 1989년에 결성된 비영리 단체
       
• TPC 성능 평가 모델의 종류
  • TPC-A
    • 1989년에 최초로 발표된 규격
    • 은행 창구 업무를 모델로 한OLTP 시스템 전체의 기본적인 성능을 측정
    • 시스템 종단간 성능을 실질적으로 측정하기 위해 터미널과 통신 비용도 포함
  • TPC-B
    • 1990년에 발표된 규격
    • TPC-A 모델과 대체로 유사하나, 온라인 처리의 부하를 테스트 내용에서 제외
    • 측정 결과는 TPS(Transaction Per Second; 초당 트랜잭션 수)로 표현
    • 단말 장치 등을 포함하는 시스템 전체의 가격 공표를 의무화하고 있어서 다른 벤더들의 시스템을 가격 대비 성능(Price Per TPS)로 비교하는 것이 가능
  • TPC-C
    • 1992년에 발표된 규격
    • TPC-A 모델이나 TPC-B 모델보다 더욱 복잡한 OLTP 시스템을 테스트하기 위해 제작
    • 재고 관리 시스템의 성능 평가를 위한 것
    • 측정 결과는 TPM(Transaction Per Minute; 분당 트랜잭션 수)과 TPMC로 표현
    • 현재 OLTP 벤치마크의 표준
      • TPM : 각 벤더에서 내부적(비공식)으로 평가한 값
      • TPMC : TPC라는 벤치마킹 기구에서 공식적으로 검사한 값, 즉 TPC에서 TPC-C 벤치마크 시나리오에 대한 1분 당 최대 처리 트랜잭션 수를 나타내는 수치
  • TPC-D
    • 의사 결정 지원(Decision Support) 시스템에서 사용되는 질의와 관련하여 데이터베이스 시스템의 성능을 측정하기 위해 제시
    • D는 'Decision Support'를 의미
  • TPC-H(Decision Support for Ad Hoc Queries)
    • TPC-D 모델을 개선한 것
    • 사전에 알 수 없는 ad-hoc 질의들을 모델화
    • 실체화(Materialized) 뷰를 사용할 수 없음
    • 기본키와 외래키에 대한 인덱스만 사용 가능
    • 파워 테스트(Power Test)와 처리량 테스트(Throughput Test)를 사용
      • 파워 테스트 : 질의와 갱신을 순차적으로 실행하고, 시간당 수행되는 질의 수를 측정하기 위해 평균을 구함
      • 처리량 테스트 : 질의와 갱신을 동시에 실행하고, 전체 실행에 대한 전체 시간을 측정
    • H는 'Ad-Hoc'을 의미
  • TPC-R(Decision Support for Business Reporting)
    • TPC-D 모델을 개선한 것
    • TPC-H와 같으나, 실제화 뷰와 인덱스에 제약이 없음
    • 파워 테스트와 처리량 테스트를 사용
    • R은 'Reporting'을 의미
  • TPC-W(Web e-Commerce)
    • 정적과 동적으로 생성되는 페이지들을 가지고 있는 웹 사이트들을 모델링 한 웹 서비스 벤치마크 기법
    • Web Interaction Per Second(WIPS)와 Price Per WIPS를 성능 평가에 사용
    • W는 'Web'을 의미
         
    ※ OODBMS 성능을 평가하기 위해 위스콘신 대학에서 제시한 007 벤치마크가 있음.