스킵네비게이션

주메뉴바로가기 본문바로가기


평가모델소개

HOME > SMART3 소개 > SMART3 평가서비스 > 평가지표·평가요소

평가모델 학습 프로세스

  • 평 가  셋 : 전체 특허 중에서 기술분류별, 연도별 특허분포를 고려하여 선택한 특허셋
  • 평가요소 : 특허정보, 자연어처리결과, 핵심어, 유사특허 등을 이용하여 특허평가에 유용한 요소들을 선별하여 추출
  • 평가점수 : 평가셋에 대해 특허전문가가 온라인을 통해 직접 평가한 평가점수
  • 평가모델 : 기계학습 알고리즘에 의해 생성된 평가요소별 가중치 계수
평가모델 학습
  1. 전체특허(특허분포교려)
  2. 평가셋
    1. 평가요소 (x1, x2, x3...)
    2. 평가점수 (y1, y2, y3 ...)
    3. 기계학습 알고리즘 (가중치 계수)
  3. 평가모델

평가 수행 프로세스

  • 평 가   요 소 : 특허정보, 자연어처리결과, 핵심어, 유사특허 등을 이용하여 특허평가에 유용한 요소들을 선별하여 추출
  • 평 가   모 델 : 기계학습 알고리즘에 의해 생성된 평가요소별 가중치 계수
  • 평 가   점 수 : 기계학습에 의해 생성된 평가요소별 가중치를 이용하여 생성한 자동평가점수
  • 평 가   등 급 : 기술분류별 자동평가점수를 이용하여 생성한 상대평가등급
평가수행 과정
  1. 전체특허
  2. 평가요소 (x1, x2 x3...)
  3. 평가모델 (β0, β1, β2...)
  4. 평가점수 (y1, y2, y3...)
  5. 자동평가점수
  6. 평가등급

평가모델 검증 프로세스

학습된 평가모델에 대해 평가셋을 이용한 검증과 전체 특허셋을 이용한 검증 과정을 통해 구축된 평가모델의 적합성을 검증합니다.

평가셋을 이용한 검증

전문가에 의해 평가점수가 부여된 평가셋을 TRAIN DATA와 TEST DATA로 구분하고, TRAIN DATA를 이용하여 평가모델을 학습한 후
TEST DATA를 이용하여 평가모델의 적합성을 검증합니다.

평가수행 과정
  1. 평가셋
  2. 평가요소, 평가점수
  3. 학습
  4. 평가모델 (가중치 계수)
  5. 학습된 평가점수
전문가에 의한 평가점수 등급
구분 등급
특허A 8(일치)
특허B 9(일치)
특허C 2(불일치)
특허D 4(불일치)
특허E 5(일치)
특허F 7(일치)
특허G 8(일치)
학습된평가점수
구분 등급
특허A 8(일치)
특허B 9(일치)
특허C 1(불일치)
특허D 2(불일치)
특허E 5(일치)
특허F 7(일치)
특허G 8(일치)

전체 특허셋을 이용한 우수특허 검증
우수특허검증
우수특허 분쟁이 있는 특허, 해외패밀리가 있는 특허, 독립항 수가 10개 이상인 특허 등 일반적으로 우수하다고 평가되는 특허
우수특허 검증 전체 특허를 우수특허에 해당하는 특허집합(우수특허군)과 그렇지 않은 특허군(일반특허군)으로 구분 평가 모델에 의한 평가점수와 평가등급을 이용하여 우수특허군이 비교특허군에 비해 상대적으로 높은 평가를 받았는지를 검토하여 적합성을 검증

평가모델 검증 프로세스

학습된 평가모델에 대해 평가셋을 이용한 검증과 전체 특허셋을 이용한 검증 과정을 통해 구축된 평가모델의 적합성을 검증합니다.

회귀분석

관찰된 연속형 변수들에 대해 독립변수와 종속변수 사이의 인과관계에 따른 수학적 모델인 선형적 관계식을 구하여 어떤 독립변수가 주어졌을때 이에 따른 종속변수를 예측한다.또한 이 수학적 모델이 얼마나 잘 설명하고 있는지를 판별하기 위한 적합도를 측정하는 분석 방법이다.

단순회귀분석
(Simple Regression Analysis)

1개의 종속변수와 1개의 독립변수 사이의 관계를 분석하는 경우

단순회귀분석의 예
다중회귀분석
(Multiple Regression Analysis)
1개의 종속변수와 여러 개의 독립변수 사이의 관계를 분석하는 경우
다중회귀분석은 K개의 독립변수가 있을 때, 다음과 같은 모델의 유의성을 확인하는 것이다.

(Y:종속변수, X:독립변수, β:독립변수의 계수, ε:임의의 항)
다중회귀분석 수식
기계학습 알고리즘에서는 학습셋에서 주어진 X, Y 집합을 이용하여 최적의 β 셋 및 ε를 생성하게 되며, 이를 이용하여 실제 평가에서 주어진 독립변수 X(즉, 평가요소 집합)에 대한 결과(Y, 즉 평가결과)를생성한다.

평가 요소

이표는 평가요소에 대해 설명이 되어있습니다.
평가 요소 평가요소 설명
독립항수 대상 특허의 독립항 수
국내 패밀리 특허수 분할출원이나 이중출원/변경출원수, 동일한 국내우선권을 갖는 출원 건수
해외 패밀리 특허수 DocDB 2.0으로부터 추출된 패밀리 특허 수
연차등록회수 대상 특허의 등록연차수
우선심사 청구여부 대상특허의 우선심사 청구여부
의견서 제출 회수 대상특허의 의견서 제출 횟수
정보제공 수 정보제공에 대한통지서 수
거절결정불복심판 수 대상특허의 거절불복 심판 청구 수
총 피인용수 배경기술/선행기술조사/의견제출통지 시의 피인용수
실시권자수 전용 및 통상 실시권자 수
적극적 권리범위 확인 심판 수 적극적 권리범위 확인 심판 청구 수
소극적 권리범위 확인심판 수 소극적 권리범위 확인심판 수
무효심판 수 무효심판 수

평가 지표

특허는 권리성, 기술성, 활용성의 평가 지표로 분류하여 평가하고, 각 대분류 지표에 대하여 2~3개의 중분류 지표로 세분화하여 평가 점수를 제공합니다.


이표는 평가요소에 대해 설명이 되어있습니다.
대분류 중분류 배점
권리성 (40) 권리범위의 광협 20
권리의 충실성 20
특허 안정성 -20
기술성(20) 기술동향과의 부합성 5
기술의 수명 10
기술선도성 5
활용성 (40) 상용화가능성 20
권리행사가능성 20

등급 분류

특허 평가는 평가 모델을 활용하여 평가 점수가 생성되고, 등급 분류 기준에 따라 등급이 부여됩니다.
등급은 최고 AAA 등급부터 최하 C 등급까지 총 9등급으로 나뉘어집니다.
평가등급은 WIPO 5대 기술분류별 상대평가에 의해 산정되며, 국가공인시험에서 활용되는 stanine 9등급 체계를 적용하여 등급을 부여합니다

* WIPO 5대 기술분류 : 세계지적재산권기구(World Intellectual Property Organization)에서 제정한 기술분류로써,
  전체 기술을 크게 5가지(전기/전자/IT, 기계, 물리/재료, 화학, 바이오)의 분야로 분류합니다.

등급 부여기준

등급 부여기준
이 표는 9가지 등급별 (백분율, 누적비율)에 관한 표입니다.
등급 AAA AA A BBB BB B CCC CC C
백분율(%) 4% 7% 12% 17% 20% 17% 12% 7% 4%
누적비율(%) 4% 11% 23% 40% 60% 77% 89% 96% 100%