2026년 10월 24일부터 11월 15일까지 실제 한국 특허 사건으로 잰 내부 벤치마크입니다. 문장이 그럴듯한지가 아니라, 청구항이 인용문헌을 피하는지와 얼마나 넓은지를 쟀습니다.
읽기 전에. 모두 저희가 직접 잰 내부 벤치마크이고 표본이 작습니다(10~291건). 청구항 통과 여부는 구성요소 대비 심사(emap)가 판정합니다. emap은 청구항 1을 구성요소로 나누고 인용문헌 원문 인용으로 대응을 확인한 뒤 규칙으로 판정하는 LLM 기반 심사기이며, 실제 사건 53건으로 검증했습니다. 그 검증에서 실제로 등록된 청구항은 53건 중 48건을 통과시켰고, 실제로 거절된 최초 청구항도 53건 중 26건을 통과시켜 관대한 편입니다. 수치는 방향을 보는 자료로 읽어 주세요.
명세서 청구항 1 · 사건 25건
9 → 16 / 25건
심사관 인용문헌과 검색 문헌을 둘 다 통과한 초안 (Claude 단독 → 인벤팁스 운영 간단 모드, 판정기 기준)
같은 등록 사건 25건에서 청구항 1 초안을 두 가지로 만들었습니다. 하나는 선행문헌 없이 한 번 쓴 Claude Opus(아래 「Claude 단독」)이고, 다른 하나는 같은 모델을 쓰는 인벤팁스 운영 간단 모드(운영 API, 선행조사 → 대비표 → 작성 → 점검·수정)입니다. 심사관 인용문헌과 검색 문헌을 둘 다 통과(구성요소 대비 판정)한 초안은 Claude 단독 9건, 인벤팁스 16건이었습니다. 같은 사건끼리 보면 인벤팁스만 통과한 사건이 7건, Claude 단독만 통과한 사건은 0건입니다.
심사관 인용문헌만 보면 15건 → 21건(같은 사건끼리 8 : 2)으로 방향은 같지만, 25건으로는 우연과 가를 수 없는 차이입니다. 모델이 같으므로 차이는 모델이 아니라 선행조사를 반영해 쓰는 흐름 쪽에서 온 것으로 보입니다. 단계별 기여는 나눠 재지 않았습니다.
한계 · 통과는 판정기(emap) 기준이며 실제 등록을 뜻하지 않습니다. 이 25건은 대비표·점검 단계를 설계할 때도 쓴 사건입니다. 새 사건 39건으로 다시 잰 결과는 아래 카드에 있습니다. 판정은 한 번씩만 했고, Claude 단독 초안을 다시 판정하자 25건 중 2건의 결과가 뒤집혔습니다. 검색 문헌 기준과 점검 단계는 같은 방식의 심사기를 써서 인벤팁스에 유리합니다. 인벤팁스 점검이 보지 않는 문헌 기준은 심사관 인용문헌 쪽입니다. 통과한 초안 가운데 구성요소 수가 등록 청구항보다 적은 것은 6건 → 11건인데, 통과 건수가 늘어난 만큼이고 비율은 같습니다(9건 중 6건, 16건 중 11건). 사람이 여러 번 주고받으며 조사한 경우는 재지 않았습니다. 1건은 인벤팁스가 초안을 끝내지 못해 실패로 셌습니다. 화학 1건은 인벤팁스가 더 나빴습니다. 2026-11-08 측정.
명세서 청구항 1 · 새 사건 39건 (설계에 쓰지 않은 사건)
20 → 31 / 39건
청구항 1이 심사관 인용문헌 대비 판정을 통과한 사건 (Claude 단독 → 인벤팁스 작성 흐름). 차이는 선행문헌을 근거로 다시 고치는 과정에서 나옵니다
설계에 쓰지 않은 등록·공개 사건 39건에서 청구항 1을 다시 쟀습니다. 선행문헌 없이 한 번 쓴 Claude Opus는 20건, 인벤팁스 작성 흐름(선행조사 → 대비표 → 작성 → 점검·수정)은 31건이 심사관 인용문헌 대비 판정을 통과했습니다. 같은 사건끼리 보면 인벤팁스만 통과한 사건이 12건, Claude 단독만 통과한 사건이 1건입니다. 판정자 3명의 다수결이고, 세 명이 같은 판정을 낸 경우가 182개 중 167개입니다.
무엇이 차이를 만드는지도 나눠 쟀습니다. Claude에게 같은 선행문헌을 주고 스스로 한 번 고치게 하면 20건이 29건으로 오릅니다. 인벤팁스(31건)와 차이가 확인되지 않는 수준입니다. 즉 차이를 만드는 것은 모델이나 문장력이 아니라 「선행문헌을 찾아 청구항과 대조하고, 그 근거로 다시 고치는 과정」이고, 인벤팁스는 이 과정을 조사부터 재작성까지 자동으로 합니다.
통과한 청구항을 좁혀서 얻은 결과도 아닙니다. 등록 사건 33건에서 청구항이 넓다고 판정된 초안은 인벤팁스 13건, Claude 단독 12건으로 같습니다.
한계 · 통과는 AI 판정자(Claude Opus) 3명의 구성요소 대비 판정이며 실제 등록을 뜻하지 않습니다. 이 측정은 운영 서비스를 그대로 돌린 것이 아니라, 운영 코드·지시문을 쓰되 모델 호출과 선행조사 거르기를 Opus가 대신한 근사입니다. 인벤팁스 쪽이 쓴 선행문헌 일부에 출원 기준일 뒤 문헌과, 대상 특허를 미리 본 흔적이 있는 문헌이 섞여 있었습니다. 이를 걸러 낸 비교는 28건 대 20건(같은 사건끼리 9 : 1)이고, 문제 문헌을 빼고 다시 쓴 32건에서는 통과가 27건에서 22건으로 줄어 이 지적은 완전히 풀리지 않았습니다. 31건 대 20건은 미리 정한 주 분석이 아니라 탐색 분석이며, 미리 정한 주 분석(인벤팁스 31건 대 같은 정보를 받은 Claude 29건)에서는 인벤팁스 작성 흐름만의 효과가 확인되지 않았습니다. 2026-11-14~15 측정.
OA 대응 · 실제 의견제출통지서 30건(등록 20·거절 10)
0.64 등록된 20건 평균 · 변리사가 더한 한정을 담은 비율
실제로 등록된 20건에서 변리사가 더한 한정을 인벤팁스 보정이 담은 비율 (범용 AI 단독 0.48, 차이는 확정되지 않음)
같은 의견제출통지서·직전 청구범위·인용문헌 원문으로 인벤팁스 보정·의견서를 만들고(운영과 같은 코드를 로컬에서 실행, 분석 → 의견서·보정서 → 보정 점검), 그 사건 변리사의 실제 보정·의견서와 같은 LLM 심사 시뮬레이션에 넣었습니다. 인벤팁스의 평균 점수는 변리사 실제 대응보다 낮지 않았습니다(Opus 판정 59.8 대 50.4, GPT 판정 67.9 대 51.6). 범용 AI(Claude) 단독도 같은 판정에서 같은 수준이었고(Opus 판정 59.9, GPT 판정 69.1), GPT 판정으로 인벤팁스와 Claude 단독을 사건별로 맞대면 12승 15패 3무입니다.
실제로 등록된 20건만 보면 변리사 실제 대응과의 차이는 구분되지 않습니다(두 판정이 함께 인벤팁스를 높게 본 사건 8건, 변리사를 높게 본 사건 4건, 엇갈린 사건 8건). 실제로 거절된 10건에서는 두 판정이 함께 인벤팁스를 높게 본 사건이 8건, 변리사를 높게 본 사건이 0건이었지만, 이 차이는 AI 서면이 실제로 등록됐을지를 말해 주지 않습니다.
등록된 20건에서 변리사가 등록을 받으려고 더한 한정을 보정이 담은 비율은 인벤팁스 0.64, 범용 AI 단독 0.48입니다. 20건 평균이라 차이는 통계적으로 확정되지 않았고(인벤팁스가 높은 사건 8건, 낮은 사건 3건, 같은 사건 9건), 변리사보다 낫다는 뜻도 아닙니다. 인용문헌 공개본 수집, 통지서 분석, 특허청 서식 의견서·보정서 작성까지 한 흐름에서 처리하고, 의견서는 변리사 실무 분량에 맞춰 씁니다.
한계 · 심사 시뮬레이션 점수는 실제 등록 여부를 대신하지 않습니다. 초안 작성 모델(Gemini)의 자기 판정은 뺐지만, Opus는 인벤팁스의 보정 점검(30건, 그중 6건은 재작성)에도 쓰였고 생성 구간에는 GPT 호출도 기록돼 있습니다. 판정은 사건당 한 번 실행했고, 사건은 변리사가 보정과 의견서로 대응한 사건으로 한정했으며, 변리사 서면은 표지가 붙은 원문 그대로 넣어 눈가림이 없습니다. 한정을 담았는지도 LLM(Opus)이 한 번 판정했습니다. 구성요소 대비 판정(emap, Opus)에서 보정 청구항 1이 인용문헌을 통과한 사건은 인벤팁스 28건, Claude 단독 27건, 변리사 실제 대응 22건인데, 인벤팁스는 같은 방식의 점검으로 미리 고친 결과라 유리하고, 실제로 등록된 청구항도 20건 중 17건만 통과했습니다. 2026-11-08~09 측정.
선행조사 · 검색 범위
1,375 건 · 사건당 평균 검색 후보 (KIPRIS 국내·해외 공보)
사건마다 천 건 넘는 후보를 모으고, AI가 두 번에 걸쳐 읽어 인용 목록을 만듭니다
KIPRIS 국내·해외 공보를 분야별 짝 검색식으로 받아 사건당 평균 1,375건의 후보를 모읍니다(같은 출원 10건 측정). 그중 240건을 1차로 거르고, 남은 문헌 최대 90건은 청구항·본문까지 읽는 2차 판정을 거쳐 인용 목록을 만듭니다.
같은 10건에서 심사관이 실제로 인용한 문헌 60건 가운데 인벤팁스 후보에 든 것은 26건으로, 범용 AI(Claude) 리서치의 12건보다 많았습니다. 상위 10건에 든 심사관 핵심 인용은 25건 중 5건으로 Claude 리서치와 같습니다(개선 전 인벤팁스는 2건).
실제 사용자 사건의 선행조사 결과에 저장된 문헌 약 20,000건을 전수조사했을 때, 번호를 잘못 읽어 다른 문헌이 된 경우는 찾지 못했습니다.
등록공보의 심사관 인용과 인용망까지 따라가고, 명세서를 쓸 때는 확정된 청구항을 기준으로 인용 순서를 다시 매깁니다. 검색 전체 목록은 CSV·보고서 부록으로 남겨 직접 확인할 수 있습니다.
한계 · 검색 후보 수는 같은 출원 10건을 한 번 잰 값이며 분야에 따라 다릅니다. 심사관 인용 비교는 10건을 한 번 잰 값이라 1~2건 차이는 우연과 가를 수 없습니다. 넓게 모으는 쪽은 앞서지만 상위 10건의 정확도는 범용 AI 리서치와 같은 수준이고(전체 인용 기준 상위 10건은 9건 대 11건), 새 사건 40건으로 끝까지 맞댄 비교에서도 차이가 확인되지 않았습니다(상위 10건의 핵심 인용 11건 대 14건, 운영 경로가 아닌 근사). 심사관 핵심 인용의 다수는 아직 후보에 들지 못해, 검색 단계를 계속 고치고 있습니다. 2026-11 기준.
출원 전 사전 심사 · 같은 발명 100건
19 → 38 / 100건
검출기(AI 예측) 점수가 50 이상인 독립항이 하나라도 있는 사건 (청구항 어디든 기준으로는 47건 → 51건)
등록 우선 전략으로 설계한 청구범위를 가상 의견제출통지로 미리 심사하고, 가상 통지가 특허 가능하다고 본 종속항을 독립항에 편입했습니다. 편입한 33건 안에서 독립항 가운데 하나라도 검출기(AI 예측) 점수가 50 이상인 사건이 6건에서 25건으로 늘어, 100건 전체로는 19건 → 38건입니다.
청구항 어디든 50 이상인 사건은 47건 → 51건으로 거의 같습니다. 새로 특허 가능해진 것이 아니라 종속항에 있던 구성을 독립항으로 올린 결과이고, 그 대가로 편입한 33건의 청구항 1은 평균 625자에서 944자로 길어졌습니다(독립항 전체 평균으로는 581자 → 752자).
한계 · 검출기 점수는 실제 등록 여부가 아니고, 사건 전체가 특허 가능하다는 뜻도 아닙니다(모든 독립항이 50 이상인 사건은 17건 → 18건). 이 검출기는 사람이 쓴 청구항에서 「특허 가능한 청구항이 하나라도 있는 사건」을 가르는 데(AUC 0.823)만 검증됐고, 독립항 단위 기준 50은 검증되지 않았습니다(검증 자료에서 50 이상을 받은 독립항 25개 중 실제 특허 가능은 3개). 한 번 채점한 결과이고 기준에 따라 크기가 달라집니다(60 이상이면 7건 → 18건). 선행문헌은 조사 결과가 아니라 그 출원의 실제 심사관 인용문헌 원문을 썼습니다. 표본은 실제 첫 통지에 특허 가능한 청구항이 있던 50건과 없던 50건입니다. 비교 대상은 사전 심사를 넣기 전 인벤팁스 청구범위이며, 범용 AI 단독과의 비교가 아닙니다. 측정은 Claude로 했고 운영 모델은 Gemini입니다. 가상 통지와 검출기가 같은 모델이라 서로 맞장구칠 위험이 있습니다. 이 기능은 등록 우선 전략에만 적용합니다.
OA 심사 시뮬레이션 · KIPRIS 실제 사건 291건
0.82 AUC (95% 구간 0.77~0.86)
출원인이 실제로 낸 보정을 넣었을 때 등록결정과 거절결정을 가르는 정도
마지막 의견제출통지서, 그 직전 청구범위, 그 뒤 출원인이 실제로 제출한 최종 보정 청구범위(재심사 보정 포함)를 넣고, 운영 모델 경로로 등록 가능성을 매긴 뒤 수집 시점의 심사 결과(등록결정 162건·거절결정 129건)와 비교했습니다. 의견서 본문은 넣지 않았습니다. 291건 모두 판정했습니다(실패 0건).
AUC는 무작위로 고른 등록 사건을 거절 사건보다 높게 볼 확률입니다. 0.5가 우연 수준입니다.
한계 · 등록·거절과 통지 횟수로 층을 나눠 뽑은 300건 중 청구항 변동 이력이 조회된 291건에서 한 번 잰 값이라 전체 출원을 대표하지 않습니다. 보정서를 낸 260건만 보면 0.78입니다. 이미 제출된 대응의 결과를 가른 값이며, 인벤팁스가 쓴 대응안의 등록 여부나 등록률을 뜻하지 않습니다. 점수는 보수적이어서 실제 등록 162건 중 78건만 등록 가능으로 봤습니다. 범용 AI나 변리사와 비교한 측정이 아닙니다. 등록 가능성 숫자는 판단을 돕는 참고치이고 개별 사건의 결론을 보장하지 않습니다.
외부 벤치마크 · PatentAgentBench 명세서 작성 59건(중·영)
87.5 → 89.3 총점(Claude 채점) · GPT 채점은 84.5 → 83.8
총점은 차이가 확인되지 않았습니다 (사건별 요구 항목은 오르고, 필수 기술특징 항목은 내림)
선행조사·도면 없이 텍스트만으로, 작성과 LLM 채점을 각 1회 했습니다. 같은 작성 모델(Claude Opus)로 과제 지시문과 기술 자료만 주고 한 번에 쓴 초안과, 인벤팁스 청구항 설계 지시(특징 대비표 → 설계 → 작성)를 거친 초안을 비교했습니다. 제품을 실행한 결과가 아니라 청구항 설계 지시문 구조를 옮긴 실험입니다. 총점은 Claude 채점 87.5 → 89.3, GPT 채점 84.5 → 83.8로 차이가 확인되지 않았습니다.
사건별 요구 항목(이 항목이 있는 44건·77개 항목 기준)의 달성률은 Claude 채점 69.5% → 81.2%, GPT 채점 63.6% → 76.0%로 올랐지만, 오른 사건은 10~12건입니다. 같은 실험에서 공통 항목 「독립항이 필수 기술특징을 담았는가」는 Claude 채점 95.8% → 86.4%, GPT 채점 77.1% → 58.5%로 내렸습니다.
한계 · 인벤팁스 쪽 숫자는 첫 실행 결과를 본 뒤 종속항 지시문을 한 번 고친 판이며, 첫 판의 총점은 Claude 채점 88.5, GPT 채점 81.7이었습니다. 작성과 채점을 한 번씩만 해 실행 간 흔들림은 재지 않았습니다.
기능을 만든 근거 · 관찰 통계
128 / 129건 등록결정
통지서가 「특허 가능한 청구항」으로 적은 항을 보정에서 삭제한 사건 (보통 그 내용을 독립항에 합칠 때 생기는 보정)
KIPRIS 심사 기록 2천 건(등록·거절과 통지 횟수로 층을 나눠 뽑은 표본) 가운데 통지서와 청구항 변동 이력이 모두 있는 1,947건에서, 마지막 의견제출통지서가 「특허 가능한 청구항」으로 적은 항을 그 뒤 보정에서 삭제한 사건(보통 그 내용을 독립항에 합칠 때 생기는 보정)은 129건 중 128건이 등록결정을 받았습니다. 같은 기재가 있었지만 그 항을 삭제하지 않고 보정한 사건은 157건 중 147건이었습니다.
인벤팁스는 이 관찰을 근거로 출원 전 사전 심사(등록 우선안)와, 선행문헌에 없는 구성마다 종속항을 두는 청구항 전략을 만들었습니다.
주의 · 실제 출원인·대리인의 대응을 관찰해 센 숫자입니다. 인벤팁스의 등록률이 아닙니다. 등록·거절 결과로 층을 나눠 뽑은 표본이라 이 건수의 비율도 실제 비율과 다를 수 있고, 전체 출원의 등록률로도 읽을 수 없습니다.
Research
연구·논문과 비교
평가 방법과 검색 방향은 공개된 연구를 먼저 보고 정했습니다. 아래 수치는 각 논문이 보고한 값이고, 그 옆에 저희 측정이 어디에 놓이는지를 적었습니다.
왜 1~10점 채점이 아니라 구성요소 대비인가
Vibe Patenting(MERL, arXiv 2609.13422) — LLM 채점과 변리사 평가의 상관이 심사 대응력 r = 0.04, 청구항 강도 r = 0.10으로 유의하지 않았습니다.
PANORAMA(NeurIPS 2025) — LLM 심사관의 신규성·진보성·등록 3지선다 정확도가 최고 45%(무작위 32%)였고, 대부분 "등록"이라고 답했습니다.
CheckEval(EMNLP 2025) — 총점 대신 항목별 예/아니오 체크리스트로 채점자 간 일치가 0.45 올랐습니다.
청구항 넓이는 독립항 길이·구성요소 수로 잽니다(Marco, Sarnoff & deGrazia 2019; Kuhn & Thompson).
인벤팁스 · 1~10점 총점 채점은 채점자끼리 일치도가 낮아(α 0.38) 품질을 가르기 어렵습니다. 그래서 인벤팁스는 청구항을 구성요소로 나눠 인용문헌 원문과 맞대는 판정(emap)을 만들고, 실제 사건 53건으로 검증했습니다(실제로 등록된 청구항은 53건 중 48건 통과, 실제로 거절된 최초 청구항도 53건 중 26건 통과).
claude mcp add --transport http inventips \
https://inventips.net/api/mcp
search_korean_patents
get_korean_patent # 문단 번호 [0012] 포함
get_examiner_cited_prior_art
start_prior_art_search # 5 크레딧, 확인 뒤 실행