데이터 전처리
데이터 전처리는 룰 기반(rule-based) 모델 또는 인공지능 기반 모델을 이용하여 원시 데이터를 학습 데이터로 가공하는 것입니다.
룰 기반 모델을 이용한 데이터 전처리의 경우 사전 정의된 규칙을 이용하기 때문에 예측가능성이 높다고 할 수 있습니다. 따라서, 룰 기반 모델을 이용한 데이터 전처리에 관한 발명은 미국 MPEP를 유추하여 실시 가능성 요건이 완화된다고 할 수 있습니다.
인공지능 기반 모델을 이용한 데이터 전처리의 경우 두가지로 나누어 생각해 볼 수 있습니다. 먼저, 인공지능 기반 모델을 이용한 데이터 전처리에 관한 발명이 인공지능 모델의 학습 방법이나 인공지능 모델을 이용한 활용에는 특별한 특징이 없는 경우입니다. 이 경우, 기계학습 모델과 입•출력 데이터를 특정하는 것만으로도 통상의 기술자가 통상의 기계학습 방법을 적용하여 실시 가능할 것이므로 실시 가능성 요건이 상대적으로 완화될 수 있다고 볼 수 있습니다. 두번째로, 인공지능 기반 모델을 이용한 데이터 전처리에 관한 발명이 인공지능 모델의 학습 방법이나 인공지능 모델을 이용한 활용에 특징이 있는 경우입니다.
이 경우, 후술하는 인공지능 모델의 학습 방법 카테고리나 인공지능 모델을 이용한 활용 카테고리에 준해서 실시 가능성 요건을 판단해야 할 것입니다.
데이터 전처리에 관한 발명의 예시로 미국 등록 특허 (US 11,816,554)를 예로 들어 설명해 보겠습니다.
이 특허는 기계학습모듈을 이용하여 초기 지상기상관측자료 상의 관측 공백영역에 대한 기상데이터를 생성하는 방법에 관한 것입니다.
상세한 설명에서는 초기 지상기상관측자료(400)에 기초하여 학습 데이터를 생성하기 위한 데이터 전처리 방법이 구체적으로 설명되어 있습니다(‘554 특허의 도 4를 참조).
‘554 특허의 도 4에서 참조번호 410은 관측 데이터에 대한 결손이 존재하지 않는 영역을 의미하고, 참조번호 420은 관측 데이터 결손 영역을 의미합니다.
‘554 특허의 도 4
‘554 특허의 등록 청구항을 살펴보겠습니다.
1. A computing device for generating weather observation data, the computing device comprising:
a memory including computer executable components; and
a processor executing following computer executable components stored in the memory,
wherein the computer executable components include:
an initial ground weather observation data recognition component recognizing observed initial ground weather observation data,
a weather data generation component trained to generate weather data of a gap region on the initial ground weather observation data by using a machine learning module,
wherein the weather data generation component is a component trained to generate non-missing data based on a plurality of non-missing ground weather observation data and artificial missing ground observation data generated by using the non-missing ground weather observation data by creating a missing region corresponding to the observation gap region,
wherein the non-missing ground weather observation data is generated by applying missing region weather estimation data generated by using relational data describing relationship between the satellite weather observation data for the missing region, and at least one of the land surface characteristic data or land surface type data, based on the initial ground weather observation data;
wherein the missing region is a region in which the weather data are not measured among the initial ground weather observation data.
‘554 특허의 등록 청구항 제1항
등록 청구항 1의 등록 포인트는 학습 데이터인 비-결손 지상기상관측자료와 인공결손 지상기상관측자료의 생성 방법에 관한 내용입니다.
구체적으로, 비-결손 지상기상관측자료는 초기 지상기상관측 데이터 중 관측 데이터 결손 영역(420)을 재구성하여 생성되고, 인공결손 지상기상관측자료는 상기 비-결손 지상 기상관측자료에 대해 인위적으로 결손 영역을 생성함으로써 생성되는 구성을 포함하고 있습니다.
상세한 설명에서는 비-결손 지상기상관측자료를 재구성하는 방법이 개시되어 있고, 이러한 재구성 방법에 대해서 룰-기반 모델을 이용한 방법과 인공지능 기반 모델을 이용한 방법을 설명하고 있습니다.
해당 특허에서는 룰-기반 모델을 이용한 데이터 전처리 방법으로, 데이터 전처리의 목적, 사전 정의된 규칙(예컨대, 통계적 기법에 기반한 회귀식), 관측 데이터와 생성 데이터를 기재하고 있습니다. 룰 기반 모델을 이용한 데이터 전처리에 관한 발명은 예측 가능성이 높기 때문에, 이러한 기재만으로도 실시 가능성 요건을 충족할 수 있습니다.
또한, 해당 특허에서는 인공지능 기반 모델을 이용한 데이터 전처리 방법으로, 생성모델(generative model), 또는 순환 신경망(RNN) 기반의 기계학습모델, 각 모델의 입•출력 데이터를 특정하고, 통상의 기계학습 방법을 기재하고 있습니다. 인공지능 기반 모델을 이용한 데이터 전처리에 관한 발명의 경우에도 학습 방법이나 활용에 특별한 특징이 없는 경우 실시 기능성 요건이 상대적으로 완화될 수 있다고 볼 수 있으므로, 이러한 기재만으로도 실시 가능성 요건을 충족할 수 있있습니다.
다만, 데이터 전처리에 관한 발명이 인공지능 모델의 학습 방법이나 인공지능 모델을 이용한 활용에 특징이 있다면, 각 카테고리에 준해서 실시 가능성 요건을 판단해야 할 것입니다.
정리하면, 데이터 전처리에 관한 발명은 룰 기반 모델을 이용하는지, 인공지능 기반 모델을 이용하는지, 또는 인공지능 기반 모델을 이용하는 경우에도 발명의 특징이 무엇인지에 따라서 실시 가능성 요건을 만족하기 위한 명세서 작성 방향이 달라집니다.
인공지능 모델의 아키텍처
모델 아키텍처에 관한 발명은 모델의 기능이 아닌 내부 아키텍처를 권리화한 발명입니다. 여기에는 모델 내부의 레이어의 상호작용, 데이터 흐름, 처리 방법, 데이터 연산 내용에 대한 정의등이 포함될 수 있습니다. 모델 아키텍처에 관한 발명의 예시로 아래 구글의 Batch Normalization에 관한 등록 특허를 살펴보겠습니다.
<Batch Normalization 특허 도면 1(구글, US 10417562 B2)>
청구항 1항
A neural network system implemented by one or more computers, the neural network system comprising:
a batch normalization layer between a first neural network layer and a second neural network layer, wherein the first neural network layer generates first layer outputs having a plurality of components, and wherein the batch normalization layer is configured to, during training of the neural network system on a batch of training examples:
receive a respective first layer output for each training example in the batch;
compute a plurality of normalization statistics for the batch from the first layer outputs;
normalize each component of each first layer output using the normalization statistics to generate a respective normalized layer output for each training example in the batch;
generate a respective batch normalization layer output for each of the training examples from the normalized layer outputs; and
provide the batch normalization layer output as an input to the second neural network layer.
위의 구글 등록 특허는 신경망에 학습 데이터의 각 배치를 정규화해주는 레이어를 추가하여 배치 정규화 과정이 추가된 신경망에 관한 발명입니다. 구글 등록 특허의 도면 1과 청구항 1항을 살펴보면, 신경망의 내부 레이어 및 내부 레이어들 각각의 입출력 데이터가 명확히 설명되는 것을 확인할 수 있습니다. 통상의 기술자는 구글 등록 특허의 명세서를 보고 시행착오적인 방법을 거치지 않고도 신경망의 내부 아키텍처를 설계하여 배치 정규화를 수행하는 신경망을 구현할 수 있을 것입니다.
이처럼 인공지능 모델의 내부 아키텍처에 관한 발명은 구조 자체가 정의되어 있기 때문에, 통상의 기술자가 명세서를 보고 시행착오적인 방법을 거치지 않고도 발명을 실시할 수 있을 것입니다. 즉, 모델 아키텍처에 관한 발명은 발명의 예측 가능성이 높다고 할 수 있고, 미국 MPEP를 유추해보면, 실시 가능성 요건이 어느 정도 완화될 수 있다고 볼 수 있습니다.
인공지능 모델의 학습 방법
인공지능 모델의 학습 방법에 기술적 핵심이 있는 경우, 학습 과정을 기재해주어야 합니다. 학습 방법은 학습된 모델이 실제로 목표로 하는 기능을 수행하는지에 대해 예측 불가능한 성격을 갖는다고 볼 수 있습니다. 따라서, 학습 방법의 경우 통상의 기술자가 명세서를 보고 과도한 시행착오 없이 학습 방법을 실시할 수 있도록 학습 과정을 구체적으로 기재해야 합니다.
학습 과정은 학습 유형, 학습 데이터, 모델 아키텍처, 학습 알고리즘, 평가 방법 등에 관한 내용을 포함할 수 있습니다. 예를들어, 학습 유형이 지도 학습인지, 비지도 학습인지, 또는 강화 학습인지를 정의하고, 학습 데이터의 입력 데이터와 정답 데이터가 무엇인지를 정의해야합니다. 또한, 모델이 예측 데이터와 정답 데이터의 오류를 최소화하는 방향으로 학습하도록 유도하기 위한 손실 함수 등의 학습 알고리즘을 정의해야 합니다.
학습 유형에 따라서 필수 기재 요소가 더 요구될 수 있습니다. 예를 들어, 강화 학습에 관한 발명의 경우, 강화학습에 필수적인 에이전트, 환경, 상태, 행동, 보상 각각에 대한 내용과 예시를 기재해주어야 합니다.
지도 학습의 예시로 미국 등록 특허(US 12,014,493)를 예로 들어 설명해 보겠습니다.
골 연령을 판독하는 방법 중 손과 손목 사진을 찍어서 확인하는 TW3(Tanner-Whitehouse 3) 방법이 있습니다. TW3 판독에서 사용되는 부위는 임상적으로 골연령 판독에 큰 연관성이 있는 부위입니다. ‘493 특허는 골 연령을 판독하기 위한 분석 모델을 학습할 때, 상기 분석 모델이 TW3 판독에 사용되는 부위를 더 중요하게 보도록 학습을 하는 것을 목적으로 합니다.
상세한 설명에서는 이러한 주요 영역을 어텐션 가이드 라벨로 정의하고, 골 연령 판독 모델의 학습 과정을 설명하고 있습니다. 구체적으로, 학습 유형은 지도 학습이고, 학습 데이터의 입력 데이터는 학습 영상이고, 정답 데이터는 어텐션 가이드 라벨임을 정의하고 있습니다(‘493 특허의 도 4 참조).
‘493 특허의 도 4에서 참조번호 410은 학습 영상을 나타내고, 참조번호 430은 어텐션 가이드 라벨을 나타냅니다.
‘493 특허의 도 4
‘493 특허의 등록 청구항을 살펴보겠습니다.
1. A method for bone age assessment using a neural network performed by a computing device, the method comprising:
receiving an analysis image which is a target of bone age assessment; and assessing bone age of the target by inputting the analysis image into a bone age analysis model comprising one or more neural networks,
wherein the bone age analysis model, which is trained by supervised learning based on an attention guide label, comprises at least one attention module for analyzing a main region of the analysis image,
wherein the attention guide label comprises importance of each pixel obtained based on a distance between the each pixel included in a training image for training the bone age analysis model and the main region,
wherein the supervised learning is performed based on a comparison result of a spatial attention map generated regarding the training image using the bone age analysis model and the attention guide label corresponding to the training image,
wherein the supervised learning is performed based on:
calculating a loss function by using a label of each pixel included in the attention guide label as a ground truth value and using predicted importance of each pixel included in the spatial attention map as a prediction value, and updating weights of the attention module so the loss function is minimized.
‘493 특허의 등록 청구항 제1항
등록 청구항 1의 등록 포인트는 예측 데이터와 정답 데이터를 이용한 지도 학습에 관한 내용입니다.
상세한 설명에서는 예측 데이터인 공간 어텐션 맵과 정답 데이터인 어텐션 가이드 라벨을 각각 정의하고 있습니다(‘493 특허의 도 3 참조).
‘493 특허의 도 3
‘493 특허의 도 3에서 참조번호 331은 공간 어텐션 맵을 나타냅니다.
또한, 상세한 설명에서는 공간 어텐션 맵과 어텐션 가이드 라벨 간의 오류를 최소화하는 방향으로의 학습을 유도하기 위한 손실 함수를 구체적으로 정의하고 있습니다(‘493 특허의 수학식 4 참조).
‘493 특허의 수학식 4
참조번호 ‘493 특허의 수학식 4는 이진 크로스 엔트로피 손실함수에 관한 수식을 나타냅니다.
정리하면, 학습 방법은 예측 불가능한 성격을 갖는다고 볼 수 있기 때문에, 학습 과정을 구체적으로 기재해 주어야 실시 가능성 요건을 만족할 수 있습니다.
인공지능 모델을 활용한 활용 (inference)
인공지능 모델을 활용한 발명은 사전 학습된 공지의 인공지능 모델을 사용하는 프로세스에 관한 발명입니다. Amgen 판례에서는 구조가 한정되지 않는 경우 특정 기능을 수행하는 클래스의 일반적 특징을 기재해주어야한다고 설시하고 있습니다. 이를 인공지능 관련 발명에 적용해보면, 인공지능 모델의 경우에는 동일한 기능을 수행하는 인공지능 모델이라 할지라도, 인공지능 모델마다 사용되는 입출력 데이터, 학습 방법, 내부 아키텍처들이 달라질 수 있습니다. 따라서, 인공지능 모델을 활용하는 발명에서는 특정 기능을 수행할 수 있는 인공지능 모델 각각을 하나의 클래스로 볼 수 있습니다.
한편, 항체의 종류가 무수히 많은 바이오 분야와 달리 인공지능 분야의 경우 사용되는 공지의 인공지능 모델은 어느정도 한정적이라고 볼 수 있습니다. 또한, 인공지능 모델을 활용한 발명은 공지의 인공지능 모델을 사용하기 때문에 사용될 수 있는 인공지능 모델들 중 일부만을 기재했더라도 실시가능성 요건이 크게 문제되지 않을 수도 있습니다. 그렇다면 명세서에 일부 인공지능 모델만을 예시로 들어 등록된 다음에는 어떤 인공지능 모델을 사용하더라도 모두 특허 권리범위에 포함되는 걸까요?
Amgen 판례의 경우, 항체의 구조가 아닌 기능으로 설명된 항체들에 대한 청구가 등록 무효인지 문제되는 케이스였습니다. 특허의 등록 단계에서의 무효 판단과 등록 이후 침해 단계에서의 권리범위 판단은 동일하지는 않습니다. 하지만, 등록된 청구항이 무효로 된다면 침해 행위도 성립하지 않을 것이므로, 등록 단계에서의 무효 판단과 등록 이후 침해 단계에서의 권리범위 판단은 서로 밀접한 관계를 가진다고 볼 수 있습니다. 특허는 경쟁사에 대해 기술 침해를 주장하기 위한 공격적 수단이 되므로, 침해 단계에서의 권리범위 판단도 매우 중요하다고도 볼 수 있습니다.
이러한 관점에서 볼 때, 단순히 등록 단계에서의 실시가능성 요건만을 충족하는지를 판단할 뿐만 아니라, 침해 단계에서도 권리범위라고 주장할 수 있는지까지 고려하여 명세서를 작성해야 합니다.
인공지능 모델을 활용한 발명의 예시로, 회사 로고를 생성해주는 이미지 생성 모델에 관한 발명을 생각해볼 수 있습니다. 이미지 생성 모델에는 여러 인공지능 모델이 사용될 수 있습니다. 간단하게 ViT을 이용한 확산 모델과 CNN을 이용하는 확산 모델을 예시로 들어보도록 하겠습니다. ViT에서는 이미지를 토큰 단위로 토크나이징하고, 각 토큰에 대한 임베딩 벡터를 입력으로 사용하게 됩니다. 반면, CNN의 경우에는 이미지로부터 특징 맵을 추출하여, 특징 맵에 대한 이미지 처리를 수행합니다.
<ViT 기반의 확산 모델 예시, 출처: All are Worth Words: A ViT Backbone for Diffusion Models>
<CNN 기반의 확산 모델의 예시, 출처: ResDiff: Combining CNN and Diffusion Model for Image Super-Resolution>
예를 들어, 이미지 생성 모델 이용하여 회사 로고를 출력하는 발명에 대한 명세서에, 이미지가 토큰으로 토크나이징되고, 토큰이 임베딩 벡터로 변환되어 입력되는 ViT 기반의 이미지 생성 모델만을 예시로 들었다고 가정해봅시다. 인공지능 분야의 기술 수준을 고려할 때 이미지 생성 모델로서 ViT만을 예시로 들더라도 발명의 실시가능성 요건 자체는 문제되지 않고 등록받을 수도 있을 것입니다.
하지만, 경쟁사가 CNN 기반의 이미지 생성 모델을 이용하여 회사 로고를 생성하는 발명을 실시하고 있을 때, 경쟁사는 명세서에 CNN 기반의 이미지 생성 모델이 기재되지 않았다는 이유로 특허를 침해하지 않았다고 주장할 수 있습니다.
따라서, 이러한 리스크를 예방하기 위해서는, 가급적 명세서에 사용될 수 있는 인공지능 모델들의 예시를 풍부하게 기재해주어야 하며, 이는 깊이 있는 실무 경험이 수반될 수 밖에 없습니다.
파이 특허는…
지금까지 살펴본 바와 같이, 파이특허는 인공지능과 관련된 특허 판례 뿐만 아니라 인공지능 관련 발명에 적용될 수 있는 Amgen 사건과 같은 다양한 분야에 대한 판례를 연구 및 분석하고 있습니다.
또한, 파이특허는 인공지능 분야의 풍부한 경험을 바탕으로 등록 단계 뿐만 아니라 침해 단계까지 고려하여 명세서를 작성하고 있습니다. 파이특허는 인공지능 관련 발명의 전반적인 내용을 커버하는 강력한 인공지능 템플릿을 보유하고 있으며, 인공지능 분야의 흐름에 맞춰 인공지능 템플릿을 지속적으로 업데이트해나가고 있습니다.
