[K글로벌타임스] 노타는 AI와 반도체, 이 두 가지를 잇는 가교다. AI는 소프트웨어고, 소프트웨어는 하드웨어에서 동작이 돼야 한다. 여기에서 중요한 점은 하드웨어가 어떤 칩으로 구성돼 있느냐, 또 메모리 사이즈가 어떠한가에 따라서 AI 모델이 구동되는 수준이 달라진다는 사실이다. 노타(대표 채명수)는 AI 모델을 특정 칩이나 메모리 등 하드웨어에 맞게 최적화 및 경량화하는 데 특화된 기업이다.

노타의 목표는 확실하며 확고하다. ‘AI가 세상에 보편화되는 데 가장 많은 기여를 한 기업’이기 때문이다. 노타는 너무 무겁거나 커서, 혹은 너무 비싸고 많은 인재를 필요로 하기 때문에 사용하지 못했던 AI 모델의 한계점을 하나하나 뛰어넘고 있다. 그중 대표적인 제품이 넷츠프레소다. 글로벌 반도체 강자들을 사로잡으며 국내의 AI 산업 위상을 제고할 뿐만 아니라 그들의 바람처럼 AI의 보편화에 한 걸음씩 다가서고 있는 노타에 주목해야 할 때다.

Q. 노타가 AI 최적화 및 경량화에 집중하는 이유가 무엇인가요?

AI는 이미 사회의 많은 영역을 바꾸고 있고, 앞으로 더욱더 많은 영향력을 끼칠 수밖에 없다고 생각합니다. AI는 현재 매우 높은 성능과 놀라운 성과들을 보여주고 있지만, 이러한 성공 뒤에는 수많은 연산과 전력 사용이 있었기에 가능하기도 했습니다. 한 예시로, 알파고와 이세돌의 대국에서 1000개가 넘는 CPU, 100개가 넘는 GPU가 사용되었다고 합니다. 한 대국에 엄청나게 많은 컴퓨팅 자원이 투자되었다는 뜻이죠. 

또한, 최근 화두가 되고 있는 LLM이나 Foundation Model의 경우에도 학습뿐만 아니라 추론에도 상당히 높은 연산량을 요구하고는 합니다. 보다 AI가 사회에 보편화되기 위해선 AI 모델 최적화 및 경량화는 필수적인 기술입니다. AI를 구동할 수 있는 기기들의 종류는 서버 클러스터부터 MCU(Micro controller unit) 등 매우 작은 디바이스까지 다양합니다.

AI가 보편화되는 사회에서는, CCTV, 차량 내, IoT 등 다양한 곳에 다양한 AI가 탑재될 것입니다. 이렇게 다양한 기기에서 AI가 구동되기 위해선 AI 모델이 경량화되어야만 할 뿐만 아니라, 각 기기가 요구하는 연산 조건에 부합하도록 AI 모델이 변화할 필요가 있습니다. 저희는 AI 모델이 기기에서 최고의 성능과 최고의 효율을 가질 수 있도록 모든 과정에서 최적화와 경량화를 하여, AI가 보편화되는 사회에 더 이바지하고자 노력을 하고 있습니다.

Q. 최근 NPU에 대한 이야기가 자주 들려오는데요. NPU 역시 AI 모델의 최적화와 관련이 있다는 말씀이시군요.

네, NPU는 Neural Processing Unit의 약자로 신경망 처리 장치죠. NPU는 AI 모델을 가속화하고 최적화하는 데 중요한 역할을 합니다. 이건 AI가 뉴럴 네트워크에 최적화된 프로세서가 되었다는 것을 의미해요. 뉴럴 프로세서는 AI 칩이라고 생각하시면 됩니다.

그런데 NPU는 혼자 동작하지 않고, 백그라운드에 CPU나 MPU와 같은 다른 프로세서가 함께 돌아가야 합니다. AI 모델은 다양한 연산으로 구성되어 있습니다. AI 모델의 다양한 연산들이 NPU에서만 구동되고 CPU나 MPU는 각자의 역할을 하면 좋겠지만, 이렇게 이상적으로 구동되는 경우는 거의 없습니다. AI 모델은 특정 NPU를 염두에 두고 만들어진 것이 아니기 때문에 어떠한 연산들은 NPU에서 지원되지 않을 수도 있습니다. 

이러한 경우에는 ‘Delegate’, 즉 ‘위임’이라고 하는데요. NPU에 구동되어야 할 작업을 CPU나 MPU가 위임받아 처리하게됩니다. 그러면 AI 모델을 구동하려고 집어넣은 NPU는 제 역할을 다 못하고, OS나 다른 SW 구동을 위해 존재하는 CPU나 MPU가 두 배, 세 배 열심히 일해야 합니다. 

이러한 상황을막기 위해 저희는 AI 모델에 있는 연산들이 NPU에서 구동될 수 있도록 모델을 최적화하는 작업을 합니다. 이렇게 NPU와 HW를 이해하며 AI 모델을 최적화해야만 실제로 높은 효율을 낼 수 있는 AI 시스템을 구동할 수 있는 것이지요.

Q. AI 최적화 및 경량화 관련 스타트업이 많이 생겨나고 있는 추세입니다. 그런 상황에서 노타의 차별점은 무엇이 있을까요? 

AI 모델 최적화와 경량화는 특정 기술일 뿐, 이 기술로 사업화를 하기 위해선 기술을 고객에게 쓸 수 있는 형태로 상품화할 필요가 있습니다. 저희는 AI 모델 최적화 플랫폼인 넷츠프레소(NetsPresso)를 통해서 AI 모델을 만들고, 최적화하고, 탑재하는 전 과정에 필요한 최적화 기술들을 제품화했습니다. AI 최적화라는 작업을 수작업에서 효율화된 작업으로 한 단계 높이는 작업을 거친 것입니다.

그뿐만 아니라 위와 같은 AI 모델 최적화는 고객사의 신뢰를 최우선으로 하고, 이러한 신뢰는 많은 경험과 레퍼런스에서 비롯됩니다. 저희는 30개 이상의 IP 및 칩 회사들과 협업했으며 이러한 회사 중엔 엔비디아, 인텔, 암 등 굴지의 반도체 기업들도 포함되어 있습니다. 엔비디아의 경우 스타트업 파트너 중 1%만 선정되는 인셉션 프리미어 멤버십에 선정되는 등 많은 인정을 받고 있고, 이러한 신뢰는 오랜 기간 동안 쌓아온 것이기에 새로운 스타트업들과 차별화되는 부분이라고 생각합니다. 

더불어 넷츠프레소를 보다 안정적이고 의미 있는 제품으로 만들기 위해선 넷츠프레소가 많이 사용될 수 있도록 해야 하고 어떠한 최적화와 경량화가 중요한지 알 수 있는 방법이 필요합니다. 저희는 운전자 졸음 탐지 솔루션과 지능형 교통 시스템을 통해 시장의 니즈를 이해하고 이 니즈에서 파생되는 경량화 및 최적화의 특징을 넷츠프레소에 담을 수 있었습니다. 특정 시장에서의 니즈를 바탕으로 한 최적화 기술의 발전 또한 차별화되는 부분이라고 생각합니다.

Q. 넷츠프레소는 어떤 플랫폼인가요?

넷츠프레소는 AI 모델 최적화 및 경량화를 위한 종합 플랫폼입니다. AI 개발 프로세스는 크게 AI 모델을 학습하고, 최적화하고, 배포하는 과정을 거칩니다. 각 과정에서 많은 AI 엔지니어들은 최적화 관점에서 많이 고민합니다. 예를 들어, AI 모델을 학습하는 과정에선 “내가 학습하는 모델이 내가 풀고자 하는 문제에 적합한 크기의 모델이 맞을까” 혹은 “내가 학습하는 모델 구조가 내가 쓰려고 하는 기기에서 높은 효율로 구동될 수 있을까” 등입니다. 

경량화 과정에 있어선 프루닝, 퀀타이제이션 등의 기술을 접목하게 되는데, 이러한 기술을 접목할 때는 최적화 기술이 실질적 효과가 있는 최적화 기술인지 아닌지에 대한 고민을 항상 하며 접근해야 합니다. 이를 포함한 다양한 고민들에 대한 저희의 대답과 접근이 집약되어 실시간으로 발전하고 있는 플랫폼이 넷츠프레소입니다. 이를 통해 저희는 다양한 고객들의 고민들을 해결해드리고 있고, 앞으로도 더 많은 고객들을 만족시키는 기술 플랫폼으로 발전하고 싶습니다.

Q. 시장 전망은 어떤가요?

현재에도 급격하게 성장하고 있는 AI 기술과 사례들이, 미래에는 더욱 많은 산업에 보편화될 것은 당연하게 다가올 미래라고 생각합니다. AI 기술이 많은 사람에게 배포될 때 더욱 그 속도와 효용을 높이는 것이 저희의 역할입니다. 앞으로 넷츠프레소와 같은 도구에 대한 요구가 증가할 것으로 예상되며 이로 인해 시장 전망은 밝다고 판단됩니다. 

엣지 시장이 확대되는 것은 당연한 추세입니다. 더불어 AI 모델도 점차 거대해지고 있습니다. 그러나 모든 사용자가 대규모 AI 모델을 이용할 수 있는 것은 아닙니다. 비용이 많이 들기 때문입니다. 이에 따라 AI 모델은 경량화되고 최적화되어야 합니다. 

예를 들어, 에어컨을 제조하는 경우 해당 기기에 사용되는 칩을 선택할 때 엔비디아만을 고집하지 않고 퀄컴만을 고집하지 않습니다. 각각의 칩은 성능 및 가격 등을 비교하고, 어떤 칩이 해당 제품에 가장 적합한지를 고려합니다. 여기에 한 가지 조건이 더 적용됩니다. 바로 엔비디아나 퀄컴과 같이 두 개의 AI 모델을 구현할 수 있어야 한다는 것입니다. 넷츠프레소는 이를 가능하게 하는 플랫폼입니다. 

넷츠프레소는 AI 모델을 효율적으로 운영하는 데 필요한 도구를 제공합니다. 또한,노타의 기술은 다양한 분야에서 활용되고 있어요. 주로 스마트폰, 자율주행차, 보안 카메라, 의료기기, 로봇, 드론, 스마트 홈 기기 등 다양한 엣지 디바이스에서 사용되는데, 이런 기기들이 우리의 일상에서 더 똑똑하고 편리하게 사용되도록 도와주고 있습니다.

Q. 넷츠프레소를 개발하는 데 상당한 시간이 들었을 것 같습니다.

처음으로 넷츠프레소 아이디어를 발굴한 시기는 2020년 초였습니다. 상용화 버전이 출시된 것은 지난해 8월이며, 이를 위해 약 2년 6개월 정도의 시간이 소요되었습니다. 넷츠프레소와 관련된 개발팀은 40여 명으로 구성되어 있습니다. 이 모든 멤버는 훌륭한 개발자들로 이루어져 있습니다. 또한, 이 팀의 구성원들은 모두 석사 또는 박사 학위를 보유하고 있습니다.

개인적으로 넷츠프레소는 저에게 큰 의미를 가지고있습니다. 다양한 글로벌 대기업과의 협업을 통해 축적된 노하우를 한데 집약한 결과물이기 때문입니다. 개발 과정 중에는 4번에 걸쳐 베타 서비스를 진행했고, 사용자들로부터 피드백을 받아 개선했으며, 그 후에 업그레이드 버전을 제공했습니다. 그러면서 넷츠프레소에 상당한 애착을 가지게 되었습니다. 

또한, 테스트 과정의 중요성을 깨달았습니다. 특히 우리와 같은 비즈니스는 전 세계적으로 다양한 환경에서 사용되기 때문에 AI 모델을 어떻게 최적화해야 하는지에 대한 정확한 해답이 없습니다. 그래서 사용자들이 만족할 결과를 도출해내야 한다는 책임감을 느끼고 있습니다. 이러한 경험을 통해 저는 경영자로서의 역량을 한층 향상시킬 수 있는 기회를 얻게 되었습니다.

Q. 넷츠프레소 아이디어를 얻게 된 계기가 있을까요?

넷츠프레소의 시작은 간단한 계기에서 출발했습니다. 노타는 자체 엣지 솔루션을 위한 딥러닝 모델을 계속해서 최적화해야 하는 회사인데 이러한 엣지 환경에서 모델 최적화는 매우 복잡하고 시간과 노력이 많이 필요한 작업이었습니다. 노타는 AI 모델의 최적화를 추구하는 기업임에도 불구하고 그 과정이 어느 순간부터 매우 어렵게 느껴지기 시작했습니다.

이런 어려움을 극복하고자 노타는 모델 최적화를 단순화하는 도구를 개발하기로 결정했습니다. 이를 통해 복잡한 최적화 과정을 자동화하고 간편화함으로써, 노타는 더 나은 서비스와 솔루션을 제공할 수 있게 될 것으로 생각했습니다. 

우리의 모토가 AI를 보편화하는 데 가장 큰 기여를 하는 기업이 되는 것인 만큼 이를 위해서는 중견기업 및 중소기업도 저희의 고객이 되어야 합니다. 그러나 이러한 기업들이 AI 모델과 관련된 엔지니어를 필요 이상으로 고용하기 어렵습니다. 그래서 중소 및 중견기업들이 관련 업무를 수행할 때 인재를 채용하지 않고도 쉽게 진행할 수 있는 방법을 찾고자 했습니다. 이런 고민 끝에 넷츠프레소가 탄생하게 되었습니다.

Q. 엔비디아, 퀄컴, 암 등과 파트너십을 맺으면서 배우게 된 점도 있을 듯합니다. 

파트너 관계는 등급에 따라 분류됩니다. 이와 같은 노타의 파트너사들은 우리에게 고객임과 동시에 기술 파트너 역할을 해줍니다. 이는 파트너사가 보유하지 못한 기술 및 전문 지식을 노타가 갖고 있기 때문에 함께 협력하고 있다는 의미도 내포하고 있습니다.

물론 AI 모델의 최적화와 경량화 분야에서 우리와 유사한 전문 지식을 보유한 기업은 흔치 않습니다. 이러한 이유로 고객사들도 우리의 능력을 고려하여 내부적으로 다루기 어려운 과제를 외부에 의뢰하기도 합니다. 이러한 협업과 고객 요구에 부응하면서 노타는 더욱 성장하고 발전해 나가고 있습니다.

Q. 시장 진입 초기에 어려움은 없었나요?

어려웠죠. 보수적인 반도체 기업들로부터 기술적으로 인정받는다는 것은 상당히 어려운 과제였습니다. 이들은 이미 우수한 기술 인재들이 모인 환경에서 운영되기 때문에, 스타트업이 “이 분야에서 우리가 뛰어납니다”라고 말하고 인정받기가 쉽지 않았습니다.

하지만 그렇다고 해서 답이 없는 것은 아닙니다. 실제 결과를 증명하면 됩니다. 한 번 반도체 기술과의 협업 기회를 얻게 되면, 그들도 이 기술의 우수성을 인식하게 됩니다. 이런 과정을 통해 서로 간의 신뢰관계를 구축하고 나아가 협력을 이루어 나갈 수 있습니다.

Q. 안면 인식 솔루션과 ITS(Intelligent Transportation Systems, 지능형 교통 시스템) 솔루션 분야에서 성과를 올리고 있습니다. 

안면 인식 기술은 주로 아파트나 사무실 출입과 같은 분야에서 주요 활용 분야 중 하나입니다. 일반적으로 이러한 환경에서는 로비 폰이나 도어락과 같은 장치에서 사용되며, 여기에 사용되는 칩은 일반적으로 저사양의 하드웨어를 갖추고 있습니다. 이로 인해 안면 인식 기술을 통합하는 AI 모델도 비교적 가격에 민감한 영향을 받습니다. 안면 인식 기술은 수요가 높은 분야이지만, 고사양 하드웨어를 필요로 한다는 상충점이 존재했습니다. 

노타 AI는 경량화된 AI 모델을 개발하여 1MB 미만의 용량으로도 뛰어난 성능을 제공할 수 있어 IoT 시장에서 큰 성과를 이뤄내고 있습니다. 

또한, 운전자 모니터링 시스템 분야에서도 저희의 제품은 주로 블랙박스에 적용되어 있습니다. 블랙박스는 매우 작은 기기로, 경량화된 AI 모델이 필수적입니다. 이 분야에서는 주로 B2B 시장을 대상으로 하며, 택배 회사는 기사들의 운전 상태를 모니터링하고자 합니다. 그러나 개인정보 보호 문제로 인해 차량 내에 카메라를 설치하기 어렵습니다.

노타의 솔루션은 영상을 서버로 전송하지 않고, 디바이스에서 모니터링하면서 졸음운전과 같은 운전 정보를 캐치하고 이를 서버로 보냅니다. 현재 이러한 솔루션을 제공할 수 있는 기업이 거의 없는 상황이라 노타가 해당 분야에서 독보적인 위치를 차지하고 있습니다. 

교통 분야에서는 주로 지방 자치 단체에 납품을 하고 있으며, 교차로에 설치된 카메라가 있습니다. 과거 이러한 카메라들은 단순히 영상을 수집하는 역할을 했지만, 노타의 솔루션을 활용하면 교차로의 대기 행렬, 차량 수, 일일 통행량 등의 데이터를 수집하고 분석할 수 있습니다. 이는 신호 조절 및 교통 흐름 최적화에 도움이 되어 우리 일상생활에서 반드시 필요한 기술이라고 할 수 있습니다.

Q. 미국과 독일에 법인을 설립하면서 해외진출에도 물꼬를 트셨다고 들었습니다.

미국과 독일에 법인을 설립하는 것은 해외진출의 중요한 한 걸음이었습니다. 미국 법인과 독일 법인은 모두 저희의 자회사로, 노타가 100% 소유하고 있는 회사들입니다. 독일 법인은 스마트시티 분야로 사업 확장했으며, 독일을 비롯한 영국 및 포르투갈 등에서 교통 모니터링 시스템을 납품한 경력을 가지고 있습니다. 또한, 자동차 업체가 다수 위치한 유럽에서 활발한 활동을 펼치고 있으며, 독일 법인을 통해 유럽 시장을 성공적으로 커버하고 있습니다.

미국 법인은 캘리포니아에 위치하며, 주로 북미 시장을 대상으로 활동하고 있습니다. 미국은 반도체 분야에서 강력한 업체들이 많이 위치한 국가로, 넷츠프레소를 주력 사업으로 운영하는 지역입니다. 엔비디아와 퀄컴과 같은 주요 고객사와의 긴밀한 협력을 통해 미국 시장에서 안정적으로 성장하고 있습니다.

Q. NIPA 지원사업에 대해 장·단점이 있다면 무엇일까요?

NIPA 지원사업은 기술 개발 및 혁신을 위한 중요한 자원을 제공합니다. 또, 사용 범위가 유동적인 사실은 큰 장점으로 꼽힙니다. 이러한 유연성은 글로벌 시장을 주요 대상으로 하는 기업에게 큰 혜택을 제공합니다. 글로벌 시장 진출에는 많은 비용이 들 수밖에 없는데, NIPA의 지원을 통해 이러한 비용 부담을 줄일 수 있고, 관련 사업에 대한 기회를 활용할 수 있게 됩니다.

단점이라기보다는 저희 바람으로, 교통 분야는 공공의 성향이 강해 스타트업으로서 이와 같은 성향을 극복하고 더 많은 기회를 얻고자 하는 소망이 있습니다.

Q. 향후 계획에 대해 말씀 부탁드립니다.

AI가 세상에 보편화되는 데 가장 많은 기여를 하는 기업이 되고 싶습니다. 그러기 위해서는 범위를 더욱 확대해 글로벌 비즈니스를 전개해야 한다고 생각하고 있고요. 미국과 독일 법인을 좀 더 적극적으로 활용해 확장할 예정입니다. 그와 동시에 넷츠프레소가 한 단계 성장할 수 있도록 최선을 다할 계획입니다.

[K글로벌타임스 강초희 기자] [email protected]