[K글로벌타임스] 데이터브릭스(대표 알리 고드시)는 인공지능(AI) 개발에 효율성을 높여주는 플랫폼 '데이터 레이크하우스'를 개발한 스타트업이다. 데이터와 AI를 결합한 새로운 모델을 제시하며 오픈소스계의 슈퍼스타라는 칭호를 받을 정도로 업계에서 독보적인 입지를 구축했다. 데이터브릭스는 설립 10년 만에 50조원의 기업가치를 인정받아 글로벌 10대 유니콘 기업으로 성장했다.

미국 실리콘밸리에 본사를 둔 데이터브릭스는 아파치 스파크, 델타 레이크, ML플로우 등 인기 오픈소스 소프트웨어(SW) 프로젝트 창시자들이 힘을 합쳐 2013년 설립됐다.

10년 만에 전 세계 7000개 이상의 기업과 기관을 고객사로 보유하고 있는 글로벌 유니콘 스타트업으로 성장했다. 데이터브릭스는 데이터 레이크하우스라는 독자적인 플랫폼으로 성공가도를 달리고 있다.

데이터 레이크하우스는 AI를 개발하고 관리하는 기업들을 대항으로 복잡성과 비용을 줄여주는 획기적인 솔루션으로 세계에서 인정받고 있다.

과거에 무슨 일이 있었는지를 분석하데 주로 쓰는 '데이터 웨어하우스'와, 미래 예측에 쓰이는 '데이터 레이크'의 합성어로 두 플랫폼의 장점을 한 곳에 결합해 안정성과 높은 운영 성능을 제공한다.

레이크하우스 플랫폼은 분석, 비즈니스 인텔리전스(BI), 데이터 과학, ML을 구분하는 전통적인 데이터 사일로를 제거해 아키텍처를 단순화하며 AI 개발과 분석에 발생하는 복잡성과 비용을 줄일 수 있어 효율적인 업무가 가능하도록 했다.

AI 공급기업과 수요기업이 AI를 개발할 때 실패하는 사례를 방지해주기 위해 오픈소스와 오픈 표준을 기반으로 구축했다.

사용자는 친숙한 방법으로 데이터 관리, 보안, 거버넌스에 접근할 수 있고, 오픈소스 데이터 프로젝트 생태계와 데이터브릭스 파트너 네트워크를 통해 데이터를 쉽게 공유하고 최신 데이터 스택을 구축할 수 있는 것이 특징이다.

데이터브릭스의 레이크하우스는 발표 이후 단숨에 AI업계의 주목을 받는 데 성공했다. 특히 아마존, 구글 클라우드, AWS와 같은 클라우드 플랫폼을 통합하는 솔루션을 제공하면서 각각의 클라우드에서 데이터를 재생산해야하는 비용을 낮춰 효율성을 극대화 하면서 세계적인 주목받았다.

업계에서 혁신기술로 인정받은 결과 클라우드 Top 3으로 불리는 아마존, 구글, 마이크로소프트(MS)의 투자를 모두 받은 전례 없는 기업으로 이름을 올렸다.

혁신 솔루션으로 입소문을 타며 글로벌 대기업들을 고객사로 유치하는 데 성공했다. 대표고객으로는 미국 대표 통신회사 AT&T를 비롯해 에너지기업 쉘(Shell)과 어도비(Adobe) 등이 있다.

AT&T는 사기 추적 (fraud detection)에 레이크하우스를 이용해 80%의 사기를 예방하며 신뢰도를 높이는 데 성공했다. 레이크하우스를 이용해 클라우드의 데이터 인프라를 현대화함으로써 데이터 및 AI에 대한 통합 접근 방식을 구현하며 획기적인 사기예방에 성공했다.

쉘(Shell)은 전세계 창고의 재고 및 공급망을 효율적으로 관리하고 예비 재고를 항상 보관할 수 있는 시스템을 구축하는 데 레이크하우스 솔루션을 이용했다.

48시간이 걸리던 재고 예측 모델을 45분으로 획기적으로 단축시키면서 재고 관리방식을 크게 개선하고, 비용 절감에도 성공했다. 이 밖에도 선박 및 유람선에서 엔진의 내구성과 성능을 최적화하는 알고리즘을 통해 수리에 들어가는 비용도 대폭 줄이는 효과를 얻었다.

이처럼 기업들의 방대한 데이터를 신속하게 처리하고 분석하는 솔루션으로 자리잡으면서 데이터브릭스는 세계를 활동무대로 삼고 본격적인 글로벌 비즈니스 확장에 나서기 시작했다.

데이터브릭스는 지난 2020년 세차례에 걸친 시리즈 투자를 진행하며 무려 16억달러의 투자자본을 유치하는 데 성공했다. 당시 글로벌 클라우드 1위기업인 아마존이 투자를 주도하면서 높은 관심을 끄는 데 성공했다.

미국에서의 대규모 투자유치를 발판삼아 아시아 태평양 시장 등 글로벌 시장 확장에도 탄력이 붙고있다. 특히 데이터브릭스가 주목한 가장 주목한 시장이 한국이라는 점이 흥미롭다.

지난해 데이터브릭스는 한국시장을 거점삼아 아시아 태평양 시장을 공략하겠다는 출사표를 내놨다. 데이터브릭스는 한국시장 공략을 위해 클루커스, 메가존클라우드 등 국내 파트너사들과 협력을 강화했으며, 방탄소년단(BTS)를 배출한 연예기획사 하이브와도 협업 중이다.

이 밖에도 아모레퍼시픽, 무신사, 데브시스터즈, G마켓, 핀다, 이마트24, 메조미디어 등 유수의 기업들도 앞다퉈 데이터브릭스의 솔루션을 통해 혁신과 비용 최적화를 이뤄내고 있다.

지난해 4월에는 한국 지사를 설립하고 초대 지사장으로 장정욱 대표를 선임했다. 장정욱 대표는 IT 및 클라우드 업계에 20년 이상 몸 담아온 전문가다. 킨드릴 코리아, 한국 IBM GTS, AWS 코리아 대표를 각각 역임한 바 있다.

장 지사장을 필두로 한국 시장 확장에 나선 데이터브릭스는 지난해  아태지역 전반에 걸쳐 전년 대비 90%의 비즈니스 성장과 80% 인력 확장을 달성하는 성과를 내는데 성공했다. 올해에는 한국시장 투자 확대를 바탕으로 아태지역 시장확대에 속도를 낸다는 계획이다.

장정욱 데이터브릭스 한국 지사장은 "올해 더 많은 조직들이 데이터 사일로와 비효율성을 제거하고 데이터와 차세대 AI 기술이 지닌 잠재력을 최대한 발현할 수 있는 통합 데이터 플랫폼으로 전환하게 될 것"이라며 "통합되고 현대화된 데이터 플랫폼 기반의 혁신을 이룰 수 있기를 희망한다"고 말했다.

[K글로벌타임스 김동현 기자] [email protected]