본문 바로가기
함께 나눔

데이터 자본주의(Data Capitalism) 시대, 빅데이터 기업 '팔란티어 테크놀로지', 데이터 분석의 신기원,, AI는 허상?

by 농민만세 2024. 4. 8.

https://dataonair.or.kr/db-tech-reference/d-lounge/expert-column/?mod=document&uid=51888

빅데이터 산업과 세계에서 가장 수상한 기업 ‘팔란티어’

유니콘 기업으로 본 4차 산업혁명 시대 신산업 빅데이터 산업과 세계에서 가장 수상한 기업 ‘팔란티어’ 기술 변화의 속도가 빨라지면서 기업들의 흥망성쇠 주기도 비례해서 빨라지고 있다.

dataonair.or.kr


전문가칼럼

빅데이터 산업과 세계에서 가장 수상한 기업 ‘팔란티어’

작성일2018-06-26

 

유니콘 기업으로 본 4차 산업혁명 시대 신산업

 

빅데이터 산업과 세계에서 가장 수상한 기업 ‘팔란티어’

/ 유재흥 소프트웨어정책연구소 선임연구원(경영학 박사)

데이터 자본주의 시대 4차 산업혁명 시대는 본격적으로 데이터가 새로운 경제의 자본이 되는 소위 데이터 자본주의(Data Capitalism) 시대다.

최근 인공지능기술은 데이터를 먹고 급성장하고 있다. 스마트모빌리티, 스마트팜, 스마트시티 등 한때 ‘지능형 기술’로 주목 받았던 컴퓨팅 기술들이 빅데이터 분석기술과 혁신 적 알고리즘으로 무장해 ‘스마트’한 서비스로 재탄생하고 있다.

IDC의 예측에 따르면 2025년에는 세계적으로 163ZB1)의 데이터가 생산될 것으로 전망되는데 이는 2016년 대비 10배에 달하는 규모다.

특히, 원석에서 보석을 채굴하는 것에 비유되는 ‘분석 시장 (Analytics)’은 2016년부터 11% 이상 성장해 2020년에는 2,100억 달러 규모에 이를 것으로 전망된다.

종종 빅데이터 분석 무용론이 제기되기도 하지만 금융, 통신, 유통 기업들을 중심으로 도입 사례들은 늘어나고 있다. 마스터카드사는 방대한 지급 결제 데이터 분석 노하우를 활용해 데이터 분석 컨설팅과 데이터 판매로 2014년도에만 3.4억 달러의 데이터 매출을 만들었다.

페이스북은 전세계 16억 명 가입자의 비정형 정보를 분석해 맞춤형 광고를 제공하면서 수익을 늘려가고 있다. 국내에서는 2015년 롯데백화점이 페이스북의 빅데이터 분석을 통한 맞춤형 광고 캠페인을 진행했다. 신상품의 프로모션을 진행한 결과 실질 구매 고객 확보율이 100% 이상 증가했고, 신규 고객 확보 비용은 37% 이상 줄어들었다.

통신사, 금융사, 구글, 애플, 페이스북 등 방대한 가입자를 가지고 있는 기업들은 자체적인 인력과 기술을 통해 빅데이터 플랫폼을 구축하고 의미 있는 정보를 추출해 서비스를 개선시키기 위한 다양한 노력을 전개하고 있다.

그런데 빅플레이어 중심의 빅데이터 시장에서 주목받고 있는 스타트업이 있다. 독보적인 데이터 분석 능력으로 CIA, FBI, 미국 국방부(DoD), JP모건 등을 고객으로 확보하고 있는 기업이다. 이미 지난 2011년 20조 원의 기업 가치를 평가 받아 우버, 디디추싱, 샤오미, 에어비앤비의 뒤를 이어 5대 글로벌 유니콘으로 부상한 미국의 팔란티어(Palantir)다.

세상에서 가장 수상한 스타트업 ‘팔란티어(Palantir)’

2011년 5월 2일 빈라덴이 파키스탄 북부 작은 마을에서 미국 특수부대원들에 의해 사살 되었다. 이 작전은 미국 중앙정 보국(CIA)이 주도했고, 버락 오바마 대통령은 상황실에서 현장을 실시간으로 지켜봤다.

또한 2008년 12월 미국 나스닥증 권거래소 위원장을 역임했으며 월가에 명망 높고 신뢰를 받던 메이도프는 희대의 금융폰지 사건의 주범으로 구속되어 150년의 법정 선고를 받는다. 신규 투자자들의 투자금으로 투자자들의 이익을 충당해 주는 방식의 폰지 사기의 피해액 은 650억 달러에 달했다. 한때 세간을 떠들썩하게 만들었던 사건들이다.

그렇다면 CIA는 어떻게 빈라덴의 은둔처를 알아냈을까 미국 증권거래위원회는 메이도프의 사기행각을 어떻게 적발 해냈을까? 두 사건 모두 ‘팔란티어’의 기술적 조력이 있었다고 한다.

굵직한 사회 문제에 관여한 기술 기업은 현재 금융기관, 법률회사, 제약회사, 에너지기업, 소비재기업 등을 상대로 데이터 분석 서비스를 제공하고 있으며 정확한 매출은 공개된 적이 없으나 2015년 한해만 민간기업과 약 2조 원 규모의 계약 을 체결한 것으로 알려지고 있다.

우버, 샤오미, 에어비앤비에 이어 가장 큰 가치 평가를 받는 스타트업이지만 팔란티어는 외부에 잘 알려지진 않았다. B2C서비스보다는 B2B를 대상으로 서비스하는 기업이기도 하고, 경영자인 알렉스 카프(Alex Karp) 역시 외적 마케팅보다 핵심 기술 개발에 중점을 두는 스타일이기도 하기 때문이다.

하지만 2016년에는 다보스포럼에 리비아의 내전 상황을 다양한 비정형 데이터를 분석하여 시각화한 정보를 전시하며 세계 오피니언 리더층에 자사의 이름을 각인시키는 활동을 하기도 했다.

2016년 12월 트럼프는 12개 테크기업 리더 14명을 초청 해 자문을 듣는 ‘테크서밋’을 개최했다. 아마존 제프베조스, 애플 팀쿡, 알파벳 에릭슈미트, 마이크로소프트 사티아 나델라, 테슬라 엘론 머스크 등의 IT거물과 함께 팔란티어의 대표 알렉스 카프도 초청되어 트럼프의 맞은 편에 배석해 주목을 받았다.

팔란티어가 스타트업으로서 두각을 나타낸 이유는 다음의 몇 가지로 정리된다.

첫째, 우수한 창업 멤버와 자금력이다. 팔란티어는 페이팔을 창업한 피터 틸(Peter Thiel)이 2004년 페이팔을 이베이에 매각한 후, 클래리엄 캐피털이란 헤지펀드를 설립하면서 동시에 미 스탠퍼드대 컴퓨터공학과 졸업생인 조 론스데일 (Joe Lonsdale, 공동창업자), 스티븐 코헨(Stephen Cohen, 부사장), 전 페이팔 엔지니어 네이선 게팅스(Nathan Gettings, 최고기술책임자)와 함께 창업한 기업이다.

이후 스탠퍼드 동문인 알렉스 카프를 최고경영자로 영입하면서 오늘에 이르고 있다.

당시로서는 빅데이터 분석 기술에 대한 불확실성과 회의론이 높았던 터라 외부 투자를 받기 어려워 이베이 매각 대금 중 3천만 달러를 창업진이 초기 자본으로 직접 투자했다.

둘째, 초기 기술력을 확보하고 있었다는 점이다. 우선, 팔란티어의 초기 기술은 페이팔에서 금융사기 예방을 위해 개발했던 사기탐지 기술(FDS, Fraud Detection System)이다. 2000년대 초반 신생 인터넷 지급결제 기업이었던 페이팔 은 대규모 사기 거래로 인해 큰 위기를 겪은 후 사기 거래를 파악하는 전문가를 양성하고 분석 소프트웨어를 개발했다.

셋째, 공공이 기술력 성장의 발판(Seed)을 제공했다. 팔란티어는 2005년 CIA의 벤처투자 자회사인 인큐텔(In-QTel) 로부터 2백만 달러의 초기 투자를 유치하고 CIA를 최초의 고객으로 확보하게 된다.

이후 3년간 CIA본부를 방문해 실제 소프트웨어 사용자들과 커뮤니케이션하면서 소프트웨어의 성능을 개선해 나간다. 2008년 대규모의 이질적 데이터를 통합하고, 페타바이트급 데이터를 자연어로 질의하고 결과를 실시간으로 시각화 해주는 빅데이터 분석 프로그램을 완료한다.

공공 빅데이터 분석 서비스에 적용되는 ‘고담(Go tham)’ 플랫폼

2010년 이후 JP모건을 최초의 민간 고객으로 확보하면서 금융사기 등 다양한 민간 서비스 분석에 필요한 빅데이터 분석 플랫폼 ‘메트로폴리스’를 완성시켰다.

현재 팔란티어는 다양한 형태의 데이터를 통합하는 핵심 플랫폼인 ‘팔란티어 파운드리(Palantir Foundry)’와 도시·공공 문제 해결을 위한 ‘팔란티어 고담(Palantir Gotham)’ 솔루션을 구축하고 있다. 이를 바탕으로 사이버 보안, 금융, 법률, 제조, 기업합병, 보험 분석 등 다양한 영역에서의 분석 예측 서비스를 제공하고 있다.

근본적인 문제에 대한 도전
팔란티어는 빅데이터 분석을 통해 글로벌 차원의 근본적 문제들을 해결하는 것을 미션으로 내세우고 있다. 문제 해결이 하나의 사업 기회가 되기도 하지만 문제 해결을 통해 사회에 기여하는 것에 보다 큰 가치를 두고 있기도 하다.

이것은 스탠퍼드에서 법률박사(J.D)를 취득하고 이어 독일 프랑크프 루트대에서 사회학 박사를 취득한 CEO의 알렉스 카프의 경영철학이기도 하다.

세계 최고 수준의 기술 기업을 경영하는 전문가로서 사회적 문제, 다양한 법률적 갈등을 만들어 내는 문제에 도전하기 를 추구하고 있는 것이다. 팔란티어가 예시로 제안하는 사회적 문제는 아래와 같다.

팔란티어가 제시하는 사회문제 지향적 접근 방식은 신선하다.

문제를 해결하기 위해서는 데이터가 필요하고 양질의 데이터를 확보하기 위해서는 수집과 전처리 기술이 요청된다. 데이터를 정확하고 정밀하게 분석하며 나아가 새로운 통찰력을 얻기 위해서는 다양한 통계적 기법과 인공지능 기술이 뒷 받침되어야 하는 것은 말할 것도 없다. 여기에 고객사가 보장하는 범위에서 다양한 종류의 데이터에 접근할 수 있는 권한 보장 여부가 결과의 품질을 결정한다.

세계적으로 공공데이터의 개방은 늘어가고, 비식별화 기술을 활용한 개인정보의 산업적 활용을 위한 규제 완화의 목소리도 높아가고 있다.

반면, 데이터 활용을 통한 막연한 산업 육성이라는 목표만으로 개방을 위한 개방을 해서는 안 된다는 비판도 공존한다. 명확한 문제와 그것을 해결하는데 있어 데이터의 필요성에 대한 충분한 합의를 토대로 데이터 활용 논의가 전개되어야 보다 실효성 있는 데이터 산업 육성으로 이어질 가능성이 크다.

팔란티어는 인터넷 결제 사기 발견이라는 문제에서 기술 개발이 확장되어 이를 활용해 테러용의자의 색출, 대규모 금융사기 발견 및 위험 예측으로 적용했다. 이 과정에서 기술의 심도와 활용 범위가 넓어지고 지금의 독보적 기술 경쟁력을 갖추게 되었다. 데이터 분석을 전문적으로 하는 스타트업으로 2조 원이 넘는 매출을 올렸고, 20조 원이 넘는 기업 가치 평가를 받는 이유다.

사회 문제를 데이터 산업의 원동력으로 국내 데이터 분석 산업은 금융, 통신과 같은 특정 업종을 제외하고는 활발하지 못하다.

빅데이터 분석에 대한 필요성을 느끼지 못하는 것이 가장 큰 이유이며, 데이터 부족, 경영진 무관심, 성과 불확실성의 이유도 있다. 도입 성공 사례가 많지 않고, 특히 개인정보, 신용정보의 이용 등에 규제가 있다. 또한 빅데이터를 제대로 분석하고 활용할 수 있는 데이터 사이언티스트 인력이 부족한 실정이다.

하지만, 데이터를 활용해 풀 수 있는 사회 문제는 여전히 많다. 특별히 환경, 교통, 범죄, 재난 등 공공 영역에서 다양한 문제들이 존재한다.

이미 싱가포르는 2014년부터 버추얼 싱가포르 프로젝트를 통해 도시 전체를 디지털 트윈으로 만드는 대규모 데이터 플랫폼 구축 사업을 하고 있다. 프랑스 소프트웨어 기업 다쏘시스템이 참여하고 있으며 향후 데이터 개방을 통해 다양한 분석·예측 서비스를 제공할 수 있는 창업 기업을 유도한다는 전략이다.

미국 국토부도 5천만 달러 이상을 투자해 전미 도시를 대상으로 스마트시티 챌린지(SmartCity Challenge)를 실시했다. 이는 각종 도시의 환경 문제, 교통 문제를 풀기 위한 민간 기업의 혁신 아이디어를 모집하고 재정적, 제도적 지원을 병행하는 민관협력 사업이다.

지난 2016년 6월 콜럼버스시가 최종 당선되어 아마존 AWS, AT&T, 모빌아이, GE 등 컨소시엄과 민관협력 방식으로 전기차 기반 스마트 모빌리티 서비스 등 도시의 교통, 환경 문제에 대응하고 있다.

이렇게 다양한 사회 문제 해결을 위한 다양한 데이터 중심의 솔루션들이 모색될 필요가 있으며 그 과정에서 데이터 중심의 스타트업들이 등장하고 국가적 데이터 플랫폼 구축도 가능할 것이다.

그리고 데이터 자본주의 시대에서의 국가 경쟁력은 사회 각 영역에 특화된 팔란티어와 같은 역량 있는 데이터 중심 기업들이 주도하게 될 것이다

하략


https://learn.palantir.com/page/ko

팔란티어 교육(Palantir Learning)

Workshop In this training, you'll learn the fundamentals of building ontology-aware applications in Workshop. 무료 1시간 38분 Video Tutorial English Foundry Required Application Developer

learn.palantir.com


https://youtu.be/KFUckteAat8?si=TYUuMrXNqwG895LM

 
또 다른 기사
https://m.post.naver.com/viewer/postView.nhn?volumeNo=29830204&memberNo=39094895&vType=VERTICAL

미국에서 가장 비밀스러운 기업 ‘팔란티어(Palantir)’

[BY 신동아] 빈 라덴 사살 작전에 빅데이터 분석 서비스 ‘고담’ 제공 ● 美육군, 100만 병력 작전 수행에 ...

m.post.naver.com