본 글에서 AI 컨설턴트인 글쓴이 Alexandre Gonfalonieri는 종종 AI 스타트업이 제공하는 솔루션이 본인 소속 회사에 적합하고 해당 스타트업이 장기적으로 같이 일할 만한 비지니스 파트너인지 판단해야 했다고 합니다. 스타트업과 여러 프로젝트들을 진행한 후 1) Machine learning의 특성으로 인해 약속한 것을 deliver하지 못하거나 2) 좋은 비즈니스 모델을 찾지 못해서 대기업에 인수는 될 수 있지만 독자적인 회사로 성장할 수 없는 스타트업 들을 알아볼 수 있게 되었다고 합니다.
Key Takeaways
- 대기업과 진행하는 pilot project 와는 별개로 scalability에 실패하는 AI 스타트업들이 많음
- AI는 SaaS보다 financial margin이 낮음 (cloud compute time, cleaning the data for training)
- AI 스타트업은 Edge case에 대한 예측이나 관련 데이더 확보가 어려움
- AI 스타트업은 technical diffrentiation보다 business issue로 실패하기가 더 쉬움
- AI 스타트업은 logic behind the result를 고객에게 설명할 수 있어야 함(black box)
- 데이터, 데이터, 데이터
Business Issues
기술적인 관점에서 많은 수의 스타트업들이 zero-shot-learning, GAN, Federated learning 등 새로운 AI 기술들을 시도한다고 하는데 비즈니스를 더 수익성 있게 만드는 과정에서 고생하는 것은 non-tech 스타트업들과 별 차이 없다고 함.
- AI를 특정 비즈니스 이슈(예: machine learning을 이용하여 customer churn 예상)에 사용하는 것은 이미 산업에서 흔하고 경쟁이 매우 치열함.
- 새로 시작하는 대부분의 스타트업들은 대기업과 pilot project를 진행하는 것을 많이 버거워 하는 것을 봄. 다국적 대기업은 협력 전에 아래와 같은 질문들을 하고 이런 due diligence 과정 중에서 스타트업 들은 대기업 관계자를 설득하는데 어려움을 겪음.
- 스타트업이 만드는 솔루션($20,000~ $150,000)은 high-level customization을 요구하며 이는 다른 회사/use case로 재사용 되기 어려움.
글쓴이는 다음과 같은 AI스타트업 들을 신뢰하지 않음
- 100% accuracy를 주장하는 스타트업들
- Autonomous decision making을 할 수 있는 AI를 만들 때 여러 제약사항들을 미리 고려하지 않는 스타트업들
- Edge case(흔치않은 상황)들을 미리 예상하지 못하거나 잘 이해하려고 하지 못하는 스타트업들
- AI 솔루션 제작 후 data drift나 black swan event(Covid-19)에 대비하여서 어떻게 솔루션을 관리할 것인지 언급하지 않는 스타트업들
- 솔루션은 얼마나 자주 업데이트 되는지, 정확성을 위해서 언제 새로운 데이터를 추가할 것인지 등의 질문에 답변하지 못하는 스타트업들
또한 글쓴이는 많은 AI 스타트업들이 초기 투자유치에 성공하고 대기업들과 흥미로운 pilot project를 진행하지만 나중에 확실한 비즈니스 모델을 만들지 못해 scalability에 실패하는 사례들을 많이 목격했다 함. 이와 더불어 AI 스타트업들은 아래과 같은 어려움을 경험한다 함.
이로 인하여 대부분의 AI 스타트업 들이 pilot project와 큰 매출을 기대할 수 있는 scalable product 사이에 균형을 잡기 어려워 함
또한 AI는 margin이 벤치마크인 SaaS보다 낮음 (AI :50-60% / SaaS 60-80%).이는 1) cloud compute time과 2) data를 training을 위해 clean하게 만드는데 드는 인건비 때문으로 추정함.
Machine Learning vs Expectations
모든 AI 솔루션은 불가피하게 edge case를 접할 수 밖에 없으며 모델이 정확할 수록 특정한 edge case에 대한 데이터셋을 구하기 어려움.
글쓴이가 경험한 computer vision 프로젝트에서 S-curve 이후에 시간이 갈수록 정확성을 올리기 위한 비용이 증가한 것을 확인함. 또한 supervised machine learning을 사용하여 프로젝트 시작 후 2주 간의 결과 만을 바탕으로 100% accuracy를 약속하는 스타트업이 결국 마지막에 underperform 한 사례들도 경험함.
Large neural network는 linear mode에 비해서 더 많은 training data가 필요하며 모델의 feature가 늘어날 수록 필요한 데이터의 양은 exponential 하게 늘어남.
트레이닝 데이터가 오류없이 정확하게 label되었고 좋은 모델들이 준비 되었어도 AI 솔루션이 정상적으로 작동하기 위해선 사람이 필요함. 비용 측면에서 AI 사용에 대한 의문을 만들 수 있음.
In reality, a Product Manager is more likely to accept the ML recommendations if the results can be explained
많은 산업이나 use case에서 AI resuit가 나오게 된 logic (algorithm)을 이해하는 능력이 중요함. 고객이 traditional statistical method에 대한 의존성이 높으면 그들이 interpretabiltiy가 낮은 모델을 사용할 확률은 낮음.
글쓴이 회사 또한 자신들의 result를 설명할 수 없는 AI 스타트업과는 추가적으로 일할 수 없었다 함.
Mastering business basics
대부분의 AI 스타트업이 fail하는 것은 대부분 다음과 같은 business basic과 관계 있음
- 시장 진입
- 제품의 value proposition 창조
- 기술적 차별성, scalability, customer traction 확보
AI 산업에서 technical differentiation을 가지는 것은 어려움
- 새로운 model architectures는 open, academic setting에서 개발되고 있음
- pre-trained 모델들은 오픈 소스 라이브러리에 있음
- model parameter는 자동으로 최적화 될 수 있음
마지막으로 데이터는 AI 제품에서 가장 중요하지만 많은 경우 다른 회사들이 소유하는 경우가 많고 public domain에 공개되어 있음.
AI 스타트업으로서 성공하는 것은 매우 어려움. 특히 machine learning이 100% accuracy performance를 보여주어야 하는 use case의 경우..