FriendliAI

Domain

B2B

AI Serving Platform

Country

South Korea

Homepage URL

Last checked date

Reviewed by

View status

Yes

•

 페리플로우 : 클라우드 기반 대규모 AI 모델 학습 및 서빙 솔루션

◦

ex) 이루다 2.0 실시간 서빙 위해 페리플로우 사용

◦

모델 추론에 필요한 병렬 처리 최적화, 병목 현상 최소화

•

어떤 기술이 있는지? 

◦

Orca : Transformer-based Large-scale 모델에 최적화된 추론 서비스

▪

FasterTransformer(NVIDIA)

◦

학습 프로세스 간소화

▪

분산학습, One-click training 등 간편한 학습 솔루션 제공

▪

학습 모니터링 및 자동 복구 기능

•

B2B / API 사용 비용(?)

•

사용 비용 등 가격 비공개

•

PeriFlow Docs

•

대표 : 전병곤 서울대 교수

◦

2016: Facebook (Research Scientist)

◦

2012 – 2013: Microsoft (Principal Scientist)

◦

2007 : University of California, Berkeley, Computer Science 박사

◦

2002 : Stanford University, Computer Science 석사

◦

1996 : 서울대학교 전자공학과 석사 

◦

1994 : 서울대학교 전자공학과 학사

•

Large-scale 모델 추론에 시간, 비용 필요

◦

2020년 경량화/병렬화를 통한 세계 최고 성능의 GPU 추론 엔진을 개발

◦

연구 → 제품으로

•

ChatGPT 등 General한 모델은 fine한 task 수행하는 데 한계있음

•

여러 기업 자체 데이터 이용해 대규모 모델 구축/서빙 

◦

GPU 등 리소스 부족 painpoint 잘 공략

•

AWS, Azure 같은 cloud 환경에서 사용할 수 있다는 장점 

•

인공지능 챗봇 이루다, 이 스타트업 덕에 똑똑해졌다