연구소/벤더중요도3/5
Liquid AI의 LFM2.5-230M 온디바이스 추론 지원 확대, llama.cpp·MLX·vLLM 등 지원
Meta AI원본 2026년 6월 28일
한마디로
Liquid AI가 자신의 작은 언어 모델 LFM2.5-230M을 휴대폰이나 노트북 같은 개인 기기에서 바로 실행할 수 있도록 준비했다는 거예요
무슨 내용인가
Liquid AI가 LFM2.5-230M 모델에 llama.cpp·MLX·vLLM·SGLang·ONNX 같은 다양한 프레임워크 지원을 추가했어요. 이 모델은 2억 3천만 파라미터 규모로 설계돼 기기 내에서 추론할 수 있도록 최적화됐습니다. 클라우드 서버 없이도 개인 컴퓨터나 스마트폰에서 직접 AI 모델을 돌릴 수 있게 된 거예요
에디터 노트 · The Brief
230M 파라미터급 모델이 의미 있는 건 정확도가 GPT급이어서가 아니라, 분류·태깅·간단한 요약처럼 정해진 작업을 기기 안에서 끝낼 수 있어서예요. llama.cpp부터 vLLM까지 깔아둔 건 결국 배포 장벽을 없애 PoC를 며칠 단위로 돌려보게 하려는 포석인데, 마케팅 실무에선 첫 고객 응대나 개인정보 마스킹 같은 전처리 레이어에 먼저 붙여보는 게 현실적이에요. 다만 온디바이스라고 프라이버시가 자동 해결되는 건 아니고, 모델이 추론한 결과를 어디로 보내 무엇에 쓰느냐가 규제 판단의 핵심이라 '서버 안 거치니 안전하다'는 마케팅 워딩은 그대로 믿으면 안 돼요.
실무 시사점
온디바이스 추론이 실현되면 데이터 프라이버시 걱정 없이 AI를 쓸 수 있고, 마케팅·CS팀은 사용자 데이터 보호 규제를 더 수월하게 대응할 수 있습니다
태그
용어 풀이
- LFM2.5-230M
- Liquid AI가 만든 2억 3천만 개 파라미터 규모의 경량 언어 모델로, 개인 기기에서 효율적으로 실행되도록 설계됨
- 온디바이스 추론
- 클라우드 서버를 거치지 않고 스마트폰·노트북 등 개인 기기에서 직접 AI 모델을 실행하는 기술
- llama.cpp
- C++로 만들어진 프레임워크로, 개인 컴퓨터에서 대형 언어 모델을 빠르고 효율적으로 실행하게 해주는 도구