로컬에서 돌아가는 경량 vision모델 moondream1

로컬환경에서 돌아가는 경량 모델로 만들어진 vision모델을 소개합니다.
huggingface에서 moondream1이라는 이름으로 공개되어 있습니다.
이미지와 텍스트를 입력 받아서 이미지에 대한 설명 문장을 생성합니다.
Tiny Vision language 모델을 사용하고 있습니다.
파라미터 개수는 1.6억개로 1,750억개인 GPT-3보다
상당히 경량화된 모델이라고 할수 있습니다.
경량화 된 모델치고는 성능이 아주 뛰어났습니다.
제 맥북 환경에서도 충분히 사용이 가능했습니다.
이미지에 대한 정보를 생성하는 목적이라면
충분한 성능이라고 생각됩니다.
아직 영어 이외의 언어로는 사용이 불가능합니다.
GPT의 경우 비젼 모델을 사용하려면 유료 API를 사용하거나
월 20달러의 Plus 플랜을 사용해야 합니다.
huggingface에서 모델을 직접 테스트 해볼수 있습니다.
그리고 고맙게도 github에 로컬에서 모델을
사용할수 있게끔 파이썬 코드가 공개되어 있습니다.
코드 다운로드 하셔서 필요한 라이브러리만 설치하면
바로 모델을 로컬에서 구동할수 있습니다.
간단하게 제 맥북환경에서 구동하는
튜토리얼을 진행해보도록 하겠습니다.
#ai #moondream1 #huggingface #vision

Видео 로컬에서 돌아가는 경량 vision모델 moondream1 канала 프리랜서 개발자