AM-Thinking-v1 32b 능력 테스트 (ft. 허깅페이스 인퍼런스 엔드포인트)

AM-Thinking-v1 32b 능력 테스트 (ft. 허깅페이스 인퍼런스 엔드포인트)

이 모델은 중국의 AM이라는 회사에서 개발한 모델입니다.
AM은 중국의 온라인 부동산 사이트 같습니다.

32b 사이즈의 초강 성능을 자랑하고 있습니다.

이번 영상에서는 32b의 모델을 허깅페이스 인퍼런스 엔드포인트에서 테스트해봤습니다.
유료로 GPU를 사용할 수 있는 서비스입니다.
이 서비스는 시간당 과금이 되기 때문에
추론 기능이 있는 모델은 시간이 많이 걸려서 비용이 많이 나올 수 있습니다.

00:00 오프닝 및 소개 (샤오미,MImo)
04:37 논리,수학,코딩 테스트 시작(ft. 허깅페이스 인퍼런스 엔드포인트)
05:01 중간 크기 LLM 실행 방법(ft. Grok3)
07:14 인퍼런스 엔드포인트 가격 정책
09:17 인퍼런스 API와의 차이점
09:48 log, usage & cost
10:17 주의 : 테스트 창 떠나면 inference 사라짐
10:36 모델을 공개한 AM이라는 조직
11:53 허깅페이스 인퍼런스 엔드포인트가 편한 점.
12:11 주의 : max token 값 적절하게 키워야 함.
15:45 엔드포인트 설정 항목
16:33 Nvidia L3 GPU 소개
27:21 중간 비용 체크
29:28 주의 : 엔드포인트 Test 코드 복사시 줄바꿈 안됨.
34:13 총 소요 시간 및 비용
34:29 엔드포인트 삭제
35:23 테스트 결과 및 마무리


HuggingFace a-m-team/AM-Thinking-v1
https://huggingface.co/a-m-team/AM-Thinking-v1

HuggingFace Inference Endpoints
https://huggingface.co/docs/inference-endpoints/index

테스트 결과 시트 공유
https://docs.google.com/spreadsheets/d/1l2LVcFs5DlIiDrkMmHht1004iZRFzClkEp8agy0KiHA/edit?gid=1278489464#gid=1278489464

#AI #인공지능 #AM-thinking-v1 #AM-team #HuggingFace #chatGPT #Grok #Claude
#토목구조기술사 #토질및기초기술사 #토목시공기술사
#도로및공항기술사 #철도기술사 #농어업토목기술사 #수자원개발기술
#상하수도기술사 #측량및지형공간정보기술사 #항만및해안기술사 #도시계획기술사

Видео AM-Thinking-v1 32b 능력 테스트 (ft. 허깅페이스 인퍼런스 엔드포인트) канала 토목엔지니어 돌종