DeepSeek v4 Flash Vision Exp 를 pi 로 연결해서 이미지 인식 시켜봤는데 잘되네요. DGX Spark 2대로 실행. DeepSeek 은 정말 대단해요 Spark 에서도 별다른 노력 안해도 잘 돌아가는것도 그렇고요.
첫번재 이미지의 @nacyotKim X 글 캡쳐한거 이미지 인식 시킨 결과
Spark 들을 그냥 아래서부터 위로 연속으로 쌓아두는거 사진들 보며 저게 진짜 돌고 있나? 싶은 경우가 많음. 단순히 뭐 하나만 시켜도 발열이 쭉 올라가는��� 그걸 아래서 위로 쌓으면 위쪽 장비들은 계속 온도가 올라갈텐데...
나는 지금 위아래로 쌓으면서도 간격 두고 140mm 팬 달아도 위쪽 장비
DGX Spark 6대 묶어도 GLM 5.3 Flash FP8 제대로 실행하기 쉽지 않네요. 설정을 더 깍으면 될수도 있지만 거기까지 안하려고요.
지금까지 만족한거는 30B 정도의 모델들인데 그정도는 2대로도 어느정도 됬고요.
큰 가중치 가진 모델을 서빙 한다는게 쉽지 않은것 같아요. 30B 가 정말 좋은
