Why is Nvidia still powering China’s model race? Huawei chips face costly software wall
China’s leading model developers still use Nvidia chips because switching to local hardware requires costly software changes.
엔비디아가 여전히 중국의 칩 경쟁을 주도하는 이유는 무엇일까요?
화웨이 칩은 값비싼 소프트웨어 장벽에 직면해 있습니다.
중국의 주요 모델 개발업체들은 여전히 엔비디아 칩을 사용하고 있는데, 이는 국산 하드웨어로 전환하려면 비용이 많이 드는 소프트웨어 변경이 필요하기 때문입니다.
중국 정부가 외국산 반도체를 국산으로 교체하려는 움직임을 보이고 있음에도 불구하고, 중국의 주요 모델 개발업체들은 여전히 최첨단 모델 학습에 엔비디아 칩을 사용하고 있습니다.
문제는 단순히 중국산 칩이 작업 부하를 처리할 수 있는지 여부만이 아닙니다. 하드웨어를 교체한다는 것은 엔비디아의 CUDA 플랫폼을 기반으로 구축된 소프트웨어 시스템도 변경해야 한다는 것을 의미하며, 이는 모델 개발자에게 상당한 비용이 드는 엔지니어링 과제를 안겨줍니다.
화웨이는 자사의 Ascend 칩용으로 자체 개발한 신경망 컴퓨팅 아키텍처(CANN)를 제공하고 있습니다. 하지만 CUDA에 익숙한 개발자들은 Ascend로 학습 워크로드를 옮기기 전에 기존 코드의 상당 부분을 다시 작성하고 최적화해야 할 수도 있습니다.
모델 개발에 참여한 한 연구원은 사우스 차이나 모닝 포스트와의 인터뷰에서 자신의 팀이 사용하는 기존 학습 파이프라인이 CUDA에 의존하고 있어 하드웨어 전환이 결코 간단하지 않다고 밝혔습니다. "CUDA 코드는 Ascend에서 직접 실행될 수 없으며, 대대적인 코드 수정이 필요합니다."
상하이 소재 대학 부설 연구소에서 모델을 개발하는 제임스 왕은 자신의 팀 워크플로우를 화웨이의 어센드 칩으로 이전할 경우 프로세스에 소요되는 시간과 비용이 최소 50% 증가할 수 있다고 추산했습니다.
모델의 개방성 및 지원 소프트웨어 생태계의 성숙도에 따라 부담은 달라집니다. Ascend로 모델 워크로드를 이전하는 데 참여한 베이징의 한 엔지니어는 SCMP와의 인터뷰에서 오픈 소스 모델은 개발자가 기존 생태계 지원을 활용할 수 있기 때문에 더 쉽게 마이그레이션할 수 있다고 말했습니다.
https://www.instagram.com/p/DbM2mtjDb00/
DeepSeek 및 그 간소화 버전과 같은 모델의 경우, 엔지니어는 개발자 두세 명이 약 한 달 정도의 추가 작업으로 전환을 완료할 수 있을 것으로 예상했습니다.
기본 소스 코드가 공개되지 않은 모델의 경우 상황이 훨씬 더 복잡해집니다. 문샷 AI의 키미 K3처럼 가중치는 공개했지만 소스 코드는 공개하지 않은 모델의 경우, 소스 코드 공개를 위해 약 10명의 엔지니어와 6개월 이상의 추가 작업이 필요할 수 있다고 한 엔지니어는 말했습니다.
이러한 격차는 중국의 반도체 자립 추진이 단순히 국내 칩 생산 이상의 의미를 지닌다는 점을 부각합니다. 개발자들은 엔비디아가 CUDA를 중심으로 구축한 생태계와 경쟁할 수 있는 소프트웨어 도구, 라이브러리, 최적화된 워크플로우 또한 필요로 합니다.
훈련이 여전히 가장 어려운 관문
학습과 추론의 차이점 또한 중요합니다. 모델 학습에는 막대한 컴퓨팅 자원이 필요하며, 대규모 클러스터에서 복잡한 워크로드를 반복적으로 실행해야 합니다. 반면 추론은 이미 학습된 모델을 사용하여 새로운 데이터로부터 결과를 도출하며, 일반적으로 다양한 하드웨어에 적용하기가 더 쉽습니다.
중국 개발자들은 이미 일부 고급 모델이 국내 하드웨어에서 작동할 수 있음을 입증했습니다. DeepSeek-V4와 Kimi K3는 화웨이와 알리바바의 시스템을 포함한 중국 플랫폼에 맞게 개발된 것으로 알려졌지만, 두 회사 모두 해당 모델 학습에 사용된 칩을 공개하지는 않았습니다.
7월에 The Information이 보도한 바에 따르면, Kimi K3는 고급 블랙웰 프로세서를 포함한 엔비디아 하드웨어를 사용하여 학습된 것으로 알려졌습니다. 또한 이 보고서는 중국 개발자들이 국내 대안 확대를 위한 노력에도 불구하고 고급 모델 학습에 엔비디아 칩을 계속 사용하고 있다고 지적했습니다.
미국 상원, 9월 15일 CLARITY 법안 표결 실시 White House Official Says Administration Fully Committed to Passing CLARITY Act in September
댓글 없음:
댓글 쓰기