엔비디아 AI 반도체 - A100, H100, GB200

인공지능 산업의 발전으로 가장 큰 수혜를 보고 있는 기업이 있습니다. 바로 미국의 엔비디아입니다. 엔비디아는 최초 고성능 게이밍을 위한 그래픽 카드인 GPU로 사업을 시작하였지만 현재는 인공지능 반도체 제조 기업으로 더욱 주목을 받고 있습니다.  2024년 6월 엔비디아는 전세계에서 두번째로 큰 기업이 되었습니다. 엔비디아가 제작 판매하는 대표적인 인공지능 반도체인 A100, H100, GB200에 대해 알아보았습니다.

 

엔비디아 A100

출처 : 엔비디아 공식페이지

 

엔비디아의 A100 반도체는 2020년 발표된 GPU로써 데이터센터에서 AI, HPC, 데이터 분석을 위해 설계되었습니다. 엔비디아의 암페어 아키텍처를 기반으로 하여 성능과 효율성을 크게 향상 시켰습니다.

 

주요 특징

• 아키텍처 : 암페어(Ampere)
• 메모리 : 최대 80GB의 HBM2e 메모리
• 성능 : FP32 기준 19.5TFLOPS, FP16 기준 312TFLOPS
• 멀티 인스턴스 GPU : 하나의 A100 GPU를 최대 7개의 독립된 인스턴스로 분할하여 사용가능하며 각 인스턴스는 별도의 작업을 처리할 수 있음
• 용도 : AI 트레이닝 및 추론, HPC, 데이터 분석, 클라우드 컴퓨팅

엔비디아 H100

출처 : 엔비디아 공식페이지

 

 

엔비디아의 H100 반도체는 2022년 발표된 GPU로, 호퍼 아키텍처를 기반으로 합니다. H100은 특히 AI모델의 학습과 추론에서 뛰어난 성능을 발휘합니다.

 

주요 특징

• 아키텍처 : 호퍼(Hopper)
• 메모리 : 최대 80GB의 HBM3 메모리
• 성능 : FP32 기준 60TFLOPS, FP16 기준 1000TFLOPS
• 멀티 인스턴스 GPU : A100과 유사하게 하나의 GPU를 여러 개의 인스턴스로 분할 가능
• Transformer 엔진 : 트랜스포머 모델(예시 GPT)의 효율적인 처리를 위한 전용 하드웨어 기능
• 용도 : 대규모 AI 모델 학습, 초거대 언어 모델, HPC, 데이터 분석 등

엔비디아 GB200

출처 : 엔비디아 공식페이

 

엔비디아의 GB200 반도체는 2024년 GTC에서 공개된 모델로서 발매 예정인 최고 성능의 GPU라고 볼 수 있습니다.

전 세대 아키텍처인 호퍼(H100)보다 AI학습은 5배, 전력 대 성능비는 25배가 개선되었습니다. 또한 메모리는 최대 192기가의 HBM3e를 탑재하여, 이전 세대보다 두배 높아진 8TB/s 메모리 대역폭을 제공합니다. 

 

주요 특징

• 아키텍처 : 블랙웰(Blackwell)
• 메모리 : 최대 192GB의 HBM3e 메모리
• 성능 : FP32 기준 180TFLOPS, FP16 기준 10,000TFLOPS
• 5세대 엔비디아 NVLink : 서버클러스터의 GPU 간 빠른 통신 제공, A100 대비 3배 성능
• 멀티 인스턴스 GPU : A100과 유사하게 하나의 GPU를 여러 개의 인스턴스로 분할 가능
• Transformer 엔진 : 트랜스포머 모델(예시 GPT)의 효율적인 처리를 위한 전용 하드웨어 기능
• 용도 : 대규모 AI 모델 학습, 초거대 언어 모델, HPC, 데이터 분석 등