Extra Form
링크 http://추천을 하고 댓글을 작성...됩니다.

 

키노트 영상

 

1.jpg

 

NVIDIA가 암페어 아키텍처 기반 하이엔드 GPU인 A100을 발표했습니다. TSMC 7nm 공정의 고급형 GPU로, 다이 크기는 826제곱mm로 볼타와 거의 같으며, 트랜지스터 수는 540억개로 볼타의 2배 이상, 메모리는 HBM2에 6144비트, 6개의 HBM 스택을 GPU에 연결하며 대역폭은 1.6TB/s, 용량은 40GB입니다. 현재 나온 칩 중에서 가장 큰 규모지요.

 

2.jpg

 

NVIDIA는 GTC 2020의 기조 강연을 통해 젠슨 황 CEO가 암페어에 대해 설명했습니다. 하이엔드 GPU는 GPU 컴퓨팅 시장을 우선 공략하나 나중에 그래픽카드 시장에도 진출합니다. 이번에 나온 제품은 우선 데이터센터를 공략하는 GPU 컴퓨팅용 제품입니다. 

 

nR6YHLyS0UyEGDvh.jpg

 

 

A100은 연산 성능이 높습니다. SM이 108개, 벡터 유닛은 FP32 쿠다 코어가 6912개, FP64는 3456개로, FP64에서 9.7TFLOPS, FP32에서 19.5TFLOPS의 성능을 내며 클럭은 최고 1.4GHz입니다. 

 

3.jpg

 

 

NVIDIA GPU는 볼타부터 딥 러닝을 위한 텐서 연산 유닛인 텐서 코어를 탑재합니다. GPU는 기본적으로 벡터 연산을 수행하나, 텐서 코어를 결합해 딥 러닝 성능을 대폭 향상시켰습니다. 암페어 역시 마찬가지입니다. NVIDIA A100의 텐서 코어는 432개로 SM당 4코어씩 배치됩니다. 볼타는 8코였으니 텐서 코어 수가 줄어든 것처럼 보이지만 그 배치 방식이 바뀌었습니다. 볼타는 SM의 프로세싱 블럭에 16x16 텐서 유닛이 들어가고, 엠페어는 16x32입니다. 

 

4.jpg

 

암페어의 텐서 코어는 달라진 부분이 몇 가지 있습니다. 우선 데이터 정확도에 BFloat16과 Tensor Float32이 추가됐습니다. BFloat16은 신경망에서 사용을 전제로 제안하는 새로운 부동소수점 형식입니다. 기존의 IEEE 754 부동 소수점은 FP32(32비트 단정밀도 부동소수)가 Sign 1비트, Exponent 8비트, Mantissa 23비트로 구성됐고, FP16은 Sign 1비트, Exponent 5비트, Mantissa 10비트였습니다. BFloat16은 Sign 1비트, Exponent 8비트, Mantissa 7비트가 됩니다. 데이터 크기는 FP16과 같지만 확장 범위-다이나믹 레인지는 FP32와 같아, 넓은 확장이 중요한 경우에 적합합니다.

 

Tensor Float32는 Sign 1비트, Exponent 8비트, Mantissa 10비트입니다. 19비트 길이의 다이나믹 레인지는 FP32와 같으나, Mantissa의 데이터 정확도는 FP16과 같습니다. FP32의 다이나믹 레인지를 도입하면서 FP16 수준의 정확도를 지키는 형식입니다. 암페어는 FP16 외에도 BF16, TF32, Int8, Int4, FP64 등을 지원합니다.

 

5.jpg

 

암페어의 텐서 코어는 딥러닝의 추론 처리에서 전력 효율을 높여주는 Pruning 처리를 하드웨어적으로 지원합니다. sparse 네트워크를 정리해 효율적으로 실행하는 하드웨어를 내장합니다. 그 결과 sparse 네트워크의 실행 성능은 최대 2배가 됩니다. 

 

6.jpg

 

SM 수를 늘리고 새로운 데이터 포맷을 도입하며 sparse 제어를 지원하면서 암페어의 딥 러닝 성능은 크게 발전했습니다. 텐서 코어의 BF16과 FP16 성능은 312TFLOPS, sparse 사용 시 2배인 624TFLOPS. TF32의 성능은 평상시 156TFLOPS, sparse 에서 312TFLOPS. INT8의 정수 연산 성능은 624TOPS, sparse에서 1248TOPS가 됩니다.

 

 

7.jpg

 

볼타 아키텍처는 추론 단계의 성능이 약했으나, 암페어는 추론과 학습 모두가 강화됐습니다. 볼타 V100과 비교해서 암페어 A100은 BERT 신경망 교육에서 6배, 추론 단계에서 7배의 성능을 냅니다.

 

 

또 암페어는 텐서 코어에서 FP64도 지원합니다. 벡터의 FP64는 9.7TFLOPS의 성능을 내지만, 텐서 코어의 FP64는 19.5TFLOPS로 FP16의 벡터 연산과 같은 수준의 성능을 냅니다. 앞으로 더 많은 분야에 활용하는 것을 염두에 둔 확장입니다.

 

8.jpg

 

그리고 GPU 칩의 리소스를 분할해 다른 인스턴스를 병렬 실행하는 멀티 인스턴스를 지원합니다. 최대 7개의 인스턴스를 하나의 칩에서 실행합니다. NVIDIA GPU가 지금까지 큰 작업을 칩 전체에서 수행하는데 집중했다면, 암페어는 작은 작업을 병렬 실행하는 방향으로 전환하고 있습니다.

 

 

9.jpg

 

A100을 탑재한 GPU 컴퓨팅 시스템인 DGX A100입니다. 8개의 NVIDIA A100 GPU가 들어가고.

 

 

11.jpg

 

12.jpg

 

2개의 64코어 AMD 에픽 로마 CPU, NVLink 스위치인 NV스위치 6개로 구성됩니다. PCIe 4.0과 코어 수 때문에 AMD 에픽을 사용한 듯 합니다. 시스템 전체 성능은 FP16에서 5PFLOPS, 가격은 199,000달러입니다.

 

14.jpg

 

그리고 AI 플랫폼 보드인 NVIDIA EGX A100입니다. 엣지 사이드의 딥 러닝을 위한 제품입니다. 

 

duNvSAs4ZdVl8JV9.jpg

 

NVIDIA가 인수한 멜라눅스 커넥트의 스마트 네트워크 인터페이스 컨트롤러입니다. 업계 최초로 25Gb/s의 연결을 지원합니다. 25Gb/s 포트 두개가 있으며 합쳐서 50Gb/s로 운용도 가능. PCIe 3.0/4.0 x8로 연결합니다. 

 

VLsdkOj4n2TiUrRp.jpg

 

 Jetson Xavier NX 개발자 키트입니다. 클라우드를 네이티브 지원하는 AI 애플리케이션 가속 플랫폼입니다.

 


하드웨어 갤러리

포인트 지급 글 작성(5점) / 댓글(2점) 권한 조회(Lv.0 이상) / 작성(Lv.1 이상)

List of Articles
번호 분류 제목 글쓴이 조회 수
Hot글 일반/잡담 써멀구리스 추천받고 싶습니다. 1 ㅇㅇ 1492
Hot글 롤 프레임 질문있습니다 2 file ㅇㅇ 1500
Hot글 3500x 기본쿨러로 버티기 힘든가요?? 1 ㅇㅇ 1508
4851 하드웨어팁 cpu와 쿨러방열판이 합체되었을 때 분리하는 법 file ㅇㅇ 11
4850 정보 추가) 뉴 월드의 베타 버전을 플레이하면 그래픽카드가 죽는다? file ㅇㅇ 21
4849 정보 Neo Forza, DDR4-5000와 DDR4-4600 메모리 키트 발표 file ㅇㅇ 13
4848 정보 2021.07.22 02:12 크루셜 P5 플러스. PCIe 4.0 SSD file ㅇㅇ 13
4847 정보 코어 i9-12900K QS, 시네벤치 R20에서 5950X보다 높음 ㅇㅇ 16
4846 정보 라이젠 3 5300G, FCLK 2.4GHz로 오버클럭 file ㅇㅇ 13
4845 정보 라데온 RX 6600 XT의 사진 유출 file ㅇㅇ 13
4844 일반/잡담 중국 최초의 12인치 웨이퍼 재생시설이 양산에 성공 ㅇㅇ 18
4843 일반/잡담 v file ㅇㅇ 11
4842 일반/잡담 인텔 Xe DG1 그래픽의 벤치마크 file ㅇㅇ 11
4841 일반/잡담 14코어 알더레이크-P의 긱벤치 결과 ㅇㅇ 13
4840 일반/잡담 지포스 RTX 40, 에이다 러브레이스가 TSMC 5nm로 제조 ㅇㅇ 17
4839 일반/잡담 Loongson 3A5000 프로세서 정식 발표 file ㅇㅇ 16
4838 일반/잡담 메테오레이크의 후속작, 루나레이크 ㅇㅇ 14
4837 일반/잡담 인텔 2021년 2분기 실적 발표 file ㅇㅇ 14
4836 파워컬러, 24개의 라데온 RX 6600 XT/6600을 등록 file ㅇㅇ 14
4835 일반/잡담 씨게이트, 앞으로 몇 달 안에 20TB PMR 하드를 대량 출시 file ㅇㅇ 15
4834 정보 Puget 시스템, 인텔보다 AMD 프로세서를 더 많이 판매함 file ㅇㅇ 13
4833 일반/잡담 2700x vs 8700K 성능차이 비교하기 file ㅇㅇ 13
4832 정보 ASRock Industrial, NUC 6000 BOX, iBOX 6000 및 NUC 6000 마더 보드 공개 file ㅇㅇ 979
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 243 Next
/ 243
위로