뉴론(NEURON)
시스템 운영 목적
- 5호기 시스템이 Knight Landing 기반의 시스템으로 결정됨으로 GPU 기반의 시스템 운영을 통한 사용자의 다양한 수요 대응
- 대형 메모리 필요 작업 수요 충족을 위한 대용량 메모리 노드 운영
- ’19.5 서비스 개시, 5호기와 파일시스템 공유, 차세대 신기술(FPGA, AMD EPYC, Optane 등) 지속적으로 채택/확장
| 2018년 | 2019년 | 2020년 | 2021년 | 2022년 | |
|---|---|---|---|---|---|
| 서버 | 44대 | 63대 | 78대 | 59대 | 65대 |
| GPU | 53개 | 99개 | 163개 | 200개 | 260개 |
| 성능 | 312.78TF | 698.8TF | 1.24PF | 2.34PF | 3.53PF |
시스템 구성
시스템 구성도
계산노드
GPU 노드
| 구분 | 내용 | |
|---|---|---|
| 모델 | Lenovo nx360-m4 | |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) | |
| 노드수 | TESLA V100 | 7개 노드 (1노드당 2 V100 카드 탑재) |
| CPU | Intel Xeon Ivy Bridge (E5-2670) / 2.50GHz (10-core) / 2 socket | |
| 메인 메모리 | 노드 당 128GB DDR3 Memory | |
| 구분 | 내용 | |
|---|---|---|
| 모델 | HP Apollo 6500 Gen10 | |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) | |
| 노드수 | TESLA V100 | 15개 노드 (1 노드당 4 V100 카드 탑재) |
| TESLA V100 (NVlink) |
4개 노드 (1 노드당 4 V100 카드 탑재) | |
| CPU | Intel Xeon Cascade Lake (Gold 6230) / 2.10GHz (20-core) / 2 socket | |
| 메인 메모리 | 노드 당 384GB DDR4 Memory | |
| 구분 | 내용 | |
|---|---|---|
| 모델 | Fujitsu GX2570M5, RX2540M5 | |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) | |
| 노드수 | TESLA V100 | 5개 노드 (1 노드당 2 V100 카드 탑재) |
| TESLA V100 (NVlink) |
5개 노드 (1 노드당 8 V100 카드 탑재) | |
| CPU | Intel Xeon Cascade Lake (Gold 6226R) / 2.90GHz (16-core) / 2 socket | |
| 메인 메모리 | 노드 당 384GB DDR4 Memory | |
| 구분 | 내용 | |
|---|---|---|
| 모델 | HP Apollo 6500 Gen10 Plus | |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) | |
| 노드수 | TESLA A100 | 2개 노드 (1 노드당 4 A100 카드 탑재) |
| TESLA A100 (NVlink) |
14개 노드 (1 노드당 8 A100 카드 탑재) | |
| CPU | AMD EPYC 7543 / 2.80GHz (32-core) / 2 socket | |
| 메인 메모리 | 노드 당 1TB DDR4 Memory | |
CPU_only 노드
| 구분 | 내용 |
|---|---|
| 모델 | Dell R640 |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) |
| 노드수 | 10개 노드 |
| CPU | Intel Xeon Skylake (Gold 6140) / 2.30GHz (18-core) / 2 socket |
| 메인 메모리 | 노드 당 192GB DDR4 Memory |
대용량 메모리 노드
| 구분 | bigmem01 | bigmem02 | bigmem03 |
|---|---|---|---|
| 모델 | Oracle X4480M2 | Fujitsu RX4770 M3 | Supermicro SYS-2029U-TR4 |
| 운영체제 | CentOS 7.9 (Linux, 64-bit) | ||
| 노드수 | 1개 노드 | 1개 노드 | 1개 노드 |
| CPU | Intel Xeon Westmere (E7-4870) / 2.40GHz (10-core) / 4 socket |
Intel Xeon Broadwell (E7-4830) / 2.00GHz (14-core) / 4 socket |
Intel Cascade Lake (Gold 6246) / 3.30GHz (12-core) / 2 socket |
| 메인 메모리 | 노드 당 512GB DDR3 Memory | 노드 당 768GB DDR4 Memory | 노드 당 1.5TB Optane Persistent Memory |
스토리지 구성도
Neuron 스토리지는 HPE ClusterStor E1000 모델로 3개의 Disk Array와 4개의 Storage Controller(MDU, SMU, SSU 2대)로 구성되어 있음. 병렬분산파일시스템인 Lustre를 이용하여 구성되어 있으며 실제 가용 용량은 약 3PB이다. 단일 파일시스템에 홈 디렉터리(/home01), 어플리케이션 디렉터리(/apps), 스크래치 디렉터리(/scratch)가 나누어 설정되어 있으며, 로그인 노드(Login Nodes), DM노드(DataMover Node), 계산노드(Computing Nodes)에 마운트 되어있음.
| 병렬파일시스템 (Lustre) |
파일시스템 | Lustre 2.12.6 |
|---|---|---|
| 전체 가용 용량 | 3PB | |
| 대역폭 | 50 GB/s | |
| RAID 구성 | GridRAID |