슈퍼컴퓨팅을 활용한 연구로 과학기술 강국 대한민국을 만들어갑니다.

Super Science

누리온 슈퍼컴퓨터로 수행한 초기 우주 천체의 기원
박창범 고등과학원 교수는 2023년 8월 2일 국제천문학계의 최상위 학술지인 ‘천체물리학 저널’(Astrophysical Journal)에 ‘호라이즌런5 시뮬레이션으로 살펴본 활동 은하핵에 미치는 환경 요인(On the Effects of Local Environment on Active Galactic Nucleus(AGN) in the Horizon Run 5 Simulation)’이란 제목의 논문을 출판했다. 2020년 노벨물리학상이 블랙홀 존재를 입증한 세 사람에게 돌아가고, 그 한 해전에는 2019년 ‘사건 지평선 망원경’(Event Horizon Telescope)이 초거대질량 블랙홀의 모습을 직접 관측한 바 있다. 이러한 가운데 한국의 대표적인 천문학자인 박창범 교수가 블랙홀과 관련된 활동성 은하핵에 대한 시뮬레이션 연구 결과를 발표, 대중의 블랙홀에 대한 관심이 높아졌다. HR5 시뮬레이션은 KISTI 혁신지원 프로그램 거대연구 분야의 지원(KSC-2018-CHA-0003, KSC-2019-CHA-0002, KSC-2021-CHA-0012)을 받아 진행된 대표적인 연구다. 박 교수는 당대 최고의 이론천문학자라는 평가를 받는다. 그가 KISTI 슈퍼컴퓨터를 사용하여 어떠한 연구를 진행하고 무엇을 알아낸 것인지 살펴보자. 우주론 표준 모형 현대 우주론은 당대 최고의 천문학자들이 우주의 기원과 현재, 미래를 연구하여 구축한 이론이다. 현대 우주론의 표준 모형은 ‘ΛCDM’이다. Λ(람다)는 우주상수를, CDM은 차가운 암흑물질(Cold Dark Matter)을 가리키며, 이 두 가지가 우리 우주를 이루고 있다는 것이다. 우주 공간은 시간이 갈수록 팽창 속도가 빨라지는 가속 팽창을 하고 있으며, 현대 우주론은 이를 설명하기 위해 미지 에너지인 암흑에너지를 도입하였다. 현대 과학자는 진공이 아무 것도 없는 게 아니고, 에너지를 갖고 있다고 생각하여, 암흑에너지를 그 핵심으로 추측하고 있다. 또한 암흑물질이라는 아직 정체를 모르는 물질이 있고, 그 물질의 운동속도가 빛의 속도에 비해 매우 느리기에 차가운 성질을 가지고 있으며, 잡아당기는 힘, 인력이라는 중력적 특징을 가지고 있다고 생각한다. 그간 박창범 교수는 미국 뉴멕시코 주 아파치 포인트 천문대의 SDSS(슬론 디지털 전천 탐사) 망원경이 관측한 은하의 적색이동 자료를 갖고 연구했다. 적색이동 값을 보면 천체가 지구로부터 얼마나 빠른 속도로 멀어지고 있는지를 알 수 있고, 그 값이 클수록 멀리 있는 천체, 즉 우주 초기에 만들어진 천체를 의미한다. 적색이동 자료를 분석함으로써 은하들이 우주 공간에 어떻게 분포하고 있는지를 알 수 있기에 우리 우주가 어떻게 중력과 팽창이 균형을 이루며 현재 역사를 만들어 왔는지 확인할 수 있다. 젊은 천문학자들과의 공동 연구 박창범 교수는 2000년대 초 우주공간팽창 역사를 알기 위한 연구를 본격적으로 시작했다. 그는 우주가 진화해도 은하들이 공간에 분포하는 모양은 통계적으로는 크게 변하지 않는다는 사실을 발견하고, 이로부터 공간팽창률을 측정하는 방법을 고안했다. 국내외 유명 대학교에서 갓 학위를 받은 젊은 박사들과 국내 출연연 소속 연구원들과 함께 연구를 진행하여, 앞서 개발한 은하분포 측정법과 우주상수의 상태방정식 값을 측정하는 알콕-파친스키 측정법을 결합한 방법을 개발, 관측 자료에 적용하였다. 하지만 은하 공간 분포에 담겨 있는 정보를 최대한으로 사용하지 못하는 한계가 있어, 수년 간 측정법 개량을 거듭한 끝에, 비로소 모든 관측 자료에 적용하여 분석할 수 있게 되었다. 알콕과 파친스키의 초기 아이디어에 그의 아이디어를 결합하고 이를 실제로 구현함으로써, 은하들의 공간분포 자료만으로 우주 모형을 검증하는 새로운 방법을 찾아낸 것이다. 그리고, “이 방법의 효용을 검증하기 위해서는 시뮬레이션을 수행하여 비교, 분석하는 것이 중요하다.”라며 박창범 교수는 슈퍼컴퓨터 이용한 우주론 시뮬레이션이라는 새로운 연구를 시작하였다. KISTI 슈퍼컴퓨터로 관측 자료 검증 박창범 교수는 “모든 관측 데이터는 지저분하다. 간접적인 선택 효과들이 복잡하게 얽혀 있기 때문이다”라며 “관측에서 발생하는 시스템적인 왜곡 효과를 보정하기 위해 관측 과정을 정교하게 시뮬레이션해봐야 한다.”라고 말한다. 정확한 시뮬레이션이 없으면 관측의 왜곡을 보정하지 못하기에 그는 KISTI 연구지원 사업의 하나인 ‘KISTI R&D 혁신지원 프로그램’에 지원하였고, 누리온 슈퍼컴퓨터 이용 시간울 제공받아 관측 결과를 검증할 수 있는 시뮬레이션을 수행하였다. 이것이 바로 우주 거대 구조 생성 시뮬레이션, ‘HR’이다. 2007년 HR1을 시작으로, HR2, 3, 4, 5, 그리고 2021년 HR+에 이르기까지 매 단계마다 당대에 가장 큰 우주 거대 구조의 진화를 볼 수 있는 시뮬레이션이었다. HR1~4는 다체(N-body) 시뮬레이션으로 우주에 N개의 물체가 있다는 가정하에 우주 진화 모형을 연구했으며, HR1에서 HR4로 넘어갈 때마다 입자 수를 늘려나갔다. 입자 수가 많을수록 우주 진화 모형의 정확도가 올라가기 때문이다. 하지만, 입자의 중력만으로는 은하보다 작은 규모의 별 생성 과정까지 살펴볼 순 없었다. 이를 보완하고자 후속 연구인 HR5와 HR+에는 유체 역학을 추가했다. 박창범 교수 연구진은 중력과 유체역학을 같이 보는 거대 규모의 우주 진화 시뮬레이션을 이번에 처음으로 수행했고, 이 역시 세계 최대 규모이다. 그는 “HR4까지는 물질 분포의 요동을 입자의 중력만으로 표현했다. 기체는 없다.”라면서 “HR5는 중력의 특징을 가진 입자에, 기체와 별 생성 과정을 모두 포함하였기에 관측과 정확한 비교가 가능했다.”라고 본 연구의 중요성을 이야기한다. HR은 매번 세계 최대의 우주 진화 시뮬레이션이 되었으며, 이는 KISTI가 우수한 슈퍼컴퓨터 자원을 확보하고 있기에 가능했다. 2018년에 구축한 누리온은 25.7페타플롭스(PFlops)의 계산 능력을 갖고 있다. 플롭스는 초당 수행할 수 있는 연산 횟수(부동소수점 연산)이고, 페타플롭스는 초당 1000조 번 연산을 할 수 있다. 박창범 교수는 “이 시뮬레이션을 수행하기 위해 KISTI 슈퍼컴퓨터 전체 능력의 4분의 1을 단독으로 사용했다. 이러한 규모의 슈퍼컴퓨터 자원을 지원받지 못했다면 불가능했다.”라며 KISTI의 지원에 감사를 표했다. 국내 연구자가 세계적인 연구 성과를 내려면 KISTI가 더욱 강력한 슈퍼컴퓨터 자원을 확보해야 하는 이유를 그에게서 확인할 수 있다. 이같은 거대 규모의 시뮬레이션을 할 때는 연구자가 항상 현장에 있어야 한다. HR5를 수행하기 위해서 누리온 슈퍼컴퓨터의 코어 17만 개를 사용하였고, 이는 개인용 컴퓨터(평균 10코어 내외)의 만 배가 넘는 규모로 병렬계산 방법을 이용해 진행한다. 슈퍼컴퓨터를 돌리다보면 간혹 오류가 발생하여, 문제가 생긴 코어로 인해 다른 코어들도 계산 수행을 못하는 문제가 있다. 그래서 더 큰 문제로 번지기 전에 시스템을 안전하게 재가동해야 한다. 그래서 공동 연구자인 이재현 박사(한국천문연구원)와 김용휘 박사(KISTI 선임연구원)가 밤새 자리를 지켰다. 여기서 그치지 않고, 시뮬레이션이 끝나 자료를 얻어내면 그걸 KISTI가 관리하는 10Gbps 네트워크 속도를 가진 국가과학기술연구망(KREONET)을 이용하여 빠르게 옮겨와 분석 작업을 해야 했다. 이는 고등과학원 내 거대수치계산연구센터 김주한 연구교수가 맡았다고 한다. 연구 수행 당사자 뿐만 아니라 수행기관, 지원기관 모두의 노력이 없었다면 값진 성과를 얻어낼 수 없었을 것이다. [HR5 결과를 축약해서 보여주는 그림 - 좌측부터 동일한 지역의 a) 암흑물질, b) 별, c) 기체, d) 기체온도, e) 중금속 함량. 별이 많이 모여있는 특정 두 지역을 중심으로 물질들이 거미줄처럼 연결되어 있다, 은하(별의 집합)가 많이 모여있는 “은하단 (Galaxy Cluster)”영역이라 하며, 거미줄 부분이 “필라멘트 (Filament)”, 그리고 비어있는 것처럼 보이는 영역을 “공동 (Void)”이라고 부른다.] [그림 3. (좌-상) HR5와 DEVILS 관측 내 활동성 은하핵(AGN) 표본 비교, (좌-하) 관측 시점에 따라 다르게 보이는 AGN 특성에 따라 HR5 내 표본을 밝기에 따른 형태 비로 나타낸 그림. 두 표본이 오차 내에서 일치해야만 본 연구에서 사용한 표본의 정당성을 확보할 수 있다. (우) 주변 환경과의 연관성을 확인하기 위해 AGN 근처 영역의 기체 밀도를 나타낸 모습. 은하단이 가장 높은 밀도를 보이며, 필라멘트, 공동 영역 순으로 낮아진다.] HR 시뮬레이션의 무궁무진한 활용 세계 최대 규모 우주론 시뮬레이션 HR은 1.5 페타바이트1) 규모의 우주 천체 자료를 담고 있다. 박창범 교수는 본 연구 이전에도 우주 초기 은하 구조의 기원을 밝히는 연구, 초기 은하들이 모여 이루어진 원시 은하단의 특성에 대한 연구 등 수 차례 천체물리학 저널에 논문을 발표하였다. 이 모든 연구는 138억년 우주 역사 동안 형성된 천체들의 세세한 물리적 특징을 담은 방대한 양의 시뮬레이션 자료를 독자적으로 갖고 있기에 가능했다. 현재 천문학자들은 제임스웹 우주망원경(JamesWebb Space Telescope, JWST), 거대 마젤란 망원경(Giant Magellan Telescope, GMT)나 대형 시놉틱 관측 망원경(Large Synoptic Survey Telecope, LSST) 등 고성능 망원경으로부터 엄청난 양의 관측 자료가 쏟아지는 시기에 살고 있다. 아쉽게도 그가 수행한 HR은 물론 우주론 시뮬레이션 분야는 관측 천문학만큼 전세계적으로 뜨거운 반응을 불러일으키지 못하고 있다. 전세계 여러 수치계산그룹이 다양한 연구 성과를 발표하고 있지만, 새로운 결과는 항상 끝없는 검증을 거쳐야 비로소 사람들의 인정을 받기 때문이다. 그의 우주론 연구의 운명은 어떠할까? 우주론을 뒤흔드는 위대한 발견의 첫 단초가 될 수 있을까? 이는 시간이 말해줄 것이다. [읽을 거리] 박창범 교수의 2023년 8월 2일자 ApJ 논문, 제목은 ‘호라이즌 런 5 시뮬레이션에서 살펴본 활동성 은하핵에 미치는 환경적 요인(On the Effects of Local Environment on Active Galactic Nucleus (AGN) in the Horizon Run 5 Simulation)’ ‘호라이즌 런 5’ 최초 논문, 2021년 2월 8일자 ApJ 발표, ‘The Horizon Run 5 Cosmological Hydrodynamical Simulation: Probing Galaxy Formation from Kilo- to Gigaparcec Scales’

누리온

  • 개요계산 노드, CPU-only 노드, Omni-Path 인터커넥트 네트워크, Burst Buffer고속 스토리지, Lustre기반의 병렬파일시스템, RDHx (Rear Door Heat Exchanger) 기반의 수냉식 냉각장치로 구성된 시스템
  • 서비스'18년부터 서비스 개시
  • 계산용량8,305개의 인텔 제온파이 프로세서(코드명 "Knight Landing") 계산 노드와 132개의 CPU-only노드(인텔 제온 프로세서 Skylake)로 구성. 이론성능은 25.7PF

뉴론

  • 개요누리온 시스템이 Knight Landing 기반으로 결정됨으로 GPU 기반의 시스템 운영을 통한 사용자의 다양한 수요 대응
  • 서비스’19 부터 서비스 개시, 5호기와 파일시스템 공유, 차세대 신기술(FPGA, AMD EPYC, Optane 등) 지속적으로 채택/확장
  • 계산용량서버 노드 65개, GPU 260개, 이론 성능 3.53PF

슈퍼컴퓨터 사용현황

  • 점검 상태 :
  • 누리온(Nurion)
  • 뉴론(Neuron)
  • 활용 노드 수 node 활용 노드 수
  • 유휴 노드 수 node 유휴 노드 수
  • 점검 노드 수 node 점검 노드 수
  • 활용 노드 수 node 활용 노드 수
  • 유휴 노드 수 node 유휴 노드 수
  • 점검 노드 수 node 점검 노드 수