연합뉴스 본문 바로가기 메뉴 바로가기

연합뉴스 최신기사
뉴스 검색어 입력 양식

"슈퍼컴퓨터로 하던 빅데이터 분석 컴퓨터 한 대로 처리"

송고시간2016-07-07 12:00

디지스트 김민수 교수팀 '지스트림 2.0' 개발…"인간 두뇌망 400분의1 분석"

(대전=연합뉴스) 박주영 기자 = 한국연구재단은 대구경북과학기술원(디지스트) 김민수 교수팀이 대용량 그래프 데이터를 컴퓨터 한 대로 처리할 수 있는 '지스트림(Gstream) 2.0' 기술을 개발했다고 7일 밝혔다.

"슈퍼컴퓨터로 하던 빅데이터 분석 컴퓨터 한 대로 처리" - 2

지스트림 2.0은 그래프 빅데이터를 GPU(그래픽 프로세서)와 초고속 저장장치인 PCl-e SSD(솔리드 스테이트 디스크)가 장착된 컴퓨터 한 대로 처리할 수 있는 기술이다.

1초당 최대 20억개의 간선을 처리할 수 있으며, 2천560억개 간선들로 이뤄진 대용량 데이터의 분석이 가능하다.

연구팀은 두 개의 GPU와 두 개의 PCl-e SSD를 장착한 컴퓨터로 320억개 간선 데이터를 500초만에 분석하는데 성공했다.

이는 100조개의 시냅스 간선들로 된 인간 두뇌 신경망의 400분의 1 크기의 신경망 데이터를 처리할 수 있는 기술이다.

수십대의 컴퓨터가 연결된 슈퍼컴퓨터로도 인간 두뇌 신경망의 1천분의 1도 처리하기 어렵다.

인간 두뇌망은 정점들 간 복잡하게 연결된 구조로 돼 있어, 여러 대의 컴퓨터에 나눠 저장할수록 통신비용과 메모리 사용량이 기하급수적으로 늘기 때문이다.

연구팀은 초고속 저장장치를 이용해 컴퓨터 한 대에 데이터를 저장한 뒤, 비동기적 방식(순차적 작업이 아닌 동시 작업 방식)으로 GPU 메모리에 스트리밍함으로써 메모리 사용량 문제를 해결했다.

뇌과학, 인공지능, IoT(사물인터넷) 등 '4차 산업혁명' 기술에 필수적인 대용량 그래프 빅데이터 분석에 활용할 수 있을 것으로 기대된다.

이번 연구는 미래창조과학부 기초연구사업(개인연구)의 지원을 받았다. 연구 성과는 지난달 28일 미국 샌프란시스코에서 열린 데이터베이스 분야 세계적 학술대회 '2016 ACM 시그모드(SIGMOD)'에서 발표됐다.

김민수 교수는 "슈퍼컴퓨터보다 그래프 데이터의 처리 용량과 속도가 훨씬 높다"면서 "뇌과학 및 인공지능 분야에서 사용되는 신경망 형태의 데이터 처리, 대규모 인공신경망 구현 기술 등에 기여할 것"이라고 말했다.

jyoung@yna.co.kr

댓글쓰기
에디터스 픽Editor's Picks

영상

뉴스
댓글 많은 뉴스