DGIST, 새 데이터 기술 개발

[경북도민일보 = 김홍철기자] 　기존 데이터 처리 기술과는 다른 방식으로 데이터를 분석하는 기술이 개발돼 더 많은 데이터를 더 빠르게 처리할 수 있게 돼 앞으로 다양한 활용이 기대되고 있다.
　4일 DGIST 측에 따르면 정보통신융합전공 김민수 교수팀이 기존 기술보다 최대 14배 빠르고 100배 더 많은 데이터를 처리할 수 있는 ‘DistME(Distributed Matrix Engine) 기술’을 개발했다.
　빅데이터 처리가 필요한 기계학습 분야나 대규모 데이터를 분석하는 산업 분야 등에 활용할 수 있을 것으로 보인다.
　기계학습 및 과학기술 분야 등 사회 여러 분야에서 널리 사용하는 데이터 형태는 수(數)들을 행과 열로 표현하는 ‘행렬’ 데이터다.
　이를 분석하는 수많은 기술 가운데‘시스템(System)ML’과 ‘ScaLAPACK’이 가장 뛰어난 기술로 평가받는다.
　그러나 최근 데이터 규모가 증가하며 기존 기술의 처리 능력도 한계에 다다랐다.
　데이터 처리에 필수적인 곱셈 연산의 경우 기존의 방식들로는 빅데이터와 같은 큰 규모의 데이터는 처리가 힘들다.
　이는 기존 곱셈 연산법들은 유동적인 분석·처리가 힘들고 데이터 처리 시 많은 양의 네트워크 데이터 전송이 필요하기 때문이다.
　이에 김 교수팀은 기존과 다른 행렬 곱셈 연산법을 고안했다.
　‘CuboidMM’이라 불리는 이 연산법은 정보를 3차원의 정육면체로 구성해 처리한다.
　기존 곱셈 연산법들은 유동적인 적용이 불가능했으나, CuboidMM은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다.
　추가적으로 김 교수팀은 GPU(Grpahic Processing Unit)를 결합해 정보를 처리하는 법을 고안, 곱셈 연산 성능을 비약적으로 향상시켰다.
　김 교수팀이 개발한 DistME 기술은 CuboidMM을 GPU와 결합해 처리속도를 향상시킨 것으로 ScaLAPACK과 SystemML보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다.
　때문에 향후 온라인 쇼핑몰, 사회관계망서비스(SNS)를 포함한 큰 규모의 데이터를 처리가 필요한 여러 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열 전망이다.