“지난해 3월 10일에는 북한의 정전협정 백지화 등 도발 소식이 그날의 이슈가 됐습니다.”

연세대 문헌정보학과 대학원생 배정환(32) 씨가 노트북 화면속에 크고 작은 타일처럼 배열된 색색의 사각형 중 파란색 하나를 클릭했다. ‘북한’ ‘전쟁’이라는 키워드가 들어 있던 사각형이 천천히 확대되면서 ‘정전협정’ ‘도발’ 과 같은 키워드가 추가로 나타났다.

모니터 화면에 비치는 타일형 화면(트리맵·TreeMap)의 면적은 해당 키워드의 출현 빈도를 나타낸다. 면적이 클수록 트위터에 많이 등장했다는 뜻이다. 색상은 분야마다 다르다. 파랑의 키워드는 사회다. 보라는 일상, 연두는 스포츠, 노랑은 연예, 빨강은 정치를 가리킨다고 했다.

“출현 빈도가 높은 키워드를 찾아내는 것뿐 아니라 관련 있는 키워드끼리 묶어서 스토리를 나타낼 수 있어요. 그날 소셜미디어의 주요 트렌드도 한눈에 알아볼 수 있고요.”

배 씨는 지난해 12월 18일 대학원 동기 한남기(26) 씨, 문헌정보학과 4학년 홍예리(23) 씨와 함께 한 팀으로 ‘2013 빅데이터 분석 경진대회’ 시상식에서 대상을 수상했다. 미래창조과학부와 한국정보화진흥원이 공동 주최한 이 대회에는 고등학생·대학생·일반 등 개인과 단체 489개 팀이 참가했다.

‘빅데이터 분석 경진대회’는 KT와 다음소프트에서 과제를 하나씩 제시한 뒤 참가자들이 그 중 하나를 선택해 한 달간 빅데이터를 분석, 답안을 내는 식으로 진행됐다. KT가 ‘개봉영화의 흥행 예측’, 다음소프트가 소‘ 셜미디어를 통한 트렌드 분석’을 냈다.

한 팀으로 참가한 세 사람은 경진대회 전까지 서로 잘 아는 사이는 아니었지만, 제자들의 재능을 눈여겨본 지도교수 송민 부교수(연세대 문헌정보학)의 권유로 힘을 합치게 됐다고.

가장 연장자인 배 씨가 리더가 되어 이번 경진대회 참가에 필요한 모든 것을 준비하고 진행했다. 한 씨는 소셜미디어 트렌드분석 과제 수행에 필요한 빅데이터 분석 프로그램을 직접 만들었다. 막내 홍 씨는 사회적 이슈를 분석하고 언어화하는 데 안목이 있었다.

서로 다른 개성과 전문 분야가 어우러진 이들은 지난해 11월 초순부터 3주간 트위터 이용자들이 작성한 글과 리트윗을 담은 빅데이터 분석에 매달렸다.

배 씨와 한 씨는 키워드 분석을 통해 연관성 높은 주제를 도출하는 ‘토픽 모델링’ 기술을 적용한 프로그램을 만들고, 이를 통해 날짜별로 50개씩 화제(토픽)를 뽑아냈다.

하지만 컴퓨터가 기계적으로 찾아낸 50개의 화제 가운데에는 실제로 의미 없는 화제가 많았다. ‘ㅋㅋㅋ’(웃음소리의 초성만 표기한 것), ㅇ‘ ㅇ’(예예의 초성) 같은 표현과 “배고파” 같은 단순 넋두리들이었다.

홍 씨가 일일이 해당 날짜의 주요 이슈를 인터넷에서 검색·대조해 가며 유의미한 화제 10개를 선별했다. 이를 통해 트위터 이용자들의 관심사가 크게 5개 분야(일상·스포츠·사회·연예·정치)로 나뉨을 발견했다.

이 과정에서 문제에 봉착했다. 바로 신조어·유행어였다. 소셜미디어 빅데이터에는 기존 사전에 없는 신조어와 유행어가 많았다. ‘소녀시대’ ‘인피니티’ 같은 아이돌 그룹명은 연예분야 주요 키워드지만, 기존 사전에는 일반명사로 등재돼 있거나 아예 누락되어 있다.

세 사람은 위키피디아로 눈을 돌렸다. 네티즌이 참여하는 개방형 백과사전인 위키피디아에는 신조어나 유행어가 가장 빨리 업데이트되며, 데이터도 무료로 공개된다. 이들은 위키피디아를 참고해 좀 더 정확한 결과를 도출할 수 있게 됐다.

“위키피디아 용어 분석 통해 높은 완성도 보였다”

결과물을 한눈에 보기 쉽게 다듬는 일에도 힘썼다. 날짜별 10개의 화제를 빈도·관심도에 따라 나열하고 날짜 변동에 따라 등락 추이를 살펴볼 수 있도록 시각화했다. 타일형 화면도 그 중 하나다. 경진대회 심사위원단은 배 씨 등이 제출한 답안에 대해 “분석 정확도를 높이기 위해 위키피디아 용어를 분석하고, 노출 빈도뿐만 아니라 관심 정도까지 분석해 높은 완성도를 보였다”고 평했다.

이번 경진대회에서는 대상 수상자인 배 씨 등과 함께 최우수상 수상자인 황준호(덕수고·개인분야), 강지훈·박찬희·도형록(고려대) 등 모두 11개 팀이 상을 받았다. 이들에게는 상금뿐 아니라 전원 인턴십 제공 등 취업 연계도 지원된다.

배 씨 등은 이번 대회 수상으로 상금 이상의 것을 얻었다고 했다. ‘디지털 블루오션’ 빅데이터 분야에 매진할 수 있는 용기다. 배씨는 “생소한 학문의 길에 들어선 아들을 걱정하던 부모님께서 장관님이 상을 주는 것을 보시고서 안심하셨다”고 했다. 홍 씨는 “시상식을 본 아버지가 다음날 회사 동료들에게 한턱 쏘셨다”며 웃었다. 한 씨는 한결 차분했다. “부모님께서 대견해 하셨어요. 유학을 위해 저축 중인데, 이번에 받은 상금을 앞으로 공부하는 일에 잘 쓰겠습니다.”

글·남창희 객원기자 2014.01.13