트위터에 오른 글을 분석하면 실시간으로 데이터가 확보된다.

MEAGAN CLARK

한 경제학 교수가 미국의 고용 현황을 정부보다 더 빨리 정확하게 추정하는 방법을 찾아냈다. 마이크로블로깅 서비스인 트위터의 데이터를 이용하는 방법이다. 미시간대의 매튜 섀피로 교수가 이끄는 팀은 사람들이 일자리와 실업을 이야기하는 데 흔히 사용하는 단어와 구절이 포함된 트윗을 조사했다. 예를 들어 “일을 잃었어(lost my job)” 같은 구절이다. 그 다음 섀피로는 서베이 리서치 센터의 마거릿 레벤스타인, 스탠퍼드대 컴퓨터 과학자 마이클 카파렐라와 돌런 안테누치와 함께 그 결과를 검증했다. 그 단어나 구절들이 예를 들어 컴퓨터 고장으로 “작업한 것을 잃었다(lost work)”는 것처럼 다른 무엇을 의미하는 게 아니라 일자리 그 자체에 관한 의미라는 것을 확실히 하기 위해서였다.

섀피로는 언론에 배포한 성명서에서 이렇게 말했다. “처음 시작했을 때는 과연 트윗으로 실직을 추적할 수 있을지 의심이 들었다(When we started, we had no idea if we could track job loss with tweets). 그러나 2년이 흐르는 동안 그 소셜미디어 지수가 아주 효과적이라는 사실을 알게 됐다(But over a two-year period, we’ve seen the social media index perform quite well).”

여러 시점에서 그 소셜미디어 지수는 정부 데이터와 일치했다. 2011~12년 실업률이 안정됐을 때가 그랬다. 또 2012년 말 허리케인 샌디가 닥쳤을 때와 2013년 말 연방정부가 부분 폐쇄됐을 때는 정부의 데이터처럼 변동이 심했다. 소셜미디어 지수가 정부 데이터와 일치하지 않았을 때는 그 지수가 더 정확했다. 예를 들어 캘리포니아주가 새로운 컴퓨터 시스템을 도입해 실업수당 청구 처리가 지연되면서 정부 데이터의 실업률이 낮게 나왔을 때가 그랬다고 섀피로가 말했다.

정부의 추정 고용률(estimated employment rate)과 미시간대의 유명한 소비자심리지수(consumer sentiment index, CSI) 등 여러 경제 지표는 우편과 전화를 통한 조사 결과를 바탕으로 한다. 그러나 그런 조사는 비용이 많이 들 뿐 아니라 유선 전화를 사용하는 사람이 줄어들고 조사에 응하지 않는 사람이 많아져 더 어려워지는 상황이다. 게다가 데이터가 발표될 때는 4~6주 전의 옛 것이 돼버린다. 반면 트위터에 오른 글을 분석하면 실시간으로 데이터가 확보된다.

섀피로는 이렇게 말했다. “중대한 전환점이나 위기가 닥쳤을 때 정책 입안자들에겐 즉시 확보할 수 있는 데이터가 매우 중요하다(In turning points or times of crisis, having something available instantaneously is critical for policymakers).”