질적 연구 방법론 - 데이터 분석의 한계점과 보완책
들어가기 앞서…
이번 포스팅은 2020년 행태과학을 위한 연구방법론 과목의 “Qualitative Research (질적 연구방법론)” Reaction Memo에서 발췌했습니다. 지금까지 제가 포스팅한 9개의 양적 데이터 분석론 및 통계와는 결이 다르나, 한 번 정도는 이러한 질적 연구 방법론에 대해서 고민해볼 필요가 있다고 생각하여 공유합니다.
“연구는 항상 객관적으로 측정한 것을 바탕으로 시행되어야 한다.” 많은 사람들, 또는 적어도 나에게는 이러한 고정 관념이 있었다. 연구를 시행할 때 주관의 개입이 들어가면 더 이상 그것은 모두에게 적용되지 않을 수 있기 때문이라는 생각이 있었기에 지금까지 qualitative research는 모순적인 말이었다. 사람들에게 인터뷰를 하는 것은 인터뷰이나 인터뷰어 두 명 모두에게 주관이 개입될 수 있기 때문에, 이 정보들을 바탕으로 어떤 결과를 나타낼 수 있고 어떻게 사람들이 받아들일 수 있는가?
이번에 주어진 논문과 교과서를 아우르는 토픽은 qualitative research이다. 사실, 경영학부에 들어와서 보았던 많은 리서치들은 주관적인 견해가 충분히 반영되는 리커트 7점 척도를 가지고 평균을 재어 두 집단이 같은지, 혹은 다른지 증명하여 가설을 검증했기 때문에 그러한 method를 이해하고 받아들이는데 오랜 시간을 썼다. 어쨌든 각 집단이 서로 고르다면, 평균은 같을 것이니까. 하지만 qualitative method는 벽돌의 질감이 얼마나 좋은지에 대해 측정하는 연구 방법이다. 예를 들어서, 육각형을 보고 무엇이 떠오르세요? 라는 질문을 한다면, 누군가는 육각형이 원과 같다고 느낄 수도 있고, 누군가는 육각형이 삼각형과 같다고 생각할 수 있다. 이렇게 어떤 것에 대해 측정하는 것이 아니라 open-ended question으로 느낀점을 서술하는 것은 서로 대조를 할 수 없다. 양적 연구방법론을 채택하였을 때 나오는 장점이 바로 여기에 있다. 두 집단간의 대조를 통해 가설을 비교적 쉽게 검증할 수 있는 것. 하지만 양적 연구방법론의 단점은, 새로운 이론을 쉽사리 정립할 수 없다는 점에 있다고 생각한다. 지금까지 보았던 대부분의 양적 연구방법은 논문은 기존의 이론을 통해 현상에 대한 가설을 정의하고, 실험을 하거나 데이터를 분석하여 증명을 한다. 그러나 새로운 현상이 나와 새로운 이론을 정립해야할 때, 특히 아무 정보와 직관 등이 없을 때 어떤 것이 사람들을 움직이게 만드는지는 양적 연구방법이 아닌, 질적 연구방법이 더 도움이 된다고 생각한다.
다만 qualitative research라고 해서 인터뷰를 편하게 해도 된다는 것은 아니다. 결국에는 qualitative research도 연구 행위이기 때문에 조심스럽게 다뤄져야 하는데 이는 곧 최대한 주관을 배제해야 하며, 특히 근거이론 방법의 경우에 대해서는 연구자가 통찰력이 있어야 하며 계속 데이터를 쌓으면서 어떤 집단에게 계속 research를 할 것인지 고민하여 추가적인 데이터를 쌓을 필요가 없을 때까지 연구를 진행하는 등의 연구자의 역량을 다른 것에 비해 더욱 강조한다. 그러면서 line-by-line으로 개념화, 범주화를 시킨 뒤 여러 코딩들을 통하여 이론을 정립해 나가야 한다. 결론적으로 qualitative method가 주관적인 개입이 들어가는 것이 아닌, 최대한 배제하고 추상화를 시켜 이론을 전개하는 method라는걸 알게 되었다.
이번에 논문과 교과서를 보면서 인식을 바꾸었는데, 이는 연구가 아니라 실무자가 읽어도 굉장히 도움이 될 것이라 생각이 된다. 지금 같은 빅데이터 시대에 많은 사람들이 영상, 그림 또는 문서와 같은 unstructured data의 분석에 초점을 두고 있다. 세상의 대부분은 척도와 같은 structured data로 정해져 있지 않기 않기에 많은 실무자들은 unstructured data를 마주하고 이를 structured로 바꾸려고 노력한다. 그러나 실제로 어떤 사람들이 어떤 행동을 보이는지를 기존 로그 데이터 혹은 구매 데이터로 파악하는 것은 한계가 있다. 예를 들어서, 강의를 수강하는 사람들의 수강 패턴을 알고 싶다고 해보자. 그리고 여기에 선행된 분석이 하나도 없다고 해보자. 이 때 아무 정보도 없고, 아무 직관도 없을 때에는 어느 변수로 어떻게 분석을 해야 하는지 감이 오지 않기 때문에, 어느 수치를 가져와도 실제로 기업이 데이터를 써먹기 용이하지 않을 수 있다. 대신 잘 짜인 인터뷰를 통해 사람들이 어떤 행동을 순차적으로 진행하는지 파악을 한다면 그것을 토대로 이론을 확장하여 분석 메소드를 사용할 수 있을 것이다. 그리고 설령 기존의 theory를 잘 알고 있다고 해도 회사마다, 그리고 영역마다 다를 수 있기 때문에 qualitative method를 통해 소비자가 생각하는 기업에서의 행동을 유추하는 것 역시 과소평가 되어서는 안된다고 생각된다.
결론
많은 사람들이 데이터를 가지고 사람들을 모두 판단할 수 있다고 생각합니다. 그러나 실상은 그렇지 않습니다. 데이터만 쳐다본다고 좋은 가설이 나오는 것도 아니고, 오히려 주어진 관측 데이터를 계속 바라만 보는게 어떤 측면에서는 비효율적일 수 있습니다. 예를 들어, 아하 모먼트를 찾는다고 해봅시다. 이 때 데이터를 기반으로 분석하게 되는 경우 엄청난 코스트가 들 수 밖에 없습니다. 소위 말하는 Selection Bias, Endogeneity, 결측치, 모델 세팅 방법 등… 데이터 분석을 통해 가설을 어떻게든 세우려고 한다면 철저하지만 어려운길을 돌아가는 겁니다. 왜냐하면 데이터가 사실을 말해주지 않거든요. 그러나, 소비자와 1:1 인터뷰, 혹은 그룹 인터뷰 등을 통해서 서비스의 어떤 부분에서 어떤 장단점을 생각할 수 있었는지에 대해 파악하는 것은 상대적으로 쉽습니다. 아무튼 이야기 진행을 잘 하면 되는거니까요. 물론 인터뷰이가 말한것이 보편적으로 타당한 이야기인지는 데이터로 검증해봐야겠으나, 가설 검증의 측면에서는 오히려 소비자의 이야기를 듣는 것이 때로는 더욱 정확하고, 빠를 수 있다는 것입니다.
이런 측면에 대해서는 아마도 마케터들은 뼈저리게 느끼고 있을 것입니다. 소비자가 어떤 생각을 하는지 파악하고 거기에 맞춰 물건을 파는 것이 그들의 일이니까요. 그러나 데이터 분석가들은 데이터에 매몰되어있는 경우가 많습니다. 적어도 제가 그랬으나, 이 수업을 통해 관점을 바꾸게 되었습니다. 여러분들도 이 글을 읽고 실무에서 데이터 분석을 할 때 어떤 문제점이 있었는지 생각해보며, 질적 데이터 분석이 이를 과연 해결해줄 수 있는지에 대해서 고민해보는 것도 좋을 것 같습니다.
Leave a comment