(주) 유니드컴즈

대표이사 : 전형신

서울특별시 양화로 61 두암빌딩 11층

COPYRIGHT ⓒ2020 UNEEDCOMMS Inc. ALL RIGHT RESERVED.

  • keepgrow

현업에서 활용되는 웹 크롤링(Web Crawling) 이야기


유니드컴즈에서 데이터 분석을 담당하고 있는 이완선 매니저님의 연세대학교 특강이 있었는데요. 강의에서 소개된 프로젝트 소개와 강의 내용을 전달드리겠습니다.​



Q. 안녕하세요. 자기소개 부탁드립니다.

안녕하세요. 유니드컴즈 리드팀 이완선 매니저입니다. 사내에서는 영어 이름 션(Sean)으로 불리고 있습니다. 저는 지난 2016년 유니드컴즈에 입사한 뒤 마케팅팀과 운영팀을 거쳐 현재는 리드팀에서 비즈니스 데이터 분석을 담당하고 있습니다. 특히 서비스 운영 시에 발생되는 각종 데이터를 분석해 인사이트를 도출해 내거나, 데이터 관점에서 마케팅 리드를 발굴해내는 작업을 하고 있습니다.

Q. 이번에 연세대학교에서 데이터 분석 관련 특강을 하셨다고 들었는데, 어떤 내용이 다루어졌나요?

경영대 학부생들을 대상으로 하는 비즈니스 데이터 분석 수업에서 "현업에서 활용되는 웹 크롤링"이라는 제목으로 일일 특강을 맡아 진행했어요. 이번 특강을 통해 사내에서 진행 중인 데이터 수집 및 분석 프로젝트의 소개와 비 개발자로서 데이터 분석에 대한 꿈을 가지고 그 꿈을 키워나가게 된 제 이야기를 학생들에게 전달했어요.

Q. 강연에 소개된 프로젝트에 대한 설명을 부탁드립니다!

리드팀의 다양한 미션 중 하나는 데이터를 통해 이커머스 시장 생태계를 깊이 있게 이해하는 것이에요. 생태계를 이해함으로써 유니드컴즈의 자사 서비스인 '킵그로우(Keepgrow)'의 시장 내 점유율이나, 경쟁 서비스의 점유율, 더 나아가 신규 기능 기획에 대한 수요 조사를 진행하는 등 시장 전략 수립의 지침을 제공하는데 큰 역할을 해요. 이러한 미션을 달성하기 위해서는 이커머스 생태계를 객관적으로 판단할 수 있는 대량의 시장 데이터 수집이 반드시 선행되어야 하는데, 강연 때 소개된 프로젝트가 이러한 시장 데이터의 수집을 담당하는 역할을 담당해요.

특히 데이터의 '수집'에 대한 내용을 설명하기 위해서 웹(WWW)과 인터넷의 발전 그리고 웹을 돌아다니며 데이터를 수집해오는 크롤러인 스파이더와 수집된 비정형 데이터(웹 소스)를 유의미한 형태의 정형 데이터로 추출해내는 스크레이핑에 대한 소개를 하며 어떠한 원리로 시장 데이터를 수집해 오는가에 대한 다소(?) 원론적인 접근을 통해 프로젝트를 소개해 나갔어요.

Q. 비 개발자로서 데이터 분석에 입문한 이야기는 학생들이 정말 관심이 많았겠네요. 구체적으로 알려주세요!

사실 데이터 분석에 개발이 전부는 아니라고 생각해요. 엑셀이나 통계 패키지를 통해서도 수준 높은 데이터 분석을 할 수 있어요. 하지만 이번 과목이 비즈니스 프로그래밍이었고, 저 또한 현재 개발과 가까운 곳에서 데이터 분석을 하다 보니 "비 개발자로서 데이터 분석에 입문"했다는 부분에 대해 집중적으로 이야기했어요.

대학교에서 마케팅을 공부한 제가 데이터 분석에 입문하게 된 이야기에는 우여곡절이 조금 많았던 것 같아요. 데이터 자체에 관심을 가지게 된 배경은 대학교 학부생 시절, 전공 수업 때 처음 접하게 된 Database Marketing이라는 개념을 알게 된 이후였어요. 물론 최근에는 머신 러닝, 딥러닝, 개인화 및 자동화 등의 기술을 통해 데이터를 점점 더 잘 활용하는 시대로 나아가고 있지만, 당시에 저는 그러한 개념들을 모른 채 데이터베이스 마케팅 만으로 데이터 활용에 큰 미래 가능성을 느꼈던 것 같아요. 데이터베이스가 어떤 원리로 작동하고 어떻게 운영되는지 구체적인 기술 내용은 몰랐으나 마케팅의 활용 측면에서 파급되는 효과가 매우 클 것이라는 막연한 기대감을 가지고 우선 데이터베이스를 배울 수 있는 방법을 찾기 시작했어요.

학부 내 Information Systems Management 학사과정에서 데이터베이스 수업이 있는 것을 확인했고, 그 수업을 듣기 위해 필수 선행 수업(prerequisite course) 을 듣게 되는데 대부분이 Information System 학문의 기초를 이루는 내용들이었어요. 이때 Supply Chain Management, Total Quality Control, Customer Relationship Management, Enterprise Resource Planning, Business Intelligence, Data Warehouse, Data Mart, Data Cube 등을 배우며 현재 회사에서 유용하게 사용되는 다양한 개념들을 하나씩 배워 나갔어요.

그 후 마침내 데이터베이스 수업을 들을 수 있게 되었죠. 데이터베이스 수업을 듣기 위한 여정이 길었음에도 불구하고 데이터베이스 마케팅에 대한 믿음이 컸기에 열심히 배우고 공부를 했어요. 그 당시에 과제로 만들었던 구인 구직 개체 관계 모델(Entity-Relationship Diagram)은 후에 제가 유니드컴즈 입사 면접 때 브리핑을 하는데 활용되었고, 오늘날까지 제가 데이터 분석에 업무를 펼쳐 나가는데 큰 도움이 되고 있어요. 회사에서는 저의 관심사를 존중해주고, 기술을 넘어 비즈니스 관점에서 데이터 보는 방법을 전달해주는 등 좋은 환경에서 뛰어난 분들과 함께 데이터 분석의 꿈을 이어나가고 또 키울 수 있었던 것 같아요.





Q. 진로를 고민하는 학생들에게 흥미로운 이야기였겠어요. 특강에 대해 학생들의 반응은 어땠나요?

데이터 분석에 대한 학생들의 뜨거운 관심을 느낄 수 있었던 시간이었어요! 저도 강연을 들었던 학생들과 비슷한 분과 (비즈니스 계열)에서 공부하며 데이터 분석에 대한 꿈을 키워나갔던 터라 학생들이 그 부분에 대해 많은 관심을 가져 준 것 같고, 저 역시 학생들의 이야기가 남 일 같지 않고 제 이야기처럼 잘 와닿았어요. 특히 데이터 분석과 관련해서 진로를 어떻게 설정해야 할 것인지에 대한 깊은 고민들을 엿볼 수 있었어요. 데이터 분석 쪽으로 진로를 잡으려면 대학원 진학이 필수인지, 파이썬을 더 공부하고 싶은데 어떻게 계획을 세워야 좋을지, 현업에서 데이터 분석 관련 업무를 하려면 무엇을 준비해야 하는지 혹은 파이썬 외에 다른 언어를 공부해야 하는지 등 다양한 질문이 있었어요.

저도 학생들처럼 계속 공부를 하고 배워나가는 입장으로 위의 질문에 조언을 해 줄 만큼 경험이 풍부하지 않지만, 한 가지 메시지는 꼭 전달하려고 노력했어요. 데이터 분석이 물론 중요하지만 그 자체에 모든 노력을 집중하기 전에 어떤 데이터를 곁에 두고 무엇을 분석할 것인지 생각해보는 것이에요. 특히 비즈니스를 공부하는 우리의 입장에서 갈 길을 알고 걷는 것이 때로는 중요할 수 있거든요. 데이터는 어디에나 있을 수 있지만 데이터 분석 자체에 자신의 가능성을 국한시키면 되려 그 가능성이 제한받을 수 있어요. 자신이 잘 하는 것 혹은 할 수 있는 것에 데이터를 함께 붙여서 생각하면 즐거운 일들이 많아질 거예요! 그렇게 하나씩 하나씩 데이터를 보고 즐기며 성장해 나가는 과정에서 부족함이 느껴질 때 선택할 수 있는 많은 방법들 중 하나로써 대학원 진학이 될 수도 있고, 파이썬이 아닌 다른 프로그래밍 언어 습득에 대한 이유가 될 수도 있다고 생각해요.

Q. 매니저님에게도 뜻깊은 시간이었겠어요. 어떻게 초청 강연의 강사로 참여하게 됐나요?

작년에 데이터 관련 산학협력 연구에 참여하면서 뵙게 된 소현지 연구원님과의 인연을 바탕으로 이번 연세대 특강에 강연자로 초청받게 되었어요.

Q. 연구를 통해 맺어진 좋은 인연이네요. 소개해주신 프로젝트가 앞으로 나아갈 방향 혹은 지향점이 있다면 무엇인가요?

아직은 프로젝트가 초기 단계에 있어요. 프로젝트가 안정화 단계에 접어들어서 데이터의 수집과 저장의 프로세스가 안정적으로 자리 잡고, 데이터의 종류와 양이 늘어나게 되면, 머신러닝의 비지도 학습 계열을 통한 시장을 여러 군집으로 분류하는 작업부터 더 나아가서는 머신러닝 혹은 딥러닝의 알고리즘을 시장 데이터에 적용해서 시장 발전 가능성을 가늠할 수 있는 예측 모델을 만드는 방향으로 나아갈 계획을 가지고 있어요.


지금까지 이완선 매니저(Sean) 님의 인터뷰 내용이었습니다. 특별히, 어떤 데이터를 곁에 두고 무엇을 분석할 것인지 생각해보는 것이 중요하다는 내용이 인상적이었는데요. 기술의 화려함보다도 그 기술이 필요한 본질에 더 집중해서 나아가면 좋겠다는 생각이 드네요.

앞으로도 유니드컴즈에서는 다양한 프로젝트와 다채로운 이야기들을 많이 들려드리도록 하겠습니다.