핸드폰이나 컴퓨터로 관심 있는 정보나 평소에 사고 싶었던 제품을 한 번이라도 찾아보면, 어느새 인터넷에 광고로 관련 제품이 떠 있는 경험이 다수 있으셨을 겁니다. 과거에는 원하는 상품이나 정보를 찾기 위해서는 많은 검색을 거쳐서 찾았으나 지금은 추천 시스템의 도움을 통해 쉽게 찾아냅니다. 이런 추천 시스템은 사용자에게 더 관심 있는 제품과 관련된 광고를 제공하여 기업에는 광고의 전달성을 높여주는 방식으로 비즈니스에 있어서도 더 효율적으로 동작합니다.
이번 포스팅에서는 AI 기반 추천 시스템의 작동 원리와 실제 적용된 사례를 자세하게 보도록 하겠습니다.
1. AI 기반 추천 시스템 알고리즘의 원리
AI 기반 추천 시스템의 핵심은 거대한 데이터를 분석하여 사용자에게 가장 관심이 많은 콘텐츠나 상품을 추천하는 과정에 있습니다. 이런 과정을 수행하기 위해서 사용되는 주요 기법은 협업 필터링, 콘텐츠 기반 필터링, 하이브리드 필터링이 존재합니다. 협업 필터링은 비슷한 취향을 가진 사용자 집단의 데이터를 분석하여 새로운 추천을 진행하는 방식이빈다. 예를 들면, 사용자 A가 SF 영화를 주로 찾아보고 좋아하는 경향이 있다면, 사용자 A와 비슷한 콘텐츠를 선호하는 사용자에게 동일한 SF 영화를 추천하는 방식을 사용합니다.
하지만, 콘텐츠 기반 필터링은 사용자가 과거에 검색하거나 선호한 콘텐츠나 상품의 데이터를 분석하여 비슷한 유형을 가진 다른 제품이나 콘텐츠를 추천하는 방식으로 동작합니다. 예를 들면, 사용자가 과거에 특정 장르의 도서를 자주 구입하였다면, 유사한 장르의 다른 도서를 추천하는 방식을 통해 사용합니다. 이런 콘텐츠 기반 필터링 방식은 사용자의 취향에 대해서는 자세하게 연관 지어 분석하기 때문에 세밀하게 파악이 가능하지만, 과거에 선호하였던 성향과 지금의 성향은 다를 가능성에 대해서는 판단하기에는 한계가 존재한다는 점이 있습니다.
하이브리드 필터링은 협업 필터링 방식과 콘텐츠 기반 필터링 방식의 장점을 결합하여 만든 새로운 방식으로 기존의 방식들에 비하여 더욱 정교하고 정확한 추천 시스템의 결과를 보여줍니다. 예를 들자면, 협업 필터링을 통해 유사한 취향을 가진 다른 데이터를 분석 후 콘텐츠 기반 필터링을 사용하여 선호하는 특정 속성을 가진 다른 상품이나 콘텐츠를 추천하는 방식으로 두 가지 접근 방식을 합쳐서 하나의 프로세스로 진행하기에 정확도가 높습니다.
최근에 발전한 AI(인공지능) 기술을 적용한 AI 기반 추천 시스템은 기계 학습과 딥러닝 기술을 적용한 시스템으로 추천에 정확도가 훨씬 높습니다. 기존의 데이터 간의 연관성과 선호도에 대해서 예측하고 검증하는 단계가 훨씬 빨라졌기에 기업은 AI 기반 추천 시스템을 활용하여 기존의 추천 시스템을 개편하고 새로 적용하고 있습니다.
2. AI 추천 시스템의 적용 사례
AI 기반 추천 시스템의 성능이 과거의 시스템에 비해서 효과적으로 개선되며 다양한 사업에 적용되어 많은 긍정적인 결과를 보이며 도입에 속도를 보이고 있습니다. 대표적인 적용 분야로는 전자 상거래, 스트리밍 서비스, SNS 플랫폼이 있습니다. 전자 상거래 분야에서는 추천 시스템을 통해 사용자가 기존에 흥미를 가지는 분야에 대해서 미리 연관성을 파악하고 관련 제품에 대한 광고를 지속적으로 노출하여 구매의 가능성을 높이고 구매 플랫폼을 통해 검색하면 가장 사용자의 니즈에 맞는 제품을 추천하여 상위에 보여주는 방식으로 사용되고 있습니다. 국내에서는 쿠팡, 네이버 스토어의 제품을 기반으로 추천 시스템의 사용 사례가 다수 있습니다.
스트리밍 서비스에서도 추천 시스템의 도입으로 긍정적인 평가를 받고 있습니다. 넷플릭스와 스포티파이 그리고 유튜브 같은 스트리밍 플랫폼에서 사용자의 시청 데이터를 기반으로 맞춤형 콘텐츠를 제공하는 방식으로 사용되고 있습니다. 넷플릭스와 유튜브의 경우에는 기존의 시청 기록을 바탕으로 알고리즘이 학습하여 비슷한 분야에 해당하는 다른 영상을 지속적으로 추천하며 그 정확도를 AI 시스템을 통해 높이는 방식으로 사용됩니다. 스포티파이의 경우도 동일하게 자주 듣는 음악의 장르를 파악하여 재생목록이나 이어 재생되는 음악을 동일한 장르에 해당하는 음악을 재생하여 추천을 진행하는 방식으로 사용됩니다.
SNS 플랫폼에서는 최근 유행하기 시작한 유튜브의 쇼츠, 인스타그램의 릴스와 같은 짧은 시간의 동영상을 시청하는 방식에 AI 추천 시스템의 도입으로 시청 시간이 길거나 반복적으로 재생하여 시청한 동영상을 파악하여 관심도를 파악하고 점수를 부여하여 비슷한 유형의 동영상을 추천하는 방식으로 AI 추천 시스템이 사용되고 있습니다. SNS의 핵심은 친구와의 팔로우 시스템이기에 팔로우 상태인 친구들 사이에 관련이 있는 사람을 추천하여 사용자에게 팔로우를 유도하기도 합니다.
이런 다양한 분야에서 사용되는 추천 시스템은 이미 많은 분야에서 성능을 입증하고 더 많은 분야에서 도입을 진행하기 시작하였습니다.
3. AI 추천 시스템의 한계점와 개선 방향
AI 기반 추천 시스템은 사용자에게 관심이 강한 콘텐츠를 정확하게 제공한다는 점에서 시간과 비용을 단축하는 부분에 있어서 강한 이점을 가지지만, 한계점은 분명하게 존재합니다. 한계점은 필터 버블 현상, 데이터의 편향성 문제, 사용자의 개인 데이터 침해 문제 등이 있습니다.. 우선, 필터 버블 현상은 AI 추천 시스템이 사용자의 관심에 맞춰서 콘텐츠를 정해서 지속적으로 제공하기 때문에 알고리즘 내에서 정한 분야를 제외하고 새로운 분야의 정보에 접근이 비교적 힘들게 만든다는 점을 의미합니다. 예시로, 유튜브에서 특정 정치인이나 분야에 대한 영상을 지속적으로 시청하면 다른 분야의 영상에 노출되기는 쉽지 않습니다. 정리하자면, 관심 분야에 의해 새로운 정보에 접근의 벽이 생긴다는 것을 의미합니다.
데이터의 편향성 문제는 추천 시스템에 AI 기술을 적용하기 시작하며 심각성이 높아지기 시작했습니다. AI 모델이 사용자의 관심 분야를 파악하기 위해 시청 기록이나 검색 기록을 확인하는 도중에 내부의 알고리즘이 특정 분야로 적용되면 문제가 발생하는 상황을 의미합니다. 예를 들자면, 인종 차별이나 성별에 대한 비판적인 데이터를 지속적으로 찾아보면 인공지능이 공정하지 못한 데이터를 지속적으로 추천하여 사회적인 문제점으로 이어질 가능성이 높아집니다. 따라서, 이런 문제를 방지하기 위해서는 AI 모델 학습에 사용되는 데이터를 다양하게 수집하여 편향 데이터는 따로 제거하여 전달하는 과정을 추가할 필요성이 있습니다.
사용자의 개인 데이터 침해 문제는 해결하기 쉽지 않은 한계점으로 분류됩니다. 사용자 개인에 맞는 추천 시스템 알고리즘을 AI를 통해 학습을 진행하기 위해서는 사용자의 사소한 검색 기록, 시청 기록과 같은 민감한 정보를 다루어야 하기 때문에, 이 과정에서 사용자의 민감한 개인 정보가 유출되는 일이 발생 가능합니다. 따라서, 이런 개인정보 유출 방지를 위해서 사용자가 자신의 개인 정보의 제공을 어디까지 허용하고 제한할지에 선택이 가능하도록 기능을 제공해야 합니다.
AI 기반 추천 시스템은 유용한 결과를 보여주지만, 한계점을 보완하고 개선하지 않는다면 사용자에게 피해가 발생할 가능성이 높기 때문에 데이터에 대해서 조금 더 민감하게 접근하여 알고리즘을 수정하여 사용할 필요성이 있습니다.
결론, AI 추천 시스템의 미래와 가능성은?
AI 기반 추천 시스템의 적용으로 많은 일상생활에 큰 변화를 통해 편리한 생활이 가능해진 것은 사실입니다. 하지만, 이번 포스팅을 통해서 어떤 원리로 광고나 상품에 대한 추천이 이루어지고 개인정보가 어떻게 활용되는지 과정에 대한 이해는 어느 정도 필요성을 가지고 혹시 모를 개인정보 유출에 대해서 미리 대비하시길 바랍니다.
AI 기반 추천 시스템의 한계점인 필터 버블, 데이터 편향성, 개인 데이터 침해 문제를 극복하기 위해서는 어떤 대응 방안이 필요하고 어떻게 개선하면 좋을지 생각해 보는 것도 유익한 시간이 될 것으로 생각됩니다. 이번 포스팅에서는 AI 추천 시스템의 원리와 적용 사례에 대해서 조금 자세하게 다루어 보았습니다. 다음 포스팅에서도 유익한 정보로 찾아 뵙겠습니다. 감사합니다.