Perplexity.AI와 유사한 검색엔진 구현 프로젝트(2)

처음 "1인 창업 지원" 프로젝트를 구현하고자 했을때,

우리가 가장먼저 떠올린 USE CASE는 다음과 같았다.

창업을 하려면 어떻게 하지?

사업자 등록? 창업 지원 사업정보? 시장조사? 투자? 등 이런 정보를 제공을 받으면 좋겠다는 생각을 했다.

그래서 예상 시나리오를 작성하여 Chat-GPT에게 물어보았다.

나: "직장인이 혼자서 사이드 프로젝트로 할만한 주제랑 창업 분야를 추천해줘"

GPT: "직장인이 혼자서 사이드 프로젝트로 할만한 주제와 창업 분야는 개인의 관심사, 기술적 역량, 시간 제약 등에 따라 다를 수 있지만, 다음은 직장인으로서 충분히 도전해볼 수 있는 몇 가지 주제와 분야를 추천합니다.

### 1. 사이드 프로젝트 주제
#### 1) 개인 생산성 앱
   - 주제: 시간 관리, 할 일 목록(To-do), 목표 트래킹 앱
   - 기술 스택: React Native, Flutter (모바일 앱), Node.js, Firebase (백엔드)
   - 이점 본인도 사용할 수 있고, 생산성 도구는 꾸준히 수요가 있는 분야입니다.

#### 2) 데이터 분석 및 시각화 도구
   - 주제: 특정 산업의 데이터를 분석하고 시각화해주는 웹 애플리케이션
   - 기술 스택: Python (Pandas, Matplotlib), D3.js, Plotly
   - 이점: 데이터를 기반으로 통찰을 제공하는 도구는 기업과 개인 모두에게 가치를 줄 수 있습니다.

#### 3) 개인화된 추천 시스템
   - 주제: 영화, 음악, 책, 음식 등 특정 분야의 추천 엔진 개발
   - 기술 스택: Python (Scikit-learn, TensorFlow), Collaborative Filtering 알고리즘
   - 이점: 추천 시스템은 다양한 비즈니스 모델에 적용 가능하며, 사용자 경험을 향상시킬 수 있습니다.

#### 4) 자동화 스크립트 및 챗봇
   - 주제: 특정 업무를 자동화하거나 고객 응대를 위한 AI 챗봇 개발
   - 기술 스택: Python (BeautifulSoup, Selenium), RPA 도구, GPT-3 API
   - 이점: 반복적인 작업을 줄여 업무 효율성을 극대화할 수 있습니다.

#### 5) 소셜 미디어 분석 도구
   - 주제: 트위터, 인스타그램 등에서 실시간으로 해시태그 및 트렌드를 분석하는 도구
   - 기술 스택: Python (Tweepy, PRAW), Sentiment Analysis, Text Mining
   - 이점: 트렌드를 예측하거나 브랜드 모니터링을 위한 유용한 툴을 개발할 수 있습니다.

### 2. 창업 분야 추천
#### 1) SaaS(Software as a Service)
   - 아이디어: 중소기업 대상의 특정 문제를 해결하는 소프트웨어 서비스 제공 (예: 회계 자동화, 고객 관리)
   - 이점: 초기에 큰 자본 없이도 시작 가능하며, 구독 모델로 안정적인 수익을 창출할 수 있음.

#### 2) 에듀테크(EduTech)
   - 아이디어: IT 기술을 활용한 맞춤형 학습 플랫폼 (예: 코딩 교육, 자격증 준비를 위한 온라인 강의)
   - 이점: 교육에 대한 수요는 지속적으로 증가하며, 온라인 학습은 빠르게 성장하는 시장.

#### 3) 헬스케어 앱
   - 아이디어: 건강 관리, 피트니스, 정신 건강 등을 위한 개인화된 앱 또는 플랫폼 개발
   - 이점: 건강에 대한 관심이 높아짐에 따라 관련 서비스의 수요도 지속적으로 증가.

#### 4) E-commerce 및 Dropshipping
   - 아이디어: 특정 니치 시장을 겨냥한 전자상거래 플랫폼 운영 (예: 친환경 제품, 디지털 노마드를 위한 제품)
   - 이점: 초기 자본 없이 온라인으로 쉽게 창업 가능하며, 글로벌 시장 진출도 용이함.

#### 5) GreenTech 및 지속 가능한 기술
   - 아이디어: 친환경 제품 개발 또는 지속 가능한 에너지를 활용한 서비스 제공
   - 이점: ESG(환경, 사회, 지배구조) 경영이 중요한 시대에 수요가 높은 분야.

이런 사이드 프로젝트와 창업 아이디어는 현재의 기술 트렌드를 반영하고 있으며, 비교적 소규모 팀으로도 시작할 수 있는 것들입니다."

나: "그러면 개인화된 추천시스템 프로젝트로 진행하는데, SaaS 형태로 제공하고 싶어. 조금 더 구체적으로 알려줘"

GPT: "개인화된 추천 시스템을 SaaS 형태로 제공하는 프로젝트를 구체화하려면, 다음과 같은 단계로 접근할 수 있습니다.

### 1. 프로젝트 개요
   - 목표: 특정 콘텐츠(영화, 음악, 책 등)에 대한 개인화된 추천 서비스를 제공하는 SaaS 플랫폼 개발
   - 대상 고객: 중소형 e-commerce, 콘텐츠 플랫폼, 미디어 사이트 등

### 2. 기능 정의
   #### a) 사용자 계정 관리 및 로그인
   - 기능: 사용자는 플랫폼에 회원가입 및 로그인하여 개인 맞춤형 추천을 받음.
   - 기술 스택: Auth0, Firebase Authentication 등
   - 추가 기능: 소셜 로그인(Google, Facebook)

   #### b) 추천 시스템 핵심 기능
   - 사용자 행동 분석: 사용자가 좋아하는 콘텐츠, 조회 이력, 평가 등을 분석해 개인화된 추천 제공.
   - 추천 알고리즘: 
     - 협업 필터링(Collaborative Filtering): 다른 사용자의 행동 패턴을 기반으로 추천.
     - 콘텐츠 기반 필터링(Content-based Filtering): 사용자의 선호도를 분석해 유사한 콘텐츠 추천.
     - 하이브리드 모델: 협업 필터링과 콘텐츠 기반 필터링을 결합하여 더 정밀한 추천 제공.
   - 기술 스택: Python (Scikit-learn, TensorFlow), 추천 알고리즘

   #### c) 사용자 대시보드
   - 기능: 사용자별 추천 리스트, 좋아요, 별점 등을 확인할 수 있는 대시보드 제공.
   - 기술 스택: React.js, Vue.js, Tailwind CSS

   #### d) 관리자 대시보드
   - 기능: 서비스 제공자는 추천 시스템의 성능을 모니터링하고, 사용자의 행동 데이터를 분석해 피드백 받을 수 있는 관리 도구 제공.
   - 기술 스택: React.js, Node.js, Chart.js (시각화 도구)

   #### e) API 제공
   - 기능: 추천 시스템 API를 통해 다른 웹사이트나 애플리케이션에서 쉽게 통합 가능.
   - 기술 스택: Node.js, Express.js, REST API, GraphQL

### 3. 기술 스택
   - 프론트엔드: React.js, Vue.js, Tailwind CSS
   - 백엔드: Node.js, Express.js, MongoDB 또는 PostgreSQL
   - AI/ML: Python, TensorFlow, Scikit-learn, PyTorch (추천 알고리즘 구현)
   - 데이터베이스: MongoDB 또는 PostgreSQL (사용자 데이터 저장)
   - 배포 및 인프라: AWS (EC2, S3, RDS), Docker, Kubernetes

### 4. 핵심 AI/ML 모델
   - 데이터 수집 및 준비: 사용자의 행동 데이터를 기반으로 학습 데이터를 수집
   - 모델 학습: TensorFlow, PyTorch 등을 활용해 추천 알고리즘 모델 개발 및 학습
   - 추천 엔진 배포: 학습된 모델을 API로 배포하여 실시간으로 추천 제공

### 5. SaaS 운영 계획
   #### a) 구독 플랜
   - 무료 플랜: 제한된 API 호출 횟수, 기본적인 추천 기능 제공
   - 프리미엄 플랜: 더 많은 API 호출, 맞춤형 추천 모델 설정 가능, 성능 모니터링 및 분석 도구 제공

   #### b) 과금 시스템
   - API 호출 횟수에 따라 과금하거나, 고객사에 맞춤형 추천 서비스를 제공하는 형태로 수익 모델 설정.

   #### c) 유지 보수 및 확장성
   - AWS Lambda 등을 이용해 서버리스 아키텍처로 확장성 있는 구조를 설계.
   - 데이터 증가에 따라 머신러닝 모델을 재학습하고 성능을 최적화.

### 6. 프로젝트 진행 단계
   1. 기획 및 요구사항 정의**: 어떤 콘텐츠를 추천할지, 사용자 경험(UI/UX)을 어떻게 설계할지 구체화.
   2. MVP 개발: 최소 기능 제품(MVP)을 빠르게 개발하여 시장 반응 확인.
   3. AI 모델 최적화: 추천 시스템의 정확도를 개선하고, 사용자 데이터를 기반으로 지속적으로 학습.
   4. 배포 및 테스트: 클라우드 플랫폼(AWS 등)을 통해 배포하고, 사용자 피드백 수집 및 개선.

이렇게 하면 SaaS 형태의 개인화 추천 시스템 프로젝트를 구체적으로 시작할 수 있을 것입니다."

나: "그러면 개발은 내가 할수있는데 이거로 수익을 얻으려면 이걸 토대로 사업자등록을 내야하지않아?"

GPT: "네, SaaS 프로젝트를 통해 수익을 얻으려면 사업자등록을 해야 합니다. 사업자등록은 법적으로 수익을 창출하는 활동을 하기 위해 필요한 절차입니다. SaaS 사업을 운영하려면 적절한 사업자 등록뿐 아니라, 여러 법적, 세무적 요소를 고려해야 합니다. 아래는 주요 단계들입니다.

### 1. 사업자 등록 절차
   - 대상 기관: 국세청 (홈택스) 또는 세무서에서 신청 가능.
   - 필요 서류:
     - 개인사업자: 신분증, 임대차계약서(사무실이 있는 경우), 사업 계획서
     - 법인사업자: 법인 설립 후 법인 사업자등록
   - 절차:
     1. 홈택스 웹사이트 또는 관할 세무서를 통해 온라인/오프라인 신청
     2. 신청 후 사업자 등록증 발급
     3. 사업자 번호를 발급받으면 세금 신고와 수익을 발생시킬 수 있음.

### 2. 사업 형태 선택
   - 개인사업자: 혼자서 사업을 시작할 경우, 초기 자본이 적고 절차가 간단함. 세금 부담은 다소 클 수 있지만, 관리가 용이함.
   - 법인사업자: 향후 팀을 확장하거나 투자 유치를 계획한다면 법인 설립을 고려. 세금 혜택이 있을 수 있고, 신뢰도와 자금 운용에 유리함.

### 3. 세금 및 회계 관리
   - 부가가치세(VAT): SaaS는 부가가치세가 적용되므로 분기별로 부가세 신고가 필요.
   - 소득세 또는 법인세: 수익이 발생하면 개인 소득세(개인사업자) 또는 법인세(법인사업자)를 신고해야 함.
   - 세무 관리 툴: 회계/세무 관리를 효율적으로 하기 위해 회계 프로그램(예: 더존, 자비스 등)을 사용하는 것이 좋음.

### 4. 필요한 추가 등록
   - 통신판매업 신고: SaaS 형태의 서비스를 인터넷을 통해 제공하고 판매하는 경우, **통신판매업 신고**가 필요함. 이는 관할 구청에서 신청 가능.
   - 개인정보 보호 및 보안 정책: SaaS에서 사용자 데이터를 다루기 때문에, 개인정보보호법을 준수해야 함. 이에 따라 개인정보 처리방침을 명시하고, 필요한 보안 조치를 해야 함.

### 5. 결제 시스템 구축
   - 결제 시스템: 고객이 SaaS 서비스를 사용하면서 요금을 지불할 수 있도록 결제 시스템이 필요함.
     - 국내 결제 대행사: 카카오페이, 페이코, 이니시스 등
     - 글로벌 결제 플랫폼: Stripe, PayPal (해외 고객이 있는 경우)
   - 결제 시스템과의 연동을 통해 구독 기반의 자동 과금 시스템을 구축하는 것이 필요.

### 6. 서비스 이용 약관 및 정책
   - 이용 약관: 사용자가 SaaS를 사용할 때 동의하는 이용 약관을 만들어야 함. 이 약관에는 서비스 제공 범위, 환불 정책, 데이터 보호 정책 등이 포함되어야 함.
   - 개인정보 보호정책: 사용자의 개인정보를 어떻게 관리할지에 대한 명확한 방침을 수립하고 공개해야 함.

이러한 절차를 통해 사업자 등록을 하고, 수익을 창출하는 데 필요한 법적 요건을 충족시킬 수 있습니다. SaaS 사업을 안정적으로 운영하기 위해서는 세무와 법률적 측면을 잘 관리하는 것이 중요합니다."

 

위의 내용과 같이 사용자의 질문에 대한 답변을 잘 제공해주었다.

 

그래서 우리는 단순하게 OpenAI API 서비스를 사용하면 해당 수준의 답변을 만들 수 있다고 생각하게 되었고 이를 시도해보았다.

결과는 기댓값에 비하여 엄청 어긋나지는 않았지만, API비용 대비 답변의 가치가 높다고 판단할 수는 없었다.
그리고 무엇보다 퀄리티 높은 답변을 위해 OpenAI에 여러번 요청을 수행하면서 로딩시간이 매우 길었다.

 

이를 개선하기 위해 고민을 하던 중 RAG를 알게되었고, 이를 우리 프로젝트에 접목시키기로 하였다.

 

RAG를 수행하려면 기본적으로 VectorDB를 활용해야했다.

처음 VectorDB를 접했을때, 데이터들이 임베딩되어 여러 차원에 존재하고 유사도 분석에 사용되는 정도로 이해했었다.

그렇지만 이게 사용자 기반 Customizing이 되고 Collection을 구분하는 기준과 조회에 대한 알고리즘만 제대로 기획하여 사용한다면 결과값을 기대하지 않을 수 없었다.

 

하지만 또 여기서 문제가 있었다.

바로 데이터.. 신뢰도 높은 데이터를 어디서 구하지...

 

이를 수행하는 과정은 다음글에서...