vectorDB(3)
-
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(4)
이전까지 우리는 AI가 원하는 답변을 만들어 낼 수 있도록 여러 작업을 진행하였다.VectorDB 활용: 사업정보 -> 임베딩 -> 유사 서비스/기업 조회문서 데이터: 세금 처리, 제도, 지원 사업관련 문서 -> 임베딩 -> 사업 정보 기반 사업 운영에 필요한 정보 조회최신정보: 시장규모, 경쟁분석, 보도, 흐름 등 최신정보 -> Web Search API 요청사용자 질문 의도 분석: 사용자 질문 -> 의도 분석 -> 키워드 생성기댓값에 도달할 수 있는 검색 쿼리생성: 의도 분석 내용 기반 쿼리 생성 -> 3-5개정보를 LLM에 전달하고 답변을 생성하는 과정에서 Prompting에서 신경 쓴 부분페르소나 부여: "당신은 창업 컨설턴트 입니다. $@#!%!#"주관적이지 않고 객관적인 정보 제공LLM이 가지..
2024.09.22 -
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(3)
신뢰도 높은 데이터..정확하고 최신화된 정보를 말한다고 생각한다. 따라서 최신화된 정보를 VectorDB에 수시로 저장하기에는 주기적인 크롤링 작업을 했다.그렇다고 해서 크롤링 정보가 완벽하고 신뢰도 높다고 할 수도 없는 것이었다. 그래서 여기에 추가로 적용하기로 한 것이 Web Search API이다. 처음에는 Serp API를 활용하여 반환 받은 검색 내용에 대한 JSON 데이터를 LLM 모델이 요약하고 정리하여 사용자에게 응답할 수 있도록 진행하였다.과정에서 VectorDB를 활용하지 않을 수도 있었지만, Web Search API 요청이 많거나 중복요청이 여러개인 경우 비효율적인 부분을 생각하여 VectorDB의 활용방안에 연구를 진행하였다. 그래서 진행한 것이 다음과 같다. 설명과 같이 사실상..
2024.09.19 -
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(2)
처음 "1인 창업 지원" 프로젝트를 구현하고자 했을때,우리가 가장먼저 떠올린 USE CASE는 다음과 같았다.창업을 하려면 어떻게 하지?사업자 등록? 창업 지원 사업정보? 시장조사? 투자? 등 이런 정보를 제공을 받으면 좋겠다는 생각을 했다.그래서 예상 시나리오를 작성하여 Chat-GPT에게 물어보았다.나: "직장인이 혼자서 사이드 프로젝트로 할만한 주제랑 창업 분야를 추천해줘"GPT: "직장인이 혼자서 사이드 프로젝트로 할만한 주제와 창업 분야는 개인의 관심사, 기술적 역량, 시간 제약 등에 따라 다를 수 있지만, 다음은 직장인으로서 충분히 도전해볼 수 있는 몇 가지 주제와 분야를 추천합니다.### 1. 사이드 프로젝트 주제#### 1) 개인 생산성 앱 - 주제: 시간 관리, 할 일 목록(To-do..
2024.09.16