AI(4)
-
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(4)
이전까지 우리는 AI가 원하는 답변을 만들어 낼 수 있도록 여러 작업을 진행하였다.VectorDB 활용: 사업정보 -> 임베딩 -> 유사 서비스/기업 조회문서 데이터: 세금 처리, 제도, 지원 사업관련 문서 -> 임베딩 -> 사업 정보 기반 사업 운영에 필요한 정보 조회최신정보: 시장규모, 경쟁분석, 보도, 흐름 등 최신정보 -> Web Search API 요청사용자 질문 의도 분석: 사용자 질문 -> 의도 분석 -> 키워드 생성기댓값에 도달할 수 있는 검색 쿼리생성: 의도 분석 내용 기반 쿼리 생성 -> 3-5개정보를 LLM에 전달하고 답변을 생성하는 과정에서 Prompting에서 신경 쓴 부분페르소나 부여: "당신은 창업 컨설턴트 입니다. $@#!%!#"주관적이지 않고 객관적인 정보 제공LLM이 가지..
2024.09.22 -
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(3)
신뢰도 높은 데이터..정확하고 최신화된 정보를 말한다고 생각한다. 따라서 최신화된 정보를 VectorDB에 수시로 저장하기에는 주기적인 크롤링 작업을 했다.그렇다고 해서 크롤링 정보가 완벽하고 신뢰도 높다고 할 수도 없는 것이었다. 그래서 여기에 추가로 적용하기로 한 것이 Web Search API이다. 처음에는 Serp API를 활용하여 반환 받은 검색 내용에 대한 JSON 데이터를 LLM 모델이 요약하고 정리하여 사용자에게 응답할 수 있도록 진행하였다.과정에서 VectorDB를 활용하지 않을 수도 있었지만, Web Search API 요청이 많거나 중복요청이 여러개인 경우 비효율적인 부분을 생각하여 VectorDB의 활용방안에 연구를 진행하였다. 그래서 진행한 것이 다음과 같다. 설명과 같이 사실상..
2024.09.19 -
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(2)
처음 "1인 창업 지원" 프로젝트를 구현하고자 했을때,우리가 가장먼저 떠올린 USE CASE는 다음과 같았다.창업을 하려면 어떻게 하지?사업자 등록? 창업 지원 사업정보? 시장조사? 투자? 등 이런 정보를 제공을 받으면 좋겠다는 생각을 했다.그래서 예상 시나리오를 작성하여 Chat-GPT에게 물어보았다.나: "직장인이 혼자서 사이드 프로젝트로 할만한 주제랑 창업 분야를 추천해줘"GPT: "직장인이 혼자서 사이드 프로젝트로 할만한 주제와 창업 분야는 개인의 관심사, 기술적 역량, 시간 제약 등에 따라 다를 수 있지만, 다음은 직장인으로서 충분히 도전해볼 수 있는 몇 가지 주제와 분야를 추천합니다.### 1. 사이드 프로젝트 주제#### 1) 개인 생산성 앱 - 주제: 시간 관리, 할 일 목록(To-do..
2024.09.16 -
Perplexity.AI와 유사한 검색엔진 구현 프로젝트(1)
요즘 AI만큼 Hot한 서비스는 없는 것 같다.최근에는 Cursor AI를 통해 프로젝트 개발을 사람의 입으로도 할 수 있었고,LLM모델과 Multimodal을 활용하며 다양한 시각적 데이터와 텍스트 기반 서비스들이 확장되고 있다. 이 시점에서 '내가 해볼수 있는 건 무었일까'를 생각했을때,먼저 지금까지 개발되어온 AI 모델들을 이해하고 더 적합하게 활용해보는 시도를 해봐야겠다고 생각했다.그 과정에서 AI모델을 활용한 "1인 창업 지원" 프로젝트를 기획하고 개발을 진행하였다. 우리가 기획과정 처음부터 Perplexity 서비스를 벤치마킹의 대상으로 정하지는 않았었다. 심지어 처음에는 모르는 서비스였다.그러나 여러 레퍼런스를 조사하는 과정에서 AI를 활용한 검색엔진 서비스라는 것을 알 수 있었고, 구현..
2024.09.13