P2P 검색엔진 YaCy 리뷰

p2p 기술을 활용하여 피어들이 직접 인덱스를 생성하고 공유하는 검색엔진 YaCy에 대한 리뷰

2023-08-06 배포

Image

p2p 검색엔진이라니 어떻게 가능한 걸까?

YaCy

자바로 만들어진 p2p 검색엔진이다.

지금 현재 피어는 120명 정도 있는데, 대부분 오래된 피어들인지라 인덱싱 된 문서들이 매우 많다.

한국어 검색 결과도 어느정도 존재하는데, 대부분 위키피디아 페이지이고 일부 한국어 웹도 포함하고 있다.

원리는 검색을 하면 그걸 피어들에게 쿼리하고 돌아오는 답을 인덱싱하고 또 거기서 크롤링을 하는 방식이다.

나름 검색 결과도 어느정도 있고 속도도 빠르다.

다만 UI는 2010년도에서 변한게 없기에 이 부분은 단점이다.

단점들

  1. 검색엔진이니까 당연히 인덱싱된 문서를 기반으로 크롤링을 하는데, 구글, 네이버 봇을 제외하고는 크롤러를 차단해두는곳이 많아서 크롤링이 힘들다.

  2. 쿼리를 할때마다 알수없는 피어들에게 내 검색 쿼리를 전송해야한다. 다만 이 부분은 로컬에 인덱스가 쌓이면 로컬에서만 쿼리를 돌리는 식으로 가능하다.

  3. 상용검색엔진에 비해 알고리즘 성능이 매우 떨어진다. 물론 어쩔 수 없는 부분이겠지만 말이다.

결론

그래서 결론은 YaCy의 장점은 개인정보보호가 아니라 탈중앙화이고, 다만 성능이 매우 떨어져서 한국어 사용자는 실사용이 사실상 불가능하다고 본다.(영어는 나름 할만하다.)

아직까지는 검색엔진은 구글 프록시 밖에 답이 없는것 같다.