hola 개발

[ 분산 파일 시스템 등장 배경 ] 데이터를 다루는 방식은 시대에 따라 끊임없이 변화해 왔습니다. 과거에는 전통적인 데이터베이스 시스템이 기업의 핵심이었고, 정형화된 데이터를 저장하고 처리하는데 최적화되어 있었습니다. 하지만 어느 순간부터 이러한 패러다임에 큰 전환점이 찾아옵니다. 데이터의 폭발적 증가와 변화 인터넷과 모바일 환경이 발전하면서, 더 이상 단순히 숫자나 표 형식으로 정리된 데이터만을 다루지 않게 되었습니다.SNS에서 쏟아지는 글과 댓글서버 로그(Log)동영상(Video)과 음성(Audio) 콘텐츠웹사이트와 각종 플랫폼에서 수집되는 방대한 자료이처럼 비정형 데이터 또는 부분적으로만 정형화된 데이터들이 폭발적으로 증가하기 시작했습니다. 기존 방식의 한계 문제는 이러한 데이터를 기존의 데이터 웨..

[ 문제 상황 ] 서버에 스프링을 올렸는데, 로컬에서는 문제가 없지만 서버에서만 특정 메뉴가 열리지 않아서 log를 예외가 있었고 확인해보니 permission denied 라는 문장이 눈에 딱 보였습니다. [ 문제 원인과 해결 ] Tomcat은 JSP를 실행할 때 Catalina/localhost/ROOT/org/apache/jsp/ 같은 경로에 JSP를 서블릿(Java class) 으로 변환한 .java 및 .class 파일을 생성해 캐시합니다. 하지만 서버에 스프링을 올렸지만 이전 캐시가 남아있었고 JSP가 수정되었기에 기존 .java와 .class를 자동으로 덮어 쓰기를 해야하는 이 과정에서 root 권한이 없어서 문제가 생긴 것이였습니다.따라서 해당 경로에 있는 jsp파일은 루트 권한으로 삭제하..

[ LLM 기반 콘텐츠 추천: CBF의 진화 ] 추천 시스템에서 흔히 쓰이는 방법 중 하나가 **콘텐츠 기반 필터링(CBF, Content-Based Filtering)**입니다. 전통적인 CBF는 아이템이 가진 속성, 예를 들어 영화 장르나 상품 카테고리를 기반으로 추천합니다. 사용자가 느와르 영화를 좋아한다면, 장르가 느와르인 다른 영화를 추천하는 방식이죠. 하지만 전통 CBF에는 몇 가지 한계가 있습니다. 속성이 충분하지 않거나 부정확하면 추천 정확도가 떨어지고, 사용자가 이미 선호한 유형의 아이템만 추천되는 과잉 개인화 문제가 생깁니다. 게다가 신규 아이템이나 신규 사용자는 추천이 어려운 콜드스타트 문제도 있습니다. 이런 한계를 극복하는 방법이 바로 LLM 기반 CBF입니다. [ LLM 기반 C..

[ Steam Game Score Algorithm이 나온 배경 ]# 문제 인식 : 기존 평점 체계의 문제점Steam에서는 유저 리뷰 중 긍정 비율을 기반으로 게임의 평점을 표시하고 있습니다.하지만 이 방식에는 다음과 같은 근본적인 문제점이 존재합니다:리뷰 수가 적을수록 점수가 왜곡됩니다.예를 들어, 단 1~2개의 긍정 리뷰만 있는 게임이 100% 긍정률로 표시되며,오히려 수천 개의 리뷰를 받은 인기 게임보다 더 높은 평점을 받는 일이 발생합니다.사용자는 이 점수가 얼마나 신뢰할 수 있는지 판단하기 어렵습니다.리뷰 수는 고려되지 않기 때문에, 표면적인 긍정률만으로 판단해야 하는 구조였습니다.SteamDB는 이러한 문제를 해결하기 위해 새로운 알고리즘을 설계하게 되었습니다. [ 설계 원칙 ]SteamDB..