FlashRank

FlashRank는 기존 검색·검색 파이프라인에 리랭킹을 붙이는 초경량·고속 파이썬 라이브러리다. 크로스 인코더 기반 Pairwise/Pointwise 리랭커와 LLM 기반 Listwise 리랭커를 지원한다. Torch나 Transformers 없이 CPU에서 돌아가며 약 4MB짜리 기본 모델을 쓴다. 패키지가 작아 Lambda 같은 서버리스 배포에서 호출당 비용과 콜드 스타트 시간을 줄일 수 있다고 소개한다.

• 크로스 인코더 기반 Pairwise/Pointwise 리랭커(최대 512토큰)
• LLM 기반 Listwise 리랭커(최대 8192토큰)
• Torch·Transformers 불필요, CPU에서 실행
• 약 4MB 크기의 초소형 기본 리랭킹 모델
• 작은 패키지로 서버리스 배포 콜드 스타트 단축
• 여러 모델 선택(ms-marco-MiniLM-L-12-v2, rank-T5-flan 등)

오픈소스 + 클라우드 매니지드 유료 플랜

오픈소스 라이브러리는 무료, 매니지드 벡터DB/메모리 서비스는 사용량 기반 유료

AI 지식 기반 추정 - 공식 사이트 확인 권장

• RAG 및 메모리 분야 AI 21개 가운데 하나예요.
• 다른 도구와 연결된 수 4개 — 같은 분야에서 7위예요.