Snorkel

Snorkel은 프런티어 연구소와 AI 팀이 모델·에이전트를 차별화할 수 있도록 전문화된 학습 데이터와 환경을 개발한다. 과제 설계, 프로그램 방식 검사, 보정된 전문가 검토, 현실적인 평가 환경을 결합해 측정 가능한 학습 신호를 만든다. 모델이 실패하는 지점을 측정(평가)하고, 그 실패에 맞춰 데이터·환경을 큐레이션하고, 성능이 오를 때까지 개선하는 과정을 반복한다. 스탠퍼드 AI 연구실에서 출발했으며 공개 벤치마크 리더보드도 운영한다.

• 프런티어 AI용 전문가 큐레이션 데이터셋 개발
• 프로그램 방식 합격/불합격 기준을 갖춘 현실적인 평가 환경 구축
• 보정된 전문가가 참여하는 루브릭 기반 파이프라인
• 평가자(모델 기반·규칙 기반) 개발과 평가자 자체에 대한 메타 평가
• 1,000개 이상 전문 분야 커버
• 에이전트 코딩·컴퓨터 사용·기업 업무 등 공개 벤치마크 리더보드
• 맞춤형 특화 에이전트 구축

엔터프라이즈(가격 문의)

데이터 라벨링/RLHF 물량 및 품질 수준에 따른 맞춤 견적이 일반적

AI 지식 기반 추정 - 공식 사이트 확인 권장

• AI 데이터 및 휴먼 피드백 분야 AI 8개 가운데 하나예요.
• 다른 도구와 연결된 수 1개 — 같은 분야에서 5위예요.