OSWorld
벤치마크 및 리더보드 · 부분유료
실제 컴퓨터 환경의 개방형 과제로 멀티모달 에이전트를 벤치마크
한눈에 보기
- 만든 곳
- 홍콩대학교·Salesforce Research·CMU·워털루대(공동 연구)
- 쓸 수 있는 곳
- 웹
OSWorld는 어떤 AI인가요?
OSWorld는 멀티모달 에이전트를 위한 실제 컴퓨터 환경으로, 과제 설정, 실행 기반 평가, 상호작용 학습을 여러 운영체제(Ubuntu·Windows·macOS)에서 지원한다. 이 환경 위에 실제 웹·데스크톱 앱, 파일 입출력, 여러 앱에 걸친 작업으로 구성된 369개 과제 벤치마크를 만들었다. 과제마다 초기 상태 설정과 실행 기반 평가 스크립트가 있어 재현 가능하다. 2025년 OSWorld-Verified로 개선됐고 2026-06-26에 OSWorld 2.0이 나왔다.
- 369개 실제 컴퓨터 과제(+Windows 43개)
- Ubuntu·Windows·macOS 지원
- 실행 기반 평가 함수 134종
- 병렬·헤드리스 실행
- AWS 지원으로 평가 1시간 이내
- OSWorld-Verified·OSWorld 2.0
OSWorld, 이런 사람·일에 써요
- 연구자가 컴퓨터 사용 에이전트(LLM/VLM) 성능 평가
가격
무료(공개 벤치마크/리더보드)
대부분 학술·커뮤니티 목적의 무료 공개 리더보드/데이터셋
AI 지식 기반 추정 - 공식 사이트 확인 권장
OSWorld와 비슷한 AI (대안)
OSWorld와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| OSWorld | 부분유료 | 0개 | 5개 | — | — | — |
| APEX-Agents | 부분유료 | 0개 | 11개 | — | — | 없음 |
| ARC-AGI-2 | 부분유료 | 0개 | 11개 | — | — | 없음 |
| Context-Bench | 부분유료 | 0개 | 11개 | — | — | 없음 |
| MCP Atlas | 부분유료 | 0개 | 11개 | — | — | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 OSWorld
- 벤치마크 및 리더보드 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 11위예요.
자주 묻는 질문
OSWorld, 무료로 쓸 수 있나요?
무료(공개 벤치마크/리더보드). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
OSWorld 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 APEX-Agents, ARC-AGI-2, Context-Bench, MCP Atlas 등이 지도에 연결돼 있어요.
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.