Dashboard

Yayınlanmış BixBench benchmark sonuçları

Proje Özeti
Toplam Soru
205
60 kaynak notebook
Görev Türleri
MCQ & Açık Uçlu
Python · R · Bash
Dataset
HuggingFace
futurehouse/BixBench
Sürümler
v1 & v1.5
Train split
En İyi Sonuçlar (MCQ, Refusal=False)
BixBench v1 — En İyi Doğruluk
33.8%
claude-3-5-sonnet-latest-grader-mcq-refusal-False
BixBench v1.5 — En İyi Doğruluk
36.1%
gpt-4o-grader-mcq-refusal-False
v1 · gpt-4o
9.1%
openended · n=296
GPT-4o
v1 · gpt-4o
10.8%
mcq-refusal-True · n=296
GPT-4o
Detaylı Sonuçlar
BixBench v1 — Tüm Modeller
Model / ModDoğrulukKesinlikKapsam
GPT-4o openended
9.1%
 9.1% 100%
GPT-4o mcq-refusal-True
10.8%
 50.0% 22%
Claude mcq-refusal-True
13.9%
 51.9% 27%
Claude openended
11.5%
 11.5% 100%
GPT-4o mcq-refusal-False
32.1%
 32.1% 100%
Claude mcq-refusal-False
33.8%
 33.8% 100%
BixBench v1.5 — Tüm Modeller
Model / ModDoğrulukKesinlikKapsam
GPT-4o mcq-refusal-False
36.1%
 36.1% 100%
GPT-4o mcq-refusal-True
3.9%
 40.0% 10%
Claude mcq-refusal-True
8.3%
 38.6% 21%
Claude mcq-refusal-False
34.1%
 34.1% 100%
GPT-4o openended
2.9%
 2.9% 100%
Claude openended
2.9%
 2.9% 100%

API Anahtarları

Kendi API anahtarlarınızı girin — istediğiniz provider'dan istediğiniz modeli kullanın

Provider Anahtarları
OpenAI
gpt-4.1 · gpt-4o · o3 · o4-mini · gpt-5 · ve daha fazlası
Tanımsız
gpt-4.1 gpt-4o o3 o4-mini gpt-5 · ...
Anthropic
claude-opus-4 · claude-sonnet-4 · claude-haiku-4 · ve daha fazlası
Tanımsız
claude-opus-4-5 claude-sonnet-4-5 claude-3-5-sonnet-latest claude-opus-5 · ...
Google (Gemini)
gemini/gemini-2.5-pro · gemini/gemini-2.5-flash · ve daha fazlası
Tanımsız
gemini/gemini-2.5-pro gemini/gemini-2.5-flash gemini/... · ...
OpenRouter
Llama 4 · DeepSeek R1 · Qwen3 · Mistral · ve 100+ model
Tanımsız
openrouter/meta-llama/llama-4-maverick openrouter/deepseek/deepseek-r1 openrouter/qwen/qwen3-235b-a22b openrouter/... · ...
HuggingFace
Dataset erişimi · Gated modeller · HF Inference
Tanımsız
Groq
Llama · Mixtral · Gemma — çok hızlı çıkarım
Tanımsız
groq/llama-4-scout-17b-16e-instruct groq/llama-3.3-70b-versatile
Together.ai
Açık kaynak modeller — Llama, Qwen, DeepSeek, Mixtral
Tanımsız
together_ai/Meta-Llama-3.1-70B-Instruct-Turbo together_ai/deepseek-ai/DeepSeek-R1
Nasıl Kullanılır

1. API anahtarınızı yukarıdaki alana girin ve Kaydet'e tıklayın.

2. Değerlendirme Başlat sayfasına gidin.

3. Model alanına istediğiniz modelin tam adını yazın (litellm formatında).

💡 İpucu: Model etiketlerine tıklayarak adı panoya kopyalayabilirsiniz. Herhangi bir litellm-uyumlu model adı geçerlidir — yeni çıkan modelleri de doğrudan yazabilirsiniz.

🔒 Anahtarlar sunucuda user_settings.json dosyasında saklanır, tarayıcıda tutulmaz.

Değerlendirme Başlat

Zero-shot veya agentic (E2B Cloud sandbox) modda benchmark çalıştır

Konfigürasyon Seç
4o_image
GPT-4o, görüntülü
4o_no_image
GPT-4o, görüntüsüz
claude_image
Claude 3.5 Sonnet, görüntülü
claude_no_image
Claude 3.5 Sonnet, görüntüsüz
claude_opus4_image
Claude Opus 4, görüntülü
claude_sonnet4_image
Claude Sonnet 4, görüntülü
claude_sonnet4_no_image
Claude Sonnet 4, görüntüsüz
deepseek_r1_image
DeepSeek R1 · Açık kaynak akıl yürütme
gemini25_flash_image
Gemini 2.5 Flash, görüntülü
gemini25_pro_image
Gemini 2.5 Pro, görüntülü
generate_trajectories
Trajectory üretimi
gpt41_image
GPT-4.1, görüntülü
gpt41_no_image
GPT-4.1, görüntüsüz
llama4_maverick_image
Llama 4 Maverick · Meta açık kaynak
o3_image
OpenAI o3 · Akıl yürütme
o4mini_image
OpenAI o4-mini · Hızlı akıl yürütme
qwen3_235b_image
Qwen3 235B · Alibaba açık kaynak
test_run
Test · 1 soru, hızlı
Parametreler
Kaç soru işlensin? (1–205)
Boş = YAML'daki model kullanılır
Boş = config'deki yol kullanılır
Parametreler
Model adı veya listeden seçin
Parametreler

Mevcut sonuç dosyalarından istatistik ve grafikler üretir.

Çalışan İşler

Bu oturumda başlatılan değerlendirme işleri

Henüz hiç iş başlatılmadı.

Sorular

BixBench benchmark dataset — 205 gerçek biyoinformatik sorusu

Yükleniyor... (dataset ilk açılışta birkaç saniye sürebilir)

Trajectory Sonuçları

Agentic değerlendirme çıktıları — ajan cevapları ve doğruluk

Yükleniyor...

Sonuç Grafikleri

Post-processing tarafından üretilen görseller

bixbench results comparison
bixbench_results_comparison.png
majority vote accuracy image comparison
majority_vote_accuracy_image_comparison.png
majority vote accuracy refusal option comparison
majority_vote_accuracy_refusal_option_comparison.png