Regression gate yazı-tura mı atıyor?

Ön-kayıtlı hipotezler

1. Mutlak eşik gate'i (G1) ne sıklıkla yanılır?

x: gerçek değer ile eşik arasındaki fark d (pozitif = sistem gerçekte eşiğin üstünde). y: karar hata oranı. Her çizgi bir golden set boyutu n. Dört sistem havuzlanmıştır.

2. Gate'ler aynı değişikliğe ne der?

PASS oranları. G1: eşik = baseline − 0.05. G2/G3/G3u/G3′: marj m = 0.02. "Kabul edilebilir" = gerçek Δ ≥ −0.02. Yeşil: doğru karar çoğunlukta; kırmızı: yanlış karar çoğunlukta.

3. HNSW ekleme sırası gürültüsü

10 farklı ekleme sırasıyla kurulan HNSW indekslerinde popülasyon Recall@10 farklarının 95. persentili.

4. Latency: P95, P50'den ne kadar belirsiz?

FiQA, 2 iş parçacığı, 10 koşu ortalaması. Göreli CI genişliği = (üst − alt) / tahmin.

5. Kaç soru yeter?

Eşleştirilmiş, tek yönlü test için normal yaklaşım: MDE = (z_1−α + z_güç) · sd(d) / √n. sd(d) = iki sistemin soru başına fark skorlarının standart sapması; aşağıdan hazır bir senaryo seçebilir ya da elle girebilirsin.

Mutlak eşik gate'i (G1) için: gerçek değer eşikten d kadar uzaksa hata oranı ≈ Φ(−|d|·√n / sd). Sonlu popülasyon düzeltmesiyle bu yaklaşım n = 100'de gözlenen hata oranlarından 1 puandan az saptı; hesaplayıcı düzeltmesiz hali (büyük popülasyon) kullanır, bu yüzden küçük popülasyonlarda hatayı biraz yüksek gösterir.