Uygulamayı aç
Moonborn — Developers

Drift threshold tuning

Workspace default'u seç, persona başı override et, etiketli sample ile sanity check yap. Destek, marka, yaratıcı yüzeyler için somut sayılar.

Default engine.pipeline.drift_detection.threshold = 0.30 kalibre edilmiş orta yol. Yüzeye göre sıkılaştır ya da gevşet.

Önerilen default'lar

YüzeyEşik
Müşteri desteği, regüle ses, sağlık0.20
Genel ürün chat'i, marka-komşusu0.30
Yaratıcı oyun, düşük-stake'li sahnelerde NPC'ler0.45

Workspace default'u

await client.config.setItem({
  key: 'engine.pipeline.drift_detection.threshold',
  value: 0.20,
  scope: 'workspace',
  scopeId: 'ws_...',
});

Persona başı override

Her personanın runtime contract'ı bir driftDetection.threshold alanı kabul eder — workspace default'unu sadece o persona için override eder.

Rollout öncesi validate

Aday eşiğini etiketli bir sample üzerinde çalıştır:

const replies = await fetchReplyCorpus(50); // son 50 prod yanıt
let truePositive = 0, falsePositive = 0;
for (const r of replies) {
  const drift = await client.consistency.scoreReply({
    personaId: r.personaId,
    reply: r.content,
  });
  const flagged = drift.score >= 0.25; // adayın
  if (flagged && r.humanLabel === 'off-voice') truePositive++;
  if (flagged && r.humanLabel === 'in-voice') falsePositive++;
}

Hedefler: TP ≥ %80, FP ≤ %10. FP yüksekse eşiği yukarı, TP düşükse aşağı ayarla.

Yaygın hata

Eşiği action_on_alert = auto_recover olmadan sıkılaştırmak — sadece QA kuyruğunu spam'lersin. Her düşüşü recovery yolu ile eşle ya da alert hacmini kabul et.

İlgili