Thomas Piacentini
← Atelier

Projet à concevoir

Abstention Calibration Workbench

Texte original · anglais

Help teams set a defensible accept-or-defer rule for a bounded task. Tune a score threshold on labeled development records under explicit error costs, freeze that policy, and evaluate held-out risk and coverage across slices. Export a decision-policy file and audit that shows how many requests need human review.

Proposed milestones

  1. Validate separated development and holdout records
  2. Tune thresholds under declared error costs
  3. Freeze and evaluate the policy on holdout slices
  4. Export a decision adapter and review-volume estimate

This is an upstream project brief; an implementation and completion tests are not supplied.

Code et livrables 1
Ce que vous en retenez

Enregistré dans votre carnet sur cet appareil.

Sources et limites

Les repères de lecture sont déclaratifs. Les résultats de tests sont enregistrés séparément ; ils valent pour les cas exécutés.

AI Engineering from Scratch · 3f9715c · MIT

Télécharger ce fichier ↓