Thomas Piacentini
← Atelier

Projet à concevoir

Metamorphic Evaluation Workbench

Texte original · anglais

Help evaluators catch inconsistent behavior across related inputs. Author transformations such as unit conversion, record reordering and equivalent formatting, define the output relationship each should preserve, and shrink violating examples. Export a property-based evaluation runner and small failure bundles that can be consumed by CI.

Proposed milestones

  1. Define input transformations and expected relations
  2. Run paired cases with recorded response provenance
  3. Check relations and shrink violations
  4. Export reproducible property failures for CI

This is an upstream project brief; an implementation and completion tests are not supplied.

Code et livrables 1
Ce que vous en retenez

Enregistré dans votre carnet sur cet appareil.

Sources et limites

Les repères de lecture sont déclaratifs. Les résultats de tests sont enregistrés séparément ; ils valent pour les cas exécutés.

AI Engineering from Scratch · 3f9715c · MIT

Télécharger ce fichier ↓