From ea6b28f76bc48a5785ea3bf1d30910d9381529c2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Gi=C3=B9=20Marcer?= Date: Thu, 28 May 2020 17:15:44 +0200 Subject: [PATCH] lectures: went on writing notes.md --- lectures/notes.md | 37 +++++++++++++++++++++++++++++++++++++ 1 file changed, 37 insertions(+) diff --git a/lectures/notes.md b/lectures/notes.md index 6b9f78d..c0fb581 100644 --- a/lectures/notes.md +++ b/lectures/notes.md @@ -136,3 +136,40 @@ purezza una volta fissata l'efficienza è il rapporto delle Likelihood: o comunque il rapporto delle probabilità di ottenere il campione misurato secondo le due ipotesi. +Nel caso in cui le due pdf siano gaussiane, il discriminante di Fisher porta +allo stesso risultato che si otterrebbe con il rapporto delle likelihood. + +# Confronto di due datasets + +Il test di `Kolmogorov-Smirnov` serve per confrontare dati non binnati: o un set +di dati con una funzione attesa, oppure due set di dati tra loro. Siccome +confronta tra loro le cumulative, va bene nel confrontare shifts dei dati o +grandi variazioni ma non piccoli dip nelle pdf. Per farlo in più dimensioni, +esistono varie idee ma non c'è n'è una standard e soprautto la distribuzione +della statistica non è nota e va simulata. +Se i dati sono binnati, invece, allora si può usare il `test del χ²`: + + (ni - νi)² + χ² = Σ --------- + νi + +e si guarda qual è il p-value della sua distribuzione, che è nota. + +Il `p-value` è la probabilità di misurare un valore che si allontani ancora di +più del valore trovato rispetto alla statistica di test prevista dall'ipotesi +nulla. Ovvero: + +- se H0 dice che il valore medio di t è t0 +- ed io ho misurato un valore la cui statistica di test vale tx < t0 +- il p-value è dato dall'integrale da -∞ a tx della pdf della statistica di + test nel caso in cui l'ipotesi nulla sia vera. + +deve essere grande affinché l'ipotesi nulla possa essere ritenuta vera, dato +il dato controllato e quindi la significanza α dovrebbe essere grande (invece +la si mette sempre a 0.5 perché è standard). Oppure deve essere piccolo se +voglio confutarla (e quindi metterò una piccola significanza di riferimento). +Attenzione al `look-elsewhere effect`: se mi sforzo di trovare un p-value +minore di α (significanza), se faccio tante prove, prima o poi lo troverò, ma +non vuol dire che sia significativo. + +@4 ----------------------------------------------------------------------------