lectures: went on writing notes.md

lectures/notes.md

@@ -136,3 +136,40 @@ purezza una volta fissata l'efficienza è il rapporto delle Likelihood:
 
 o comunque il rapporto delle probabilità di ottenere il campione misurato
 secondo le due ipotesi.
+Nel caso in cui le due pdf siano gaussiane, il discriminante di Fisher porta
+allo stesso risultato che si otterrebbe con il rapporto delle likelihood.
+
+# Confronto di due datasets
+
+Il test di `Kolmogorov-Smirnov` serve per confrontare dati non binnati: o un set
+di dati con una funzione attesa, oppure due set di dati tra loro. Siccome
+confronta tra loro le cumulative, va bene nel confrontare shifts dei dati o
+grandi variazioni ma non piccoli dip nelle pdf. Per farlo in più dimensioni,
+esistono varie idee ma non c'è n'è una standard e soprautto la distribuzione
+della statistica non è nota e va simulata.
+Se i dati sono binnati, invece, allora si può usare il `test del χ²`:
+
+         (ni - νi)²
+  χ² = Σ ---------
+             νi
+
+e si guarda qual è il p-value della sua distribuzione, che è nota.
+
+Il `p-value` è la probabilità di misurare un valore che si allontani ancora di
+più del valore trovato rispetto alla statistica di test prevista dall'ipotesi
+nulla. Ovvero:
+
+- se H0 dice che il valore medio di t è t0
+- ed io ho misurato un valore la cui statistica di test vale tx < t0
+- il p-value è dato dall'integrale da -∞ a tx della pdf della statistica di
+  test nel caso in cui l'ipotesi nulla sia vera.
+
+deve essere grande affinché l'ipotesi nulla possa essere ritenuta vera, dato
+il dato controllato e quindi la significanza α dovrebbe essere grande (invece
+la si mette sempre a 0.5 perché è standard). Oppure deve essere piccolo se
+voglio confutarla (e quindi metterò una piccola significanza di riferimento).
+Attenzione al `look-elsewhere effect`: se mi sforzo di trovare un p-value
+minore di α (significanza), se faccio tante prove, prima o poi lo troverò, ma
+non vuol dire che sia significativo.
+
+@4 ----------------------------------------------------------------------------