analistica/lectures/sections/modulo-1.md

Calcolo numerico

Compilare un programma

Per eseguire un programma, un computer fa questa cosa: legge le informazioni dall'input e le mette nella memoria; poi da qui legge le istruzioni sequenzialmente e se c'è qualche calcolo da fare, lo fa fare alla ALU (aritmetic logic unit) e memorizza il risultato nella memoria; alla fine passa tutto in output.
Per essere eseguibile, un programma deve essere scritto in codice macchina e per questo si usano i linguaggi di programmazione che, attraverso il compilatore, vengono tradotti in codice macchina:

• codice sorgente,
• compilatore,
• codice oggetto,
• linker (aggiunge le librerie),
• codice eseguibile.

Errori di implementazione

Quando si passa dal modello astratto a quello implementato, si distinguono tre tipi di errori:

• errori analitici: causati dalla necessità di una aritmetica discreta, cioè il fatto che non si possa rappresentare una cosa continua e quindi la si fa a punti;
• errori inerenti o algoritmici (o di round-off): causati dal numero finito di cifre significative. Dipendono dall'algoritmo utilizzato, perché ci sono metodi migliori di altri per evitare questo tipo di problemi.

Rappresentazione di un numero

L'obiettivo è quello di tenere sotto controllo gli errori di round-off. Per rappresentare un numero, esistono diverse rappresentazioni, tra cui quella di Von Neumann: si dedicano n cifre significative alla mantissa e poi un tot anche alla caratteristica, cioè all'ordine di grandezza (che generalmente è in base 2).
Con n cifre significative in base 2, il numero più alto rappresentabile è 2^n -1 perché con due cifre (0 e 1), ci sono 2^n possibili numeri rappresentabili e, se posti in ordine crescente, ognuno dista dal precedente un'unità, con il minimo che vale 0 (tutti 0), per cui il numero più alto che si può rappresentare è 2^n -1:

• 0 è l'1,
• 1 e il 2,
• ...$2^n -1$ è il $2^n$-esimo.

questo numero corrisponde a un numero in base dieci di m cifre significative, per cui:

  m = \log(2^n -1)

quindi per un numero con 24 bit per la mantissa, si hanno circa 7 cifre significative in base 10.
In precisione semplice (floating point):

• un bit per il segno,
• 23 bit per la mantissa (quindi 7 cifre significative),
• 8 bits per la caratteristica.

In precisione doppia (duble) si raddoppiano i bite alla mantissa e le cifre significative diventano 17, però il tempo per le moltiplicazioni è triplicato e si occupa più memoria, quindi non è che convenga moltissimo.

Esiste anche la rappresentazione fixed-point, in cui c'è un bit per il segno e i restanti per il numero in sé, in cui da qualche parte c'è la virgola. Nel caso del fixed pointd, l'errore relativo può variare moltissimo a seconda del numero rappresentato, mentre per i float è lo stesso per ogni numero: la densità relativa non è costante.
Quando un insieme di rappresentazione non è chiuso rispetto ad un'operazione, il risultato presenta sicuramente errore di round-off e deve essere approssimato.

Errori algoritmici

Per numeri troppo grandi o troppo piccoli che non si riesce a rappresentare, si parla rispettivamente di overflow o underflow. Per questo motivo, somme e soprattutto differenze di numeri grandi portano grandi errori dovuti all'arrotondamento: bisogna cercare di evitarlo se possibile. Per esempio, per calcolare un polinomio, conviene usare il metodi di Ruffini-Horner perché riduce il numero di operazioni da effettuare:

• metodo semplice:

  
    p(x) = a_0 + a_1x + a_2x^2 + ... +a_nx^n
  

  che sono n addizioni e n(n+1)/2 moltiplicazioni, quindi \sim n^2.

• metodo di R-H:

  
  p (x) = (((((a_n)x +a_{n-1})x +a_{n-2}x +...
  

  che sono n addizioni e n moltiplicazioni, quindi \sim n.

Il problema si verifica anche se si sottraggono due numeri molto simili tra loro, perché il risultato è un numero molto piccolo che potrebbe finire in underflow (si parla di "cancellazione catastrofica").

\textcolor{orange}{oss:} Il costo computazionale della risoluzione di un sistema lineare in n equazioni è asintoticamente uguale al costo del prodotto di due matrici nxn. Esistono algoritmi che non richiedono più di k \cdot n^{\alpha} operazioni, col il più piccolo valore noto di $\alpha$ pari a 0.2375.

Alcuni algoritmi sono definiti "instabili": accade quando gli errori di round-off si accumulano fino a portare a risultati completamente errati.
Esistono problemi detti "mal condizionati" che con qualsiasi algoritmo danno errori talmente elevati da rendere il risultato privo di significato. In questi casi, piccole variazioni dei dati iniziali portano a grandi variazioni nei risultati. Si chiama "numero di condizionamento del problema" il seguente rapporto:

  \frac{\Delta r}{\Delta \alpha} =
  \frac{\text{\% errore risultato}}{\text{\% errore dato iniziale}}

che può quindi essere espresso in questo modo:

  \Delta \alpha = \frac{x + h - x}{x} = \frac{h}{x}
  \hspace{100pt}
  \Delta r = \frac{f(x + h)-f(x)}{f(x)}

  \frac{\Delta r}{\Delta \alpha} =
  \frac{f(x + h)-f(x)}{h} \cdot \frac{x}{f(x)} =
  f'(x) \cdot \frac{x}{f(x)}

Se questo numero è << 1, allora il problema è poco sensibile ai dati iniziali.