La Dra. Grace Augustine fue una de las primeras personas en llegar a Pandora. Mientras elaboraba su libro sobre la flora de dicho planeta, conoció a los Na'vi, unos habitantes de Pandora que se caracterizaban por tener aspecto humanoide y medir hasta 3.9 mts. Ella creo una escuela para enseñarles sobre nuestra cultura y para construirla tuvo que entender mejor como se distribuyen las estaturas de los Na'vi. Felizmente ella, siendo xenobotánica, también dominaba la Ciencia de Datos, así que para lograrlo empezó con un censo de estaturas similar a este:

Si graficamos los datos en un histograma con intervalos de 5.0 cm, obtenemos lo siguiente:

Una de las tareas que se realizan en Machine Learning y Ciencia de Datos es ajustar un modelo a los datos para representar una distribución subyacente. Por ejemplo, podemos usar como modelo la distribución Normal (o Gaussiana) ya que esta tiene forma de campana y podría asemejarse a nuestro histograma. La ecuación de la distribución normal es $g(x) = \frac {1}{\sigma \sqrt{2\pi}} e^{ - \frac {(x - \mu)^2}{2\sigma^2} }$ y podemos apreciarla a continuación:

Una forma de cuantificar qué tan bueno es el ajuste de un modelo frente a otros modelos es calculando los "residuos", que no son más que la diferencia entre nuestros datos medidos y la predicción modelada para cada intervalo de histograma.

Hagámonos una primera idea con la siguiente imagen, todo lo que no es parte de la intersección de ambos gráficos serían como los residuos para nuestro modelo.

Suma de Cuadrados de los Residuos ($SCR$ o $SSR$)

Para cuantificar el rendimiento de un modelo con un solo número, podemos hacer lo siguiente: tomamos todos los residuos (la diferencia entre los datos medidos y los pronosticados), los elevamos al cuadrado y los sumamos. Si hacemos esto con todos los modelos, el modelo con menor $SSR$ sería el que tiene mejor rendimiento.

En nuestro problema, la ecuación de la distribución normal tiene 2 parámetros: $\mu$ (mu) y $\sigma$ (sigma). Esto quiere decir que, para cada par de valores de $\mu$ y $\sigma$, podríamos tener un $SSR$ diferente.

Para hallar el $SSR$ de nuestros modelos tendremos que construir dos vectores:

El primer vector tiene que ver con nuestro histograma. Debemos elegir el tamaño del intervalo de agrupación de estaturas y calcular la frecuencia relativa para cada uno de los intervalos, nuestro experimento podría perjudicarse si el intervalo es muy grande o muy pequeño para la cantidad de datos que tenemos, así que elijamos uno razonable como 5.0 cm. Ahora supongamos que $f(a,b)$ es una función que me devuelve la frecuencia relativa de un intervalo donde $a$ es el límite inferior y $b$ es el límite superior. Con esto ya podemos construir nuestro primer vector:

$$F = \begin{bmatrix} f(250.0,255.0) \\ f(255.0,260.0) \\ f(260.0,265.0) \\ . \\ . \\ . \end{bmatrix}$$

El segundo vector lo construimos empleando la función de distribución normal $g(x) = \frac {1}{\sigma \sqrt{2\pi}} e^{ - \frac {(x - \mu)^2}{2\sigma^2} }$, los valores de $\mu$ y $\sigma$ dependerán del modelo en evaluación.

$$G = \begin{bmatrix} g(x_1) \\ g(x_2) \\ g(x_3) \\ . \\ . \\ . \end{bmatrix}$$

Antes de empezar a calcular el $SSR$ debemos normalizar los vectores ya que las frecuencias relativas y densidades de probabilidad se encuentran en diferentes escalas.

$$|(norm(F) - norm(G))^2| = SSR$$

Con estos experimentos podríamos decir que el Modelo 4 es el mejor de los modelos propuestos, pero aún es muy temprano para asegurar que es el modelo definitivo o ideal. Veamos que pasa cuando calculamos el $SSR$ para cada valor de $\mu$ en el intervalo $[275,315]$ y $\sigma$ en el intervalo $[1,40]$:

Cada punto de esta superficie representa el $SSR$ para cada selección de parámetros $[\mu$, $\sigma$]. Notemos que el $SSR$ llega a su punto más bajo cuando $\mu$ se encuentra en el intervalo $[290,310]$ y $\sigma$ en el intervalo $[20,30]$ y, si lo vemos desde arriba, que cada anillo si bien tiene valores diferentes para $\mu$ y $\sigma$, tiene un valor constante para el $SSR$.

Si empleamos los valores $[\mu$, $\sigma$] que estan a lo largo de una misma curva de nivel (las líneas rojas) no vamos a mejorar al $SSR$. Sin embargo, saltar a otro nivel o moverse perpendicularmente a ellos sí puede mejorar o reducir significativamente el rendimiento del modelo. Por lo que vemos aquí, podemos decir que $[297,22]$ tendría un mejor rendimiento que los anteriores modelos propuestos ya que se encontraría en un nivel más bajo.