Vejamos um exemplo onde queremos prever os preços das casas em uma cidade. Vamos precisar de dados históricos sobre as vendas da casa para treinar um modelo de aprendizagem da máquina.
Na terminologia de aprendizagem da máquina, a informação sobre a casa é chamada de características e a previsão de preços é chamada de etiqueta.
Quando temos múltiplas características e queremos treinar um modelo que possa prever o preço dado por essas características, podemos usar uma regressão linear multivariada. O modelo terá de aprender os parâmetros (theta 0 a theta n) no conjunto de dados de formação abaixo, de modo a que se quisermos prever o preço de uma casa que ainda não foi vendida, ele possa dar-nos uma previsão mais próxima daquilo por que vai ser vendida.
Practical Ideas for making Gradient Descent work well
- Use feature scaling to help gradient descent converge faster. Get every feature between -1 and +1 range. It doesn’t have to be exactly in the -1 to +1 range but it should be close to that range.
2. In addition to dividing the feature by maximum value people sometimes use mean normalization.
3. If we plot the value of cost function after each iteration of gradient descent, we should see that it converges. Below is a graph that shows gradient descent is converging. The number of iterations that it can take for gradient descent to converge varies a lot.
Polynomial Regression
Let’s say we have a housing price data set that looks like below.
Then there are a few different models we might fit to this.
One thing we could do is fit a quadratic model. It doesn’t look like a straight line fits this data very well. But then we may decide that quadratic model doesn’t make sense because of a quadratic function, eventually this function comes back down and we don’t think housing prices should go down when the size goes up too high. So then maybe we might choose a different polynomial model and choose to use instead a cubic function, and where we have now a third-order term and we fit that where green line is a somewhat better fit to the data cause it doesn’t eventually come back down. Podemos fazer isso usando a maquinaria da regressão linear multivariante. Então apenas escolhendo três características (um tamanho, outro quadrado de tamanho e terceiro cubo de tamanho) e aplicando a maquinaria da regressão linear, podemos encaixar este modelo e acabar com um ajuste cúbico aos dados.
Importante aqui é a escala de características. Então se o tamanho da casa varia de um a mil, então o tamanho ao quadrado da casa irá variar de um a um milhão, e a terceira característica x cubo, irá variar de um dois dez a nove, e assim estas três características assumem gamas de valores muito diferentes, e é importante aplicar a escala de característica para a descida de gradiente para as colocar em gamas de valores comparáveis.
Outra escolha razoável aqui pode ser dizer que o preço de uma casa é theta zero mais theta uma vez o tamanho, e depois mais theta duas vezes a raiz quadrada do tamanho.
Tendo uma visão sobre a forma de uma função raiz quadrada, e, na forma dos dados, ao escolher diferentes características, podemos por vezes obter modelos melhores.
Parece um pouco desconcertante, que com todas estas diferentes escolhas de características, como é que eu decido quais as características a usar. Em posts subsequentes, falaremos sobre alguns algoritmos que irão automaticamente escolher quais funcionalidades serão usadas, e automaticamente escolher se queremos encaixar uma função quadrática, ou uma função cúbica, ou algo mais.
Mas, até lá, devemos saber que temos uma escolha em quais funcionalidades usar, e desenhando diferentes funcionalidades podemos encaixar funções mais complexas em nossos dados e depois apenas encaixar uma linha reta nos dados.