Las limitaciones de los perceptrones como la incapacidad de resolver problemas no lineales, por ejemplo aprender la compuerta XOR. También las redes neuronales de una sola capa son incapaces de resolver estos problemas.
Experimentar con redes neuronales de multicapa las cuales podrán resolver problemas no lineales como la compuerta XOR.
En 1974, Paul Werbos publica su tesis doctoral, donde propone el algoritmo de retro-programación.
En 1986, David Rumelhart, Geoffrey Hinton y Ronald Williams pudieron en- trenar una red neuronal multicapa.
La ventaja de tener varias capas en una neurona lineal permite resolver problemas no lineales.
Pero es necesario tomar en cuenta el teorema de Cover:
“Un problema de clasificación complejo al hacer mapeado de manera no lineal a un espacio de alta dimensión, es más probable de ser linealmente separable que en baja dimensión, siempre siempre que el espacio no sea densamente poblado”. Tomas M. Cover (1965).