A História do Machine Learning

Como um esforço científico, o aprendizado de máquina cresceu a partir da busca pela inteligência artificial. Ainda nos princípios da IA como disciplina acadêmica, alguns pesquisadores já se interessavam em fazer máquinas aprenderem a partir de dados. Eles tentaram abordar o problema com vários métodos simbólicos, assim como o que foi, então, nomeado de "rede neural artificial": estes eram majoritariamente perceptrons (classificador linear que, dado uma entrada X com peso W, calcula uma saída f(X), onde f(X) = 1 se X.W + B >= 0 ou  0, se for menor que 0) e outros modelos que, mais tarde, foram entendidos como reinvenções de modelos linear generalizados de estatística. A lógica probabilística também foi usada, especialmente em diagnósticos médicos automatizados. 

No entanto, uma crescente ênfase na abordagem lógica, baseada em conhecimento, causou uma brecha entre a IA e o aprendizado de máquina. Sistemas probabilísticos eram atormentados por problemas teoréticos e práticos de aquisição e representação de dados. Em 1980, sistemas especialistas haviam dominado a IA e a estatística estava fora de uso. Trabalhos em aprendizado baseado em conhecimento/simbolo continuaram com a Inteligência Artificial, levando até a programação lógica indutiva, mas, agora, as pesquisas mais voltadas para a estatística estavam fora do campo da IA, em reconhecimento de padrões e recuperação de informação. Pesquisas em redes neuronais haviam sido abandonadas pela IA e pela ciência computacional em torno do mesmo período. 

O aprendizado de máquina, reorganizado como um campo separado, começou a florescer nos anos 90. O campo mudou seu objetivo de alcançar a inteligência artificial para abordar problemas solucionáveis de natureza prática. Ele abandonou o foco em abordagens simbólicas que havia herdado da IA para métodos e modelos emprestados da estatística e da teoria da probabilidade. Ele também se beneficiou do crescente número de informação digitalizada disponível e a possibilidade de distribuir ela via internet. 

O aprendizado de máquina e a mineração de dados, com frequência, fazem uso dos mesmos métodos e se sobrepõem significativamente, mas, enquanto o aprendizado de máquina foca em fazer previsões baseado em propriedades conhecidas aprendidas pelos dados de treinamento, a mineração de dados foca em descobrir, previamente, as propriedades desconhecidas nos dados (este é o passo dado na análise de extração de conhecimento). A mineração de dados usa muitos métodos do aprendizado de máquina, mas com objetivos diferentes; por outro lado, o aprendizado de máquina também faz uso de métodos da mineração de dados como "aprendizado não supervisionado" ou como um passo de processamento para melhorar a precisão do aprendiz. Muita da confusão entre essas duas comunidades de pesquisa vem da suposição básica com a qual eles trabalham: em aprendizado de máquina, a performance é normalmente avaliada com respeito a habilidade de reproduzir conhecimento conhecido, já com a extração de conhecimento e mineração de dados, a tarefa chave é o descobrimento de conhecimento previamente desconhecido. Avaliado com respeito ao conhecimento conhecido, um método uniforme (não supervisionado) será facilmente superado por outros métodos supervisionados, enquanto em uma tarefa KDD típica, métodos supervisionados não podem ser usados devido a não disponibilidade de dados de treinamento. 

O aprendizado de máquina também tem laços íntimos com a otimização: muitos dos problemas de aprendizado são formulados como minimização de algumas funções de perda em um conjunto exemplo de treinamentos. Funções de perda expressam a discrepância entre as previsões do modelo sendo treinado e as verdadeiras instâncias do problema (por exemplo, em classificação o objetivo é designar etiquetas para instâncias e modelos são treinados para predizer corretamente as etiquetas previamente designadas de um conjunto exemplo). A diferença entre os dois campos surge do objetivo da generalização: enquanto o algoritmo de otimização pode minimizar a perda em um conjunto de treinamento, o aprendizado de máquina está preocupado com a minimização da perda de amostras não vistas.