Introdução ao Machine Learning com Python e Scikit-Learn (2023)

Olá, %username%!

Meu nome é Alex. Eu lido com aprendizado de máquina e análise de gráficos da web (principalmente em teoria). Também trabalho no desenvolvimento de produtos de Big Data para uma das operadoras móveis da Rússia. É a primeira vez que escrevo um post, então, por favor, não me julgue com muita severidade.

Hoje em dia, muitas pessoas querem desenvolver algoritmos eficientes e participar de competições de aprendizado de máquina. Então eles vêm até mim e perguntam: “Por onde começar?”. Há algum tempo, liderei o desenvolvimento de ferramentas de Big Data para análise de mídia e redes sociais em uma das instituições do Governo da Federação Russa. Ainda tenho alguma documentação que minha equipe usou e gostaria de compartilhá-la com você. Supõe-se que o leitor tenha um bom conhecimento de matemática e aprendizado de máquina (minha equipe consistia principalmente de MIPT (Instituto de Física e Tecnologia de Moscou) e graduados da Escola de Análise de Dados).

Na verdade, foi a introduçãociência de dados. Esta ciência tornou-se bastante popular recentemente. Competições em aprendizado de máquina são cada vez mais realizadas (por exemplo,Kaggle,estudouIT), e seu orçamento costuma ser bastante considerável.

As ferramentas mais comuns para um Cientista de Dados hoje sãoRePitão. Cada ferramenta tem seus prós e contras, mas o Python venceu recentemente em todos os aspectos (isso é apenasNa minha humilde opinião, eu uso R e Python). Isso aconteceu depois que apareceu um muito bem documentadoScikit-Learnbiblioteca que contém um grande número de algoritmos de aprendizado de máquina.

Observe que vamos nos concentrar nos algoritmos de aprendizado de máquina no artigo. Geralmente é melhor realizar a análise dos dados primários por meio dopandaspacote que é bastante simples de lidar por conta própria. Então, vamos nos concentrar na implementação. Para definitividade, assumimos que existe uma matriz objeto-característica na entrada e ela é armazenada em um*.csvarquivo.

Carregamento de Dados

Em primeiro lugar, os dados devem ser carregados na memória, para que possamos trabalhar com eles. A biblioteca Scikit-Learn usa arrays NumPy em sua implementação, então usaremos NumPy para carregar arquivos *.csv. Vamos baixar um dos conjuntos de dados doRepositório de aprendizado de máquina UCI.

import numpy as npimport urllib# url with dataseturl = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"# baixe o arquivoraw_data = urllib.urlopen(url)# carrega o arquivo CSV como um numpy matrixdataset = np.loadtxt(raw_data, delimiter=",")# separa os dados dos atributos de destinoX = dataset[:,0:8]y = dataset[: ,8]

Vamos trabalhar com este conjunto de dados em todos os exemplos, ou seja, com oxmatriz objeto-recurso e valores doyvariável alvo.

Normalização de dados

Todos nós sabemos bem que a maioria dos métodos de gradiente (nos quais se baseiam quase todos os algoritmos de aprendizado de máquina) é altamente sensível ao escalonamento de dados. Portanto, antes de executar um algoritmo, devemos executarnormalização, ou o chamadoestandardização. A normalização envolve a substituição de características nominais, de modo que cada uma delas fique na faixa de 0 a 1. Já a padronização envolve o pré-processamento dos dados, após o qual cada característica tem uma dispersão média de 0 e 1. A biblioteca Scikit-Learn fornece funções prontas para isso:

from sklearn import preprocessing# normalizar os atributos de dadosnormalized_X = preprocessing.normalize(X)# padronizar os atributos de dadosstandardized_X = preprocessing.scale(X)

Seleção de recursos

Não é segredo que o mais importante na resolução de uma tarefa é a capacidade de escolher ou até mesmo criar recursos corretamente. É chamadoSeleção de recursoseEngenharia de recursos. Embora a Engenharia do Futuro seja um processo bastante criativo e dependa mais da intuição e do conhecimento especializado, existem muitos algoritmos prontos para Seleção de Recursos. Os algoritmos de árvore permitem calcular a informatividade dos recursos.

from sklearn importmetricfrom sklearn.ensemble import ExtraTreesClassifiermodel = ExtraTreesClassifier()model.fit(X, y)# exibe a importância relativa de cada atributoprint(model.feature_importances_)

Todos os outros métodos se baseiam na busca efetiva de subconjuntos de features para encontrar o melhor subconjunto, no qual o modelo desenvolvido apresenta a melhor qualidade. Um desses algoritmos de pesquisa é o algoritmo de eliminação de recursos recursivos, que também está disponível na biblioteca Scikit-Learn.

from sklearn.feature_selection import RFEfrom sklearn.linear_model import LogisticRegressionmodel = LogisticRegression()# crie o modelo RFE e selecione 3 atributosrfe = RFE(model, 3)rfe = rfe.fit(X, y)# resuma a seleção dos atributosprint(rfe .support_)print(rfe.ranking_)

Desenvolvimento de Algoritmo

Como eu disse, o Scikit-Learn implementou todos os algoritmos básicos de aprendizado de máquina. Vamos dar uma olhada em alguns deles.

Regressão Logística

Mais frequentemente usado para resolver tarefas de classificação (binário), mas a classificação multiclasse (o chamado método um contra todos) também é permitida. A vantagem deste algoritmo é que existe a probabilidade de pertencer a uma classe para cada objeto na saída.

from sklearn importmetricfrom sklearn.linear_model import LogisticRegressionmodel = LogisticRegression()model.fit(X, y)print(model)# faça previsõesexpected = ypredicted = model.predict(X)# resumir o ajuste do modeloprint(metrics.classification_report(esperado , previsto))print(metrics.confusion_matrix(esperado, previsto))

Baías ingénuas

É também um dos algoritmos de aprendizado de máquina mais conhecidos, cuja principal tarefa é restaurar a densidade da distribuição de dados da amostra de treinamento. Este método geralmente oferece boa qualidade em problemas de classificação multiclasse.

de sklearn importar métricas de sklearn.naive_bayes importar GaussianNBmodel = GaussianNB()model.fit(X, y)print(model)# fazer previsõesexpected = ypredicted = model.predict(X)# resumir o ajuste do modeloprint(metrics.classification_report(esperado , previsto))print(metrics.confusion_matrix(esperado, previsto))

k-vizinhos mais próximos

OkNN (k-vizinhos mais próximos)método é freqüentemente usado como parte de um algoritmo de classificação mais complexo. Por exemplo, podemos usar sua estimativa como característica de um objeto. Às vezes, um simples kNN fornece grande qualidade em recursos bem escolhidos. Quando os parâmetros (principalmente métricas) são bem definidos, o algoritmo geralmente oferece boa qualidade em problemas de regressão.

from sklearn importmetricfrom sklearn.neighbors import KNeighborsClassifier# ajusta um modelo de k vizinhos mais próximos ao modelo de dados = KNeighborsClassifier()model.fit(X, y)print(model)# faz previsõesesperadas = yprevisto = model.predict(X)# resumir o ajuste do modeloprint(metrics.classification_report(esperado, previsto))print(metrics.confusion_matrix(esperado, previsto))

Árvores de decisão

Árvores de classificação e regressão (CART)são freqüentemente usados ​​em problemas, nos quais os objetos possuem características de categoria e usados ​​para problemas de regressão e classificação. As árvores são muito adequadas para classificação multiclasse.

from sklearn importmetricfrom sklearn.tree import DecisionTreeClassifier# ajustar um modelo CART ao modelo de dados = DecisionTreeClassifier()model.fit(X, y)print(model)# fazer previsõesesperadas = yprevisto = model.predict(X)# resumir o ajuste de o modeloprint(metrics.classification_report(esperado, previsto))print(metrics.confusion_matrix(esperado, previsto))

Máquinas de vetores de suporte

SVM (Support Vector Machines)é um dos algoritmos de aprendizado de máquina mais populares, usado principalmente para o problema de classificação. Assim como a regressão logística, o SVM permite a classificação multiclasse com a ajuda do método um contra todos.

from sklearn importmetricfrom sklearn.svm import SVC# ajustar um modelo SVM ao modelo de dados = SVC()model.fit(X, y)print(model)# fazer previsõesesperadas = yprevisto = model.predict(X)# resumir o ajuste de o modeloprint(metrics.classification_report(esperado, previsto))print(metrics.confusion_matrix(esperado, previsto))

Além dos algoritmos de classificação e regressão, o Scikit-Learn possui um grande número de algoritmos mais complexos, incluindo clustering, e também implementou técnicas para criar composições de algoritmos, incluindoEnsacamentoeImpulsionando.

Como otimizar parâmetros de algoritmo

Uma das etapas mais difíceis na criação de algoritmos realmente eficientes é a escolha dos parâmetros corretos. Geralmente é mais fácil com a experiência, mas de uma forma ou de outra, temos que fazer a busca. Felizmente, o Scikit-Learn fornece muitas funções implementadas para esse propósito.

Como exemplo, vejamos a seleção do parâmetro de regularização, em que vários valores são buscados sucessivamente:

import numpy as npfrom sklearn.linear_model import Ridgefrom sklearn.grid_search import GridSearchCV# prepare um intervalo de valores alfa para testalphas = np.array([1,0.1,0.01,0.001,0.0001,0])# crie e ajuste um modelo de regressão de crista , testando cada alphamodel = Ridge()grid = GridSearchCV(estimator=model, param_grid=dict(alpha=alphas))grid.fit(X, y)print(grid)# resume os resultados da grade searchprint(grid.best_score_) print(grid.best_estimator_.alpha)

Às vezes é mais eficiente selecionar aleatoriamente um parâmetro de um determinado intervalo, estimar a qualidade do algoritmo para esse parâmetro e escolher o melhor.

import numpy as npfrom scipy.stats import uniform as sp_randfrom sklearn.linear_model import Ridgefrom sklearn.grid_search import RandomizedSearchCV# prepare uma distribuição uniforme para amostrar o alpha parameterparam_grid = {'alpha': sp_rand()}# crie e ajuste um modelo de regressão de ridge , testando valores alfa aleatóriosmodel = Ridge()rsearch = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100)rsearch.fit(X, y)print(rsearch)# resumir os resultados do parâmetro aleatório searchprint(rsearch.best_score_ )print(rsearch.best_estimator_.alpha)

Revisamos todo o processo de trabalho com a biblioteca Scikit-Learn, exceto para enviar os resultados de volta para um arquivo. Oferecer a você fazer isso como um exercício, já que a vantagem do Python (e da biblioteca Scikit-Learn), em comparação com o R, é sua excelente documentação.

Nos próximos artigos, consideraremos outros problemas em detalhes. Em particular, vamos tocar em uma coisa tão importante comoEngenharia de recursos.

Eu realmente espero que este material ajude os Cientistas de Dados novatos a começar a resolver problemas de aprendizado de máquina na prática o mais rápido possível.

Para finalizar, gostaria de desejar sucesso e paciência para aqueles que estão apenas começando a participar de competições de aprendizado de máquina!