Como funciona xgboost

Xgboost

XGBoost es un algoritmo de aprendizaje automático conjunto de código abierto que utiliza una implementación de alto rendimiento de árboles de decisión potenciados por gradiente. Una base de código C++ subyacente combinada con una interfaz Python hace de XGBoost una biblioteca muy rápida, escalable y fácil de usar.

XGBoost es un algoritmo que ha dominado recientemente las competiciones de aprendizaje automático aplicado (ML) y Kaggle para datos estructurados o tabulares. El algoritmo XGBoost se desarrolló como un proyecto de investigación en la Universidad de Washington, y se presentó en la Conferencia SIGKDD en 2016. Desde su presentación, a este algoritmo no solo se le ha atribuido la victoria en numerosas competiciones de Kaggle, sino también el hecho de ser el algoritmo que impulsa varias aplicaciones industriales de vanguardia. Como resultado, hay una fuerte comunidad de científicos de datos que contribuyen a los proyectos de código abierto XGBoost con ~ 500 colaboradores y ~ 5000 commits en GitHub.

Los árboles de decisión son un tipo de algoritmo de ML que tiene una estructura de grafo en forma de árbol que se utiliza para la predicción. Las hojas de un árbol de decisión corresponden a clases objetivo, y cada nodo de un árbol de decisión representa un atributo. El popular juego electrónico 20Q y la habilidad de Alexa Twenty Questions son ejemplos de un árbol de decisión en acción.

Cómo funciona xgboost para la regresión

XGBoost comenzó inicialmente como un proyecto de investigación de Tianqi Chen[12] como parte del grupo Distributed (Deep) Machine Learning Community (DMLC). Inicialmente, comenzó como una aplicación de terminal que se podía configurar mediante un archivo de configuración libsvm. Se hizo muy conocido en los círculos de competición de ML tras su uso en la solución ganadora del Higgs Machine Learning Challenge. Poco después, se crearon los paquetes para Python y R, y XGBoost cuenta ahora con implementaciones de paquetes para Java, Scala, Julia, Perl y otros lenguajes. Esto acercó la librería a más desarrolladores y contribuyó a su popularidad entre la comunidad Kaggle, donde se ha utilizado en un gran número de competiciones[11].

Pronto se integró con otros paquetes facilitando su uso en sus respectivas comunidades. Ahora se ha integrado con scikit-learn para usuarios de Python y con el paquete caret para usuarios de R. También se puede integrar en frameworks de flujo de datos como Apache Spark, Apache Hadoop y Apache Flink utilizando el Rabit[13] y XGBoost4J.[14] XGBoost también está disponible en OpenCL para FPGAs[15] Una implementación eficiente y escalable de XGBoost ha sido publicada por Tianqi Chen y Carlos Guestrin[16].

Refuerzo de gradiente

XGBoost, acrónimo de Extreme Gradient Boosting, es una biblioteca de aprendizaje automático distribuida y escalable de árboles de decisión potenciados por gradiente (GBDT). Proporciona un refuerzo de árbol paralelo y es la biblioteca de aprendizaje automático líder para problemas de regresión, clasificación y clasificación.

Para entender XGBoost, es fundamental comprender primero los conceptos y algoritmos de aprendizaje automático en los que se basa: aprendizaje automático supervisado, árboles de decisión, aprendizaje conjunto y refuerzo por gradiente.

Los árboles de decisión crean un modelo que predice la etiqueta evaluando un árbol de preguntas de características si-entonces-si verdadero/falso, y estimando el número mínimo de preguntas necesarias para evaluar la probabilidad de tomar una decisión correcta. Los árboles de decisión pueden utilizarse para la clasificación, para predecir una categoría, o para la regresión, para predecir un valor numérico continuo. En el sencillo ejemplo siguiente, se utiliza un árbol de decisión para estimar el precio de una vivienda (la etiqueta) a partir del tamaño y el número de dormitorios (las características).

Gradient Boosting Decision Trees (GBDT) es un algoritmo de aprendizaje conjunto de árboles de decisión similar a random forest, para clasificación y regresión. Los algoritmos de aprendizaje ensemble combinan varios algoritmos de aprendizaje automático para obtener un modelo mejor.

Cómo funciona xgboost paso a paso

Desde su introducción en 2014, XGBoost se ha convertido en el algoritmo de aprendizaje automático preferido por los científicos de datos y los ingenieros de aprendizaje automático. Es una biblioteca de código abierto que puede entrenar y probar modelos en grandes cantidades de datos. Se ha utilizado en muchos campos, desde la predicción de las tasas de clics de los anuncios hasta la clasificación de eventos de física de alta energía.

XGBoost está diseñado para ofrecer velocidad, facilidad de uso y rendimiento en grandes conjuntos de datos. No requiere optimización de los parámetros ni ajuste, lo que significa que puede utilizarse inmediatamente después de su instalación sin necesidad de ninguna otra configuración.

XgBoost es un algoritmo de refuerzo de gradiente para el aprendizaje supervisado. Es una implementación altamente eficiente y escalable del algoritmo boosting, con un rendimiento comparable al de otros algoritmos de aprendizaje automático de última generación en la mayoría de los casos.

La velocidad de ejecución es crucial porque es esencial para trabajar con grandes conjuntos de datos. Cuando se utiliza XGBoost, no hay restricciones en el tamaño del conjunto de datos, por lo que se puede trabajar con conjuntos de datos más grandes de lo que sería posible con otros algoritmos.