Descripción del Proyecto
Este proyecto fue desarrollado en Python durante mis prácticas en empresa y consistió en la creación de un bot de web scraping orientado a la búsqueda masiva de datos en internet. Su principal objetivo era recopilar de forma automatizada nombres y datos de contacto de entrenadores, escuelas y cuerpos de seguridad especializados en el adiestramiento de perros detectores de explosivos.
Tecnologías Utilizadas
Lenguaje Principal
Python para toda la lógica del scraping
Web Scraping
BeautifulSoup, Scrapy para extracción de datos
Automatización
Selenium para interacción con navegadores
Distribución
PyInstaller para crear ejecutable (.exe)
Funcionalidades Principales
Búsqueda Automatizada
Consultas automáticas en Google con palabras clave predefinidas y filtros avanzados
Búsqueda por Países
Interfaz de consola que permite seleccionar el país objetivo para la búsqueda
Anti-Detection
Técnicas para evadir restricciones y mecanismos anti-bots de Google
Exportación de Datos
Generación automática de archivos de texto con los datos recopilados
Desafíos Técnicos Superados
Restricciones Anti-Bot
Implementación de técnicas para sortear las medidas de seguridad de Google
Optimización de Velocidad
Balance entre velocidad de scraping y evitar detección automática
Precisión en la Extracción
Filtrado inteligente de resultados para obtener datos relevantes y precisos
Distribución Ejecutable
Empaquetado de la aplicación Python en un ejecutable standalone
Flujo de Trabajo
1. Configuración Inicial
El usuario ejecuta el .exe y selecciona el país de búsqueda a través de la consola
2. Generación de Consultas
El bot construye consultas específicas combinando palabras clave con filtros geográficos
3. Scraping Inteligente
Extracción automatizada de datos con técnicas anti-detección y gestión de errores
4. Procesamiento y Exportación
Limpieza, filtrado y exportación de los datos en archivos de texto organizados
Capturas del Bot en Funcionamiento
Aprendizajes y Competencias
Web Scraping Avanzado
Dominio de técnicas de extracción de datos web a gran escala
Automatización de Procesos
Desarrollo de sistemas autónomos para tareas repetitivas complejas
Gestión de Restricciones
Manejo ético y técnico de limitaciones en servicios web
Desarrollo de Herramientas
Creación de aplicaciones ejecutables para uso empresarial
Código del Proyecto
*Proyecto desarrollado con fines de prospección comercial empresarial