Scraper de SOFIFA: Obten todos los jugadores de una liga

Hola de nuevos amigos de la comunidad.

Hoy les traigo algo que puede ser muy útil para crear mcrs de formas más rápida, se llama:

SoFIFA-pyScraper




¿Qué es lo que hace? ¿Para qué sirve?
Primero hay que que saber que un Scraper es una herramienta que nos permite recolectar información de algún sitio u archivo. Básicamente es un programa que escarba y escarba en toda la información para encontrar lo que buscamos.

Lo hice porque SoFIFA es una página que tiene una muy buena base de datos de los equipos que aparecen en el FIFA y la verdad es muy completa. Además de que gracias a las tablas de POLIPOLI, podemos crear MCRSs mas consistentes y apegadas a la realidad.

También, como algunos recordaran, hace algunos meses, hice una tool en linea para crear mcrs [Tienes que estar registrado y conectado para ver este vínculo]
pero tardaba mucho en traer la información, por que todo lo hacía en el momento que el usuario interactuaba con ella, por lo que se tenía pensado cargarle esa información desde un inicio para que sea mucho mas rápido. Eso me motivó a crear este scraper y solo cargar a la herramienta los equipos que la comunidad elija

**Aun no esta implementado, pero pronto lo estará

Por el momento el script solo obtiene a los jugadores de todos los equipos de una liga, en concreto, si te bajas el proyecto y lo ejecutas, te traerá toda la Liga MX:




¿Que necesito para usarlo?
Ve al repo del proyecto: REPO
repo:

Código:

https://github.com/Darkensses/sofifa-pyscraper

Tienes que tener instalado Python y unas cositas más, todo está explicado en el repo, pero como te puede dar flojera (como a mi) aqui te pongo las instrucciones:

Descarga o clona el repo: git clone [Tienes que estar registrado y conectado para ver este vínculo]

Si descargaste el repo:

• descomprime el .zip
  Abre tu IDE preferido (como PyCharm)
  Instala la libreria de parsel
  Ejecuta el script
  

En caso de que hayas clonado el repo:

• Abre tu consola y navega a la carpeta
  Instala la libreria parsel: pip instal parsel --user
  Ejecuta el script: python main.py
  

Al terminar la ejecucion del script podrás notar que tu consola estará llena de toda la información recolectada 🧐 y que además en tu escritorio se habrá creado un archivo json con toda esa información

Todo este proceso dura tan solo ¡5 minutos! (de acuerdo con las pruebas). Ya no vas a tener que estar buscando los jugadores uno por uno para sacar sus habilidades, todo lo hace de una pasada

Puedes cambiar la liga para obtener otros equipos, tan solo debes poner el indice de la liga que se imprime en la consola:

Código:

#Liga MX = 39
response = requests.get(base_url + "/league/" + arr_leagues[39].get("id_league"))

¿Que sigue?
Como mencioné allá arrbia, por ahora solo trae toda una liga, solo debo cambiar un poquito el codigo y el scraping estará completo, pero aun no se como estructurar el archivo json. Como pudieron parecir en la imagen de arriba, ¿les parce bien que se agrupe la informacion por liga > equipo > jugador (id_jugador) > habilidades del jugador. ?

Si se fijan bien, podran notar que para identificar al jugador le he el id que le da sofifa como forma de identificar al conjunto de habilidades, había estado pensando en que seria mejor el nombre, pero la idea de un json es tener informacion muy concreta y con pocas repeticiones de valores.
LAS SUGERENCIAS SON BIENVENIDAS!!!!

¿Puedo colaborar?
Por favor colabora si asi lo deseas nada nos haría más feliz que tener alguien mas con quien trabajar o pasar el tiempo sacando ese chiringuito. Por favor checa nuestro repo, o envianos un mensaje a mi o a la pagina de MexWE.

¿Lo puedo usar?
Si, este codigo es libre, puedes crear cualquier cosa que se te venga a la mente, siempre y cuando nos menciones en alguna parte del proyecto y que no sea algo que dañe a SoFIFA o a cualquier otro sitio o persona.

Los scraper visitan las paginas de donde buscamos la información muchísimas veces y muy rápido, por lo que pueden volverse una especie de ataque de peticiones y saturar el sitio. Eso no está para nada cool. De hecho puedes terminar bloqueado por los sitios si lo consideran como malicioso!. Usálo de forma responsable y da crédito a SoFIFA y su comunidad.

Saludos y que estén bien  

Dale like a la página de MexWE aquí.

Que buena herramienta. La estructura liga > equipo > jugador (id_jugador) > habilidades del jugador me parece correcta. El añadir el ID tambien me parecia necesario, el ID se puede asociar a una base de datos de apariencias fisicas y entonces si que estaria el jugador al completo. La base de datos de apariencias fisicas habria que hacerla entre los usuarios. Yo estoy haciendo una base de datos de fifa, podria aportar las apariencias de mi base de datos al proyecto

Gracias, lo intentare manana , a ver si lo entiendo bien . Realmente es un muy grande aporte a la comunidad , gracias de nuevo !!
Si puedo participar con lo de las aparencias o para hacer tests del programa me alegraria.

polipoli escribió:Que buena herramienta. La estructura liga > equipo > jugador (id_jugador) > habilidades del jugador me parece correcta. El añadir el ID tambien me parecia necesario, el ID se puede asociar a una base de datos de apariencias fisicas y entonces si que estaria el jugador al completo. La base de datos de apariencias fisicas habria que hacerla entre los usuarios. Yo estoy haciendo una base de datos de fifa, podria aportar las apariencias de mi base de datos al proyecto

Hola polipoli y lolafg, estariamos encantados de que colaboraron con sus observaciones y sugerencias. Por favor dejenos un mensaje y alguna forma de que los contactemos (facebook o whatsapp estarian geniales)

Hola , mi computadora es 32 bit , no puedo usar pycharm....

lolafg escribió:  Hola , mi computadora es 32 bit , no puedo usar pycharm....

Hola, puedes usar cualquier editor y ejecutar desde consola man en eso no habría problema

Puedes ayudarme
Instale PyCharm, Pyton, Pip pero doy run al script y me da error... que puedo hacer, soy creador de mods y de squads de FIFA 19

Hola, gran trabajo instale Pyton, pip, PhyCharm pero me da este error"C:\Users\Dr. Yassel Cruz\PycharmProjects\SOFIFA TEAMS\venv\Scripts\python.exe" "D:/Games/FIFA 19 (33.3 GB)/SOFIFA/SOFIFA script/sofifa-pyscraper-master/main.py"
Traceback (most recent call last):
File "D:/Games/FIFA 19 (33.3 GB)/SOFIFA/SOFIFA script/sofifa-pyscraper-master/main.py", line 5, in <module>
import requests
ModuleNotFoundError: No module named 'requests'

Process finished with exit code 1

Que puedo hacer??? Soy creador de mods y squads de FIFA 19 y me seria de ayuda

polipoli escribió:Que buena herramienta. La estructura liga > equipo > jugador (id_jugador) > habilidades del jugador me parece correcta. El añadir el ID tambien me parecia necesario, el ID se puede asociar a una base de datos de apariencias fisicas y entonces si que estaria el jugador al completo. La base de datos de apariencias fisicas habria que hacerla entre los usuarios. Yo estoy haciendo una base de datos de fifa, podria aportar las apariencias de mi base de datos al proyecto

Hola polipoli, precisamente en la base de datos y toda la apariencia física de los jugadores he estado trabajando, actualmente tengo la conversión de los tipos de piel y de la mayoría de los peinados de todos los jugadores de la BD de FIFA 20 a WE2002, podría colaborar con este gran proyecto

hmgr escribió:

polipoli escribió:Que buena herramienta. La estructura liga > equipo > jugador (id_jugador) > habilidades del jugador me parece correcta. El añadir el ID tambien me parecia necesario, el ID se puede asociar a una base de datos de apariencias fisicas y entonces si que estaria el jugador al completo. La base de datos de apariencias fisicas habria que hacerla entre los usuarios. Yo estoy haciendo una base de datos de fifa, podria aportar las apariencias de mi base de datos al proyecto

Hola polipoli, precisamente en la base de datos y toda la apariencia física de los jugadores he estado trabajando, actualmente tengo la conversión de los tipos de piel y de la mayoría de los peinados de todos los jugadores de la BD de FIFA 20 a WE2002, podría colaborar con este gran proyecto

Hola. Si tu base contiene IDs de jugadores de Fifa y apariencias, puedes aportarlo al proyecto, seria util, porque se pueden asociar esas apariencias a los IDs y se podrian descargar jugadores completos, incluyendo apariencias. Yo aportare las apariencias de mi base cuando la termine

Estoy ejecutando en esta ubicación: C:\Users\LENOVO\Desktop\Scraper\sofifa-pyscraper>python main.py

Y me aparece este error:
Traceback (most recent call last):
File "main.py", line 5, in <module>
import requests
ModuleNotFoundError: No module named 'requests'

Me pueden ayudar? me serviría mucho! Gracias!

Instale todo como dices y me da el siguiente error:
"C:\Users\Dr. Yassel Cruz\PycharmProjects\SOFIFA SCRAPPY\venv\Scripts\python.exe" "D:/Games/FIFA 19 (33.3 GB)/SOFIFA/SOFIFA script/sofifa-pyscraper-master/main.py"
Traceback (most recent call last):
File "D:/Games/FIFA 19 (33.3 GB)/SOFIFA/SOFIFA script/sofifa-pyscraper-master/main.py", line 5, in <module>
import requests
ModuleNotFoundError: No module named 'requests'

Process finished with exit code 1 Puedes ayudarme????

Me aparece ese mismo error:
Traceback (most recent call last):
File "main.py", line 5, in <module>
import requests
ModuleNotFoundError: No module named 'requests'

Que puedo hacer

Gracias a la ayuda de darknesses... gran script y gran trabajo muy util para la comunidad FIFA

que buen proyecto si supiera programar me encantaria diseñar la interfaz grafica en especial los colores y las estadisticas de los jugadores por ejemplo diseñar una parte donde se muestre un campo de futbol indicando con una luz que sube y baja cuando se selecciona un jugador cuando tenga su respectivo valor de posicion en el campo.
me gustaria que llevara colores como una mescla de asul marino y purpuras en los marcos de las ventanas y fondo en forma degradado jugando con los colores oscuros.

Ronnywe escribió:que buen proyecto si supiera programar me encantaria diseñar la interfaz grafica en especial los colores y las estadisticas de los jugadores por ejemplo diseñar una parte donde se muestre un campo de futbol indicando con una luz que sube y baja cuando se selecciona un jugador cuando tenga su respectivo valor de posicion en el campo.
me gustaria que llevara colores como una mescla de asul marino y purpuras en los marcos de las ventanas y fondo en forma degradado jugando con los colores oscuros.

amigo, ya tenemos algo parecido. Tus sugerencias son valiosas!! gracias!!!





[Tienes que estar registrado y conectado para ver este vínculo]

Felicitaciones amigo

Darkensses:  Gran trabajo me gusto la interfaz pero no ser tan exigente o alargar el problema con todo el respeto se consideraria unas mejoras pero eso ya seria otra versiones supongo, pero es un excelente  trabajo se ven bonito los colores saludos desde colombia bro. antes 1 pequeña sugerencia es nose en mi gusto me gustaria que llevara el color de las barras en fupcia oscuro y en especial un marco del mismo color o en verde en homenaje a sofifa llevar color en el marco en el lugar donde se muestra los nombres y posiciones de los jugadores pero en mi gusto un fupcia seria un color representativo.

Hola de nuevo amigos. Quiero compartirles que hemos actualizado la herramienta para crear MCRs y ahora cuenta con más ligas sin impactar en el rendimiento de la misma. Todo online.

[Tienes que estar registrado y conectado para ver este vínculo]

Se agregaron las siguientes ligas:
- English Premier League
- French Ligue 1
- German 1. Bundesliga
- Italian Serie A
- Spain Primera Division
- Mexican Liga MX
- Holland Eredivisie
- USA Major League Soccer

¿No ves tu liga aquí? Haz una petición en nuestra página oficial en los comentarios de alguna publicación o crea un issue en el repo oficial de github. No olvides darnos likes y compartir

[Tienes que estar registrado y conectado para ver este vínculo]

Genial !!!!!!!!

lolafg escribió: Genial !!!!!!!!

Hey lolafg

Ya quedó solucionado el error que me mencionabas. Muchas gracias por encontrar ese bug. Te explico que pasó:

El scraper tenia un pequeño error en donde tomaba el id del equipo TSG 1899 Hoffenheim (el cual es 10029) y lo unía con el '1899' del resto del nombre, por lo que quedaba 100291899, entonces cuando el programa visitaba ese link pues no existía un equipo con es ID y por lo tanto el equipo se iba vacío jaja. Muy buen ojo

Ya puedes visitar la página y encontrar al equipo ahi. Tiene un pequeño bug que luego corregiré, a ver si lo encuentras jejeje ¡¡FELICES FIESTAS!!

Stade brestois 29 vacia

Vitorcosta escribió:Stade brestois 29 vacia

Discula no comprendo lo que escribes, a que haces raferencia en el programa?

Darkensses te queria compartir el Info de Configuracion de Rostros, espero proximamente poner las demas configuraciones del player....
adjunto un ejemplo en foto


Pd:
Tambien desearia saber si al salvar la .MCR con 22 players pude funcionar entre versiones de ISS que tienen 22 o el we2002 que tiene 23 players, la persona que mas nos puede ayudar en esto es PoliPoli.... ya que el sabe en que versiones se puede salvar, hay versiones que permiten 22 players y otras versiones 23 pero sinceramente Nose cuales son , seria muy interesante sabedr si la app al savar con 22 players funcinan en esos juegos

Tambien Pienso que lo mejor de esta version es la separacion del sofifa-pyscraper, porque asi, se puede descargagar la database independientemente de la version de mexwe-mcr que es la app que hace la fiesta... mexwemcr.netlify.app

cordial saludo comunidad

@DiegoPino sobre ese mensaje, se refiere a que ese equipo estaba vacío, es decir no traía jugadores. Creo ya se corrigió.

La idea es poner los rostros, pero mi limitante es no saber en que offsets se escriben la información de los mismos. Tal vez PoliPoli o alguien más del foro conozca en que offset se escriben el tipo de rostro, pelo y bigote. Esa es la razón el cual no lo tiene la app.

Respecto al ultimo punto, el código esta separado:

sofifa-pyscraper: el scraper para obtener las ligas y juagdores
mcr-api: el server para poner ahí los archivos json
mexwe-mcr: la app que usa el server de mcr-api para crear los archivos MCRs

Espero sinceramente que puedan ayudarme a implementar los rostros y lo que comentas de los jugadores. No dudes en contactarme por facebook o Telegram (pero de preferencia facebook)

DiegoPino escribió:

Vitorcosta escribió:Stade brestois 29 vacia

Discula no comprendo lo que escribes, a que haces raferencia en el programa?

Darkensses te queria compartir el Info de Configuracion de Rostros, espero proximamente poner las demas configuraciones del player....
adjunto un ejemplo en foto


Pd:
Tambien desearia saber si al salvar la .MCR con 22 players pude funcionar entre versiones de ISS que tienen 22 o el we2002 que tiene 23 players, la persona que mas nos puede ayudar en esto es PoliPoli.... ya que el sabe en que versiones se puede salvar, hay versiones que permiten 22 players y otras versiones 23 pero sinceramente Nose cuales son   , seria muy interesante sabedr si la app al savar con 22 players funcinan en esos juegos

Tambien Pienso que lo mejor de esta version es la separacion del sofifa-pyscraper, porque asi, se puede descargagar la database independientemente de la version de mexwe-mcr que es la app que hace la fiesta... mexwemcr.netlify.app

cordial saludo comunidad  

Lo de la cara y pelo queda muy bonito en ese espacio del cuadro, pero ya lo he dicho muchas veces, sofifa no aporta codigos referentes a la apariencia fisica de los jugadores. En fifa seguramente existiran codigos para definir las apariencias, pero a sofifa no le interesa eso, ponen la foto y de ahi no se puede sacar nada. La apariencia fisica es trabajo de los editores, ya lo dije, los editores pueden crear una base de datos de apariencias y asociar esas apariencias al ID del jugador y en futuras versiones del programa se podrian descargar jugadores al completo, incluyendo apariencias.

Las habilidades de we2002 sirven para:
-We2000 1st
-We2000 2nd
-We2001
-We2002
-Iss2
-Pes1
-Pes2

En We4 e Iss1 las habilidades son diferentes, las habilidades van de 2 a 9, aunque eso es lo de menos porque los intervalos son los mismos, pero las apariencias si son muy diferentes. Se puede adaptar una base de datos de we2002 a we4 con una herramienta que hice.

El numero de jugadores es lo de menos, en todos los juegos son 22 menos en we2002 y pes2 que son 23. El caso es que siempre se trabaja con 23 jugadores para crear un archivo mcr, luego dependiendo del juego vas a meter 22 o 23 jugadores. En los juegos de 22 jugadores el jugador 23 es de relleno. En este scraper imagino que habra que meterle si o si 23 jugadores para que funcione, entonces para juegos de 22 jugadores habra que meterle uno de relleno