datamarindo

(dar click para agrandar cualquier imagen del texto)      Para conmemorar el día del maestro me puse a explorar la base de datos de las escuelas del país, disponible en datos.gob.mx; la base viene con un csv para cada estado pero en R se combinan fácilmente sin necesidad de descargarlos uno por uno. Me tengo que disculpar porque quería hacer la primera app de shiny del blog pero el tiempo no me lo permitió.      En los registros se recoge la ubicación geográfica, el nivel y subnivel, el nombre y el tipo de escuela, entre otras variables; sólamente están las 259,337 que se encuentran registradas ante la SEP, en las que se van fraguando los ideales y las aspiraciones de este país (por lo menos eso siento cada que paso por una escuela pública).     Primero, al ver cómo están constituidas por subnivel y ámbito, vemos una estructura piramidal muy pronunciada, lo cual nos dice que conforme se avanza de grado disminuye la cantidad de...

(click para agrandar)    En el post anterior hicimos un scrapping de las concesiones mineras de la página del SIAM; sin  embargo, después de revisar, el código sólo rascaba las geometrías, por lo cual tuvimos que minar en otra parte del REST query que nos daba un json por cada concesión minera de las 32,000 cambiando la URL por esta: foreach(i=1:32000) [...] sprintf("http://187.191.71.167/ArcGIS/rest/services/DGM/ConcesionesMineras/MapServer/0/%s?f=json&pretty=true", i)    Esta URL no deja mandar consultas en bloques de cientos/miles y además no permite más de 1 consulta por segundo (otras dejan más de 10 consultas por segundo); así que con paciencia (relativa) en unas cuantas horas podemos obtener un bello geojson con atributos de las concesiones mineras, que trae información del nombre del titular (compañía minera), superficie y sustancias que van a extraer. Descargar y descomprimir     Me preguntaran: ¿Por qué geojson? Porq...

El sistema SIAM (http://www.cartografia.economia.gob.mx/cartografia/#) contiene información de las concesiones mineras; sin embargo, el acceso a la información geográfica que tiene la página hace difícil la descarga y obliga a hacerlo concesión por concesión; por esto minamos la página con R y sacamos este archivo de 32000 concesiones mineras (el que contiene atributos necesitó un poco más de código): Concesiones_con_atributos Concesiones mineras (solo_geometrias) El código necesario en R para obtener todos los polígonos: library (foreach) library (doMC) library (sf) registerDoMC(12)                      # candela baba <- seq(1, 32000, by=100) # para ir sacando de cien en cien foreach (i=baba, .combine=rbind, .inorder=F) %dopar% {   tet <- paste(as.character(i:(i+99)), collapse = "%2C")  #para crear la serie de cien en la URL   url <- spri...

      Las votaciones en la cámara de diputados constituyen una medida excelente para ver diferencias y similitudes entre los partidos políticos, sobre todo por el componente cuantitativo de los cómputos; resulta menos equiparable y más difícil ver diferencias entre partidos en los ámbitos de gobiernos municipales, estatales o nacionales pues en estos casos, estamos comparando municipios con presupuestos y características socioeconómicas distintas, si comparamos gobiernos contemporáneos, o dos gobiernos del mismo municipio en dos instantes históricos distintos, si nos enfocamos en el espacio y variamos el tiempo. Las votaciones de las legislaturas se encuentran "estructuradas" en una URL por cada votación, por lo cual podemos hacerles web-scrapping para estructurarlas y visualizarlas (como se hace con todo en este blog); la URL cuenta con el nombre de la votación, en la estructura "De la Comisión x, por la que se modifica el p...

      Quedando dos minutos para el final del Torneo de Poder, con cuatro peleadores del universo 7 contra el Marcianito-100por100to-real-no-fake vamos a practicar un poco de web scrapping ( rvest ) con un poco de factores ( forcats ), dos paquetes imprescindibles para el data-science en R. Quienes tengan experiencia con factores verán que forcats hace muuuucho más corto y sencillo el proceso de lidiar con valores de este tipo.      La tabla de los luchadores y la imagen de la arena del torneo de poder provienen de  Dragon ball wikia. (CC-BY-SA)       En la gráfica de eliminaciones por luchador unos que dicen "x & himself", si revisamos la tabla descargada, vemos que se trata de sacrificios (como Gohan o #18) o de algunos luchadores que no quieren pelear y saltan.      El código: library(png) library(dplyr) library(rvest) library(ggplot2) library(janitor) library(magrittr) l...

     Este código fue escrito con el objetivo de demostrar lo rápido y sencillo que puede ser usar R para conseguir datos a través de internet y hacer un análisis exploratorio de la información, la cual no se escogió por ningún motivo en especial; graficar directamente por estado a nivel nacional habría tomado unas 10 o 15 líneas de código. La mayor parte del código fue escrita para filtrar, relacionar las distintas bases de datos... y unas 15 líneas para corregir la codificación, pues inegi insiste en usar codificaciones que ni ellos mismos saben y en seguir usando el formato dbf.     En la misma liga de descarga hay un pdf que contiene los catálogos de variables de la base de datos.     Ya teniendo la visualización se pueden detectar ciertos patrones y ciertas anomalías, como la barra más amplia del capítulo 14 (problemas renales) en tierra blanca, que los municipios costeros tienen mayor proporción del capítulo 1 (infecciones...

     En las siguientes, breves líneas de código de R que recrean las gráficas de junto, revisaremos la relación del perfil educativo y laboral de una sección electoral con la votación registrada por los partidos principales; la seción electoral es la unidad espacial de operaciones electorales, que incluye entre 200 y 1500 electores y que puede tener una o más casillas.      Los datos son obtenidos del Organismo Público Local de Veracruz y del INEGI, abajo están las ligas para descargar los archivos. El data frame final consta de 4808 registros por partido, lo cual son muchos datos puntuales, por lo cual se complementa la visualización con líneas de tendencia.   library(magrittr) library(dplyr) library(janitor) library(foreign) library(tibble) library(ggplot2) library(tidyr) library(readr) library(editheme) set_base_sty("Tomorrow Night 80s") #  links para descargar: # resultados electorales Veracruz 2017 "http://prep2017-ver....