Gør visionære webundersøgelser ved hjælp af dyb webdata og Excel webspørgsmål

Hvad ville du sige, hvis jeg fortalte dig, at du har værktøjerne til rådighed til at udføre banebrydende, jordskødende forskning? Det gør du godt, og jeg viser dig hvordan.

Regeringer, akademiske institutioner og ikke-kommercielle forskningsorganisationer offentliggør tabeller fulde af data til det offentlige rum. Uden nogen bruger disse oplysninger, vil dens sande værdi aldrig blive kendt. Desværre er det få mennesker, der har indsigt, færdigheder eller værktøjer til at tage dataene og foretage interessante sammenhænge mellem tilsyneladende uforbundet information.

Baggrund

Meget af den forskning, jeg laver til min egen blog, involverer at grave gennem det, der er kendt som det usynlige web. De 12 bedste søgemaskiner til at udforske det usynlige web De 12 bedste søgemaskiner til at udforske den usynlige web Google eller Bing kan ikke søge efter alt . For at udforske det usynlige web skal du bruge disse specielle søgemaskiner. , for at afsløre data, der er blevet frigivet til offentligheden, men som er skjult for søgemaskinerne De 5 mest avancerede søgemaskiner på Internettet De 5 mest avancerede søgemaskiner på Internettet i en online database. Dette er det dybe web, hvor TorSearch sigter mod at være Google for det dybe web. TorSearch sigter mod at være Google for det dybe web. Tor er en skjult tjeneste og en del af Deep Web. TorSearch er en ny anonym søgemaskine, som grundlægger Chris MacNaughton ønsker at fremstille “Google fra Tor”. , og det er fyldt med værdifulde data. Meget ofte støder jeg på websider, der bare er fyldt med nogle af de mest værdifulde data om emner, der kører spektret fra folketællingsdata til epidemiologiske undersøgelser af sjældne sygdomme. Jeg har konstant nye ideer til, hvordan jeg prøver og korrelerer de forskellige datakilder ved hjælp af forskellige værktøjer - og et af de mest værdifulde værktøjer, jeg har fundet, er webforespørgslen inde i Microsoft Excel.

Finde interessante datakorrelationer

Det, jeg vil vise dig i dag, er et eksempel på, hvordan du kan bruge Excel Web Queries til at hente data fra forskellige websteder og kortlægge dem mod hinanden for at søge efter potentielle sammenhænge mellem dataene.

Måden at starte en øvelse som denne er at komme med en interessant hypotese. For eksempel - for at holde ting interessant her - vil jeg tilfældigt postulere, at skyrocketing af autismesatser i De Forenede Stater er forårsaget af enten vaccineinokulationer eller den stigende tilstedeværelse af elektromagnetiske felter i og omkring børn, såsom mobiltelefoner. Det er en skør hypotese, som du kan finde på de fleste websteder for konspirationsteori, men det er det, der gør dette sjovt. Så lad os komme i gang, skal vi?

Åbn først Excel, gå over til data-menupunktet, og find “Fra web” ikon i menubåndet.

Dette er, hvad du bruger til at importere de forskellige datatabeller fra de mange websteder derude, der har offentliggjort dem.

Import af webdata til Excel

Så i gamle dage skulle du prøve at kopiere dataene fra den tabel på en webside, indsætte dem i Excel og derefter håndtere alle de vanvittige formateringsproblemer, der er involveret i at gøre det. Samlet besvær, og mange gange er det bare ikke værd at hovedpine. Nå, med Excel-webspørgsmål, er disse dage væk. Før du kan importere dataene, skal du naturligvis Google dig rundt på Internettet for at finde de data, du har brug for i tabelformat. I mit tilfælde fandt jeg et websted, der havde offentliggjort Institut for Uddannelsesstatistik for antallet af amerikanske offentlige skoleelever, der blev identificeret som autisme. Der var et dejligt bord med tal fra 1994 helt frem til 2006.

Så du skal bare klikke på “Fra web”, indsæt websidens URL i feltet for forespørgselsadresse, og rulle derefter ned ad siden, indtil du ser den gule pil ved siden af ​​tabellen med de data, du vil importere.

Klik på pilen, så den bliver et grønt markering.

Til sidst fortæller Excel, hvilket felt du vil indsætte tabeldataene inde i dit nye regneark.

Så - Voila! Data flyder automatisk ind i dit regneark.

Så med en tendens til offentlig skole-autisme fra 1996 til 2006 på plads, er det tid til at gå ud for at søge efter vaccination og brug af mobiltelefoner også.

Heldigvis fandt jeg hurtigt tendenser for mobiltelefonabonnenter i USA fra 1985 til 2012. Fremragende data til netop denne undersøgelse. Igen brugte jeg Excel Web Query-værktøjet til at importere den tabel.

Jeg importerede tabellen til et rent, nyt ark. Derefter opdagede jeg vaccinationstendenser for procentdel af skolebørn, der er vaccineret for forskellige sygdomme. Jeg importerede den tabel ved hjælp af værktøjet Webforespørgsel til et tredje ark. Så til sidst havde jeg tre ark med de tre tabeller fyldt med de tilsyneladende ikke-forbundne data, jeg havde opdaget på Internettet.

Det næste trin er at bruge Excel til at analysere dataene og forsøge at identificere eventuelle sammenhænge. Det er her et af mine foretrukne dataanalyseværktøjer kommer til at spille - PivotTable.

Analyse af data i Excel med pivottabellen

Det er bedst at oprette din PivotTable i et helt nyt, tomt ark. Du vil bruge guiden til det, du skal gøre. For at aktivere guiden PivotTable i Excel skal du trykke på Alt-D på samme tid, indtil der vises et meddelelsesvindue. Slip derefter disse knapper, og tryk på “P” nøgle. Derefter vil du se guiden dukke op.

I det første vindue i guiden, vil du vælge “Flere konsolideringsområder”, som giver dig mulighed for at vælge dataene fra alle de ark, du har importeret. Ved at gøre dette kan du konsolidere alle disse tilsyneladende ikke-relaterede data til en, kraftig drejelig. I nogle tilfælde skal du muligvis massere nogle af dataene. For eksempel måtte jeg ordne “År” felt i autismetabellen, så det viste “1994” i stedet for “1994-1995” - hvilket gør det bedre med tabellerne på de andre ark, som også havde det primære årsfelt.

Det fælles felt mellem data er det, du har brug for for at prøve at korrelere information, så husk det, når du jager på nettet efter dine data.

Når PivotTable er færdig, og du har vist alle de forskellige dataværdier i en tabel, er det tid til at lave en visuel analyse for at se, om der er nogen åbenbar forbindelse, der springer ud over dig.

Visualisering af data er nøglen

At have et antal numre i en tabel er godt, hvis du er økonom, men den hurtigste og nemmeste måde at have det på “aha!” øjeblik, hvor du prøver at finde forbindelser som en nål i en høstak, er via diagrammer og grafer. Når du har din PivotChart på plads med alle de datasæt, du har samlet, er det tid til at oprette din graf. Normalt vil en linjegraf gøre det bedst, men det afhænger af dataene. Der er tidspunkter, hvor et søjlediagram fungerer meget bedre. Prøv at forstå, hvilken slags data du ser på, og hvilken form for sammenligning der fungerer bedst.

I dette tilfælde ser jeg på data over tid, så en linjegraf er virkelig den bedste måde at se tendenser gennem årene. Kortlægning af autismesatser (grøn) mod nedskaleret vaccinationsrate (mørkeblå), vandkopper-vacciner (lyseblå) og mobiltelefonbrug (lilla), en pludselig korrelation dukkede pludselig op i dette prøvesæt af data, som jeg legede med.

Mærkeligt nok matchede tendensen i brug af mobiltelefoner fra 1994 til 2006 næsten perfekt stigningen i autismesatser i samme periode. Mens mønsteret var helt uventet, er det et perfekt eksempel på, hvordan sammenbinding af interessante data kan afsløre fascinerende kundeemner - hvilket giver dig større indsigt og motivation til at fortsætte med at skubbe fremad og søge efter flere data, der kan styrke din hypotese yderligere..

Én korrelation som den ovenfor viser ikke noget. Der er masser af tendenser, der stiger over tid - mønsteret kan være tilfældighed, men det kan også være en vigtig ledetråd i din løbende søgen efter flere data på Internettet. Heldigvis har du et kraftfuldt værktøj kaldet Excel Web Queries, der gør denne søgen bare en smule lettere.

Fotokredit: Kevin Dooley via photopin cc