Sådan opdeler du et kæmpe CSV Excel-regneark i separate filer

Excel er fremragende til så mange daglige opgaver. Men nu og da støder du på en af ​​dens mangler: størrelsen på et regneark. Hvis du har brug for at vide, hvordan man gør et Excel-regneark mindre, eller hvordan man opdeler en stor CSV, har vi dig dækket.

At ramme grænsen for regneark er en ret alvorlig opgave i sig selv. Den aktuelle Excel-regnearkgrænse er 1.048.576. Det er rigtigt - over 1 million rækker og samme mængde kolonner.

Men det er utroligt nemt at ramme rækkegrænsen under visse opgaver. Hvis du markedsfører via e-mail, kan du muligvis importere en CSV-fil Sådan importeres data til dine Excel-regneark den pæne og lette måde Sådan importeres data til dine Excel-regneark den Nydelige og enkle måde Har du nogensinde kæmpet med at importere eller eksportere data til et regneark? Denne tutorial hjælper dig med at mestre kunsten at flytte data mellem Microsoft Excel, CSV, HTML og andre filformater. der indeholder millioner af e-mail-adresser. Det eneste problem er, hvordan administrerer du rent faktisk et regneark med så mange adresser i? Hvad nu, hvis nogen sender dig en CSV, der allerede er over grænsen (fra et andet program)?

Jeg vil vise dig, hvordan du fordeler den enorme CSV i let håndterbare bidder.

(Har du ikke en stor CSV til rådighed? Der er nogle temmelig store CSV-datasæt tilgængelige. 15 Massive online databaser, du skal vide om 15 Massive online databaser, du bør vide om Internettet dokumenterer alt. Nogle af disse data koncentreres i massive vidensbaser. Ring dem online leksikon eller databaser - spørgsmålet er, ved du om de bedste? Over på data.gov. Jeg vil bruge listen 260.000 rækker Hospital Sammenlign, så du kan bruge den samme fil.)

1. Brug et program

Der er en række nyttige CSV-splitterprogrammer derude. Jeg viser dig to af de bedste.

CSV Chunker

CSV Chunker er en open source CSV splitter. Det kan håndtere massive filer og hurtigt opdele dem i bunker, du vælger. Det tog cirka 3 sekunder at opdele vores Hospital Compare CSV i 106 bidder, der indeholdt 2.500 rækker hver.

CSV Splitter

CSV Splitter er vores andet værktøj. Det tilbyder stort set den samme funktionalitet som CSV Chunker, omend med et lidt mere elegant design. Det tog cirka 4 sekunder at splitte vores CSV-splitter vores Hospital Sammenlign CSV i 106, der igen indeholdt 2.500 rækker hver.

2. Brug en batchfil

Herefter oprettes en programmerbar batch-fil Sådan opretter du en batch-fil i fem enkle trin Sådan opretter du en batch-fil i fem enkle trin Denne artikel dækker, hvordan du opretter en batchfil ved hjælp af fem enkle trin til Windows-betjening system. . Vi kan bruge en batch-fil til at behandle CSV til mindre bunker og tilpasse filen til at levere forskellige bunker.

Åbn et nyt tekstdokument. Kopier og indsæt følgende:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Rediger denne værdi for at ændre navnet på den fil, der skal opdeles. Medtag udvidelsen. SET BFN = HCAHPSHospital.csv REM Rediger denne værdi for at ændre antallet af linjer pr. Fil. SET LPF = 2500 REM Rediger denne værdi for at ændre navnet på hver kortfil. Det efterfølges af et nummer, der angiver, hvor det er på listen. SET SFN = HosptialSplitFile REM Skift ikke ud over denne linje. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 For / F "delims ==" %% l in (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% hvis! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) endlocal Pause

Du skal konfigurere batch-filen, før du kører. Jeg fortæller dig, hvad hver kommando gør, og du kan ændre den, så den passer til størrelsen på din batchfil, såvel som den krævede output.

• “SET BFN =” skal pege på den CSV, du har brug for at nedbryde
• “SET LPF =” er antallet af rækker, du gerne vil begrænse din nye fil til
• “SET SFN =” er det nye navneplan for dine splittede filer

Når du har indtastet dine variabler, skal du gå til Fil> Gem som. Vælg filnavn, og vælg Gemme. Vælg derefter din nyligt gemte tekstfil, og tryk på F2 at omdøbe det. Udskift TXT-udvidelsen med BAT, og tryk på Okay når advarslen vises. Nu kan du opdele din store CSV!

Jeg advarer dig dog, denne metode tager nogen tid. Du er sandsynligvis bedre til at bruge en af ​​de nævnte splittere.

Det originale script og tråd findes her.

3. Brug et PowerShell-script

Batchfiler er praktiske. Du kan bruge dem til en lang række daglige opgaver. Men PowerShell-scripts er hurtigst muligt hurtig, især til denne type behandling og opdeling.

Følgende script vil hurtigt skære din store CSV i mindre filer. Igen har jeg brugt Hospital Sammenlign CSV til mit eksempel. Det tog cirka 3 sekunder, før kommandoen kørte. Åbn Windows PowerShell ISE. Hvis du er usikker på, hvordan du gør dette, skal du skrive powershell ise i din Start-menu-søgning og vælg den tilsvarende mulighed. Når PowerShell ISE er åben, skal du vælge Vis script pil placeret i øverste højre hjørne (skitseret i rødt i billedet nedenfor).

Kopier og indsæt følgende kommando i scriptpanelet øverst på din skærm.

$ I = 0; Get-Content C: \ Brugere \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ I ++; $ _ | Out-File C: \ Brugere \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Først skal du ændre placeringen af ​​din inputfil. For det andet skal du specificere, hvor mange rækker dine outputfiler skal indeholde. Til sidst skal du specificere din outputfilplacering. Jeg har efterladt mine filstier derinde for at illustrere situationen. Desuden dit output filnavn må have det “_ $ I.csv”suffiks matchende mine. Ellers nummereres dine outputfiler ikke korrekt.

Når du har redigeret filen med dine egne data, skal du trykke på CTRL + S for at gemme dit script.

Det originale script findes her.

4. Læg det i en datamodel

Vores endelige løsning er faktisk ikke at opdele den store CSV i mindre dele. Du forstår, Jose Barreto, et medlem af OneDrive-teamet, illustrerede for nylig nøjagtigt, hvordan du kan indlæse en stor CSV-fil i Excel. I dette tilfælde betyder store over 1.048.567 rækkegrænsen. Han forklarer i en tutorial, at i stedet for faktisk at indlæse filen, kan Excel 2016 oprette et datalink til CSV-filen.

Dataene fra den originale CSV vil være tilgængelige for brugeren inden for en datamodel. Barreto oprettede en pivottabel ved hjælp af “op til 8,5 millioner rækker uden noget problem overhovedet.” Ovenstående billede er taget fra Barretos blogindlæg (linket nedenfor) og viser i alt 2 millioner rækker i Excel. (Lær hvordan du bruger en pivottabel til dataanalyse Sådan bruges en Excel-pivottabel til dataanalyse Sådan bruges en Excel-pivottabel til dataanalyse Pivottabellen er et af de mest kraftfulde værktøjer i Excel 2013-repertoiret. Det er ofte brugt til analyse af store data. Følg vores trin-for-trin-demonstration for at lære alt om det.)

Hvis dette er den løsning, der passer dig, skal du følge Jose Barretos detaljerede tutorial lige her. Husk, at dette ikke opdeler CSV, men det betyder, at du kan manipulere dine data inden for bestemte Excel-værktøjer. Sådan visualiseres din dataanalyse med Excel's el-værktøjer. Sådan visualiseres din dataanalyse med Excel's Power Tools. Excel dræber dem med dets avancerede datastyringsfunktioner. Når du har brugt et af de nye værktøjer, vil du have dem alle. Bliv en mester i din dataanalyse med el-værktøjer! . Hvis du får adgang til dine data til at interagere med dem direkte, kan det være værd at prøve.

Bryd det ned!

Vi har listet fire løsninger til nedbrydning af dine massive CSV-filer, herunder to forskellige værktøjer.

Af de fire løsninger er batch-filen sandsynligvis den langsomste. PowerShell-scriptet er hurtigt og nemt at tilpasse, mens de to applikationer er enkle at bruge ud af boksen. Endelig har du muligheden for direkte at importere dine data til Excel med de millioner rækker.

For flere Excel-tricks, se, hvordan man skiller for- og efternavne i Excel Sådan separeres for- og efternavn i Excel Sådan separeres for- og efternavn i Excel Arbejder med navn i Microsoft Excel? Her er en nyttig tutorial, der viser dig, hvordan man skiller for- og efternavne i Excel. .

Billedkredit: lucadp / Depositphotos