Excel CSV. fichier avec plus de 1 048 576 lignes de données
on m'a donné un fichier CSV avec plus que le MAX Excel peut gérer, et j'ai vraiment besoin de pouvoir voir toutes les données. Je comprends et j'ai essayé la méthode de la "diviser", mais ça ne marche pas.
un peu de background: le fichier CSV est un fichier CSV Excel, et la personne qui a donné le fichier a dit qu'il y en avait environ 2m lignes de données.
quand je l'importe dans Excel, j'obtiens des données jusqu'à la rangée 1,048,576, puis réimportez - le dans un nouvel onglet À partir de la ligne 1,048,577 dans le données, mais il ne me donne qu'une rangée, et je sais pour un fait qu'il devrait y avoir plus (non seulement à cause du fait que "la personne" a dit qu'il y en avait plus de 2 millions, mais à cause de l'information dans les dernières séries de rangées)
j'ai pensé que peut-être la raison pour laquelle cela se produit est parce que j'ai été fourni le fichier CSV comme un fichier CSV Excel, et donc toute l'information passée 1,048,576 est perdu (?).
ai-je besoin de demander un fichier dans un SQL format de base de données?
13 réponses
Vous devriez essayer délimiter il peut ouvrir jusqu'à 2 milliards de lignes et de 2 millions de colonnes très rapidement a 15 jours d'essai. Fait le travail pour moi!
je suggère de charger le .Fichier CSV dans MS-Access.
avec MS-Excel vous pouvez alors créer une connexion de données à cette source (sans charger les enregistrements dans une feuille de travail) et créer une table de pivot connectée. Vous pouvez alors avoir un nombre virtuellement illimité de lignes dans votre table (en fonction du processeur et de la mémoire: j'ai maintenant 15 lignes mln avec 3 Go de mémoire).
avantage Supplémentaire est que vous pouvez maintenant créer une vue agrégée dans MS-Access. De cette façon, vous pouvez créez des aperçus à partir de centaines de millions de lignes et visualisez-les ensuite dans MS-Excel (attention à la limitation de 2 Go des fichiers NTFS dans l'OS 32 bits).
tout d'Abord vous souhaitez modifier le format de fichier csv txt. C'est simple à faire, il suffit d'éditer le nom du fichier et de changer csv en txt. (Windows vous avertira de la possibilité de corrompre les données, mais c'est très bien, cliquez sur ok). Copiez ensuite le fichier txt de sorte que maintenant vous avez deux fichiers à la fois avec 2 millions de lignes de données. Puis ouvrez le premier fichier txt et supprimer la deuxième million de lignes et enregistrez le fichier. Puis ouvrir le deuxième fichier txt et supprimer le premier million de lignes et enregistrer fichier. Maintenant, changez les deux fichiers en csv de la même façon que vous les avez changés en txt à l'origine.
Excel 2007+ est limité à un peu plus d'un million de lignes (2^20 pour être précis), donc il ne chargera jamais votre fichier de ligne 2M. Je pense que la technique que vous appelez le dédoublement est la chose intégrée Qu'Excel A, mais afaik qui ne fonctionne que pour largeur les problèmes, pas pour longueur problèmes.
la façon la plus facile que je vois tout de suite est d'utiliser certains outil de fractionnement de fichiers - il y en a des tonnes et l'utiliser pour chargez les fichiers csv partiels résultants dans plusieurs feuilles de travail.
ps: "excel csv files" n'existe pas, il n'y a que des fichiers Produits par Excel qui utilisent un des formats communément appelé csv files...
Essayez d'utiliser Ouvrir Affiner. Il a été en mesure de gérer les ensembles de données qui autrement crash Excel pour moi.
Vous pouvez utiliser PowerPivot pour travailler avec des fichiers jusqu'à 2 go, ce qui sera suffisant pour vos besoins.
je suis surpris que personne ne l'ait mentionné Microsoft Query. Vous pouvez simplement demander des données à partir du Grand fichier CSV comme vous en avez besoin en n'interrogeant que ce dont vous avez besoin. (Interrogation de la configuration, telles que la façon de filtrer un tableau dans Excel)
mieux encore, si on est ouvert à l'installation de L'add-in de requête de puissance, c'est super simple et rapide. Note: Power Query est un add-in pour 2010 et 2013 mais est livré avec 2016.
si vous avez Matlab, vous pouvez ouvrir de grands fichiers CSV (ou TXT) via sa facilité d'importation. L'outil vous donne diverses options de format d'importation, y compris des tableaux, des vecteurs de colonne, matrice numérique, etc. Cependant, avec Matlab interprète paquet, il prend son temps pour importer un fichier volumineux et j'ai été en mesure d'importer un avec plus de 2 millions de lignes en 10 minutes environ.
L'outil est accessible via L'onglet Accueil de Matlab en cliquant sur le bouton" Importer des données". Exemple l'image d'un gros téléchargement de fichier est montrée ci-dessous:
Une fois importées, les données apparaissent sur l'espace de travail de droite, qui peut alors être double-cliqué dans un format Excel et même être tracée dans différents formats.
je vous recommande fortement de vous importez les données dans un Accès de sorte que vous pouvez ensuite la requête de l'intérieur, de l'accès. Vous pouvez essayer D'utiliser R pour interroger votre fichier aussi bien, que je serais plus qu'heureux d'aider avec. Autrement, vous pourriez regarder une solution libre comme ce produit, qui vous permet d'exécuter des déclarations SQL à partir d'un fichier Excel. http://www.querystorm.com/Home/Guide
utilisez MS Access. J'ai un fichier de 2,673,404 enregistrements. Il ne s'ouvrira pas dans le bloc-notes++ et excel ne chargera pas plus de 1 048 576 enregistrements. Il est délimité par tabulation puisque j'ai exporté les données d'une base de données mysql et j'en ai besoin au format csv. Donc je l'ai importé dans Access. Changer l'extension du fichier .txt de sorte que MS Access vous fera passer par l'Assistant d'importation.
MS Access va créer un lien vers votre fichier pour que la base de données reste intacte, conservez le fichier csv
j'ai pu éditer un gros fichier csv de 17 GO dans du texte Sublime sans problème (la numérotation des lignes rend beaucoup plus facile de garder la trace du fractionnement manuel), et ensuite le décharger dans Excel en morceaux plus petits que 1.048.576 lignes. Simple et assez rapide - moins faffy que la recherche, l'installation et l'apprentissage de solutions sur mesure. Rapide et sale, mais il fonctionne.
"DO I need to ask for a file in an SQL database format?" Oui!!!
Utiliser une base de données, est la meilleure option pour ce problème.
Excel 2010 spécifications .
séparez le CSV en deux fichiers dans Notepad. C'est une douleur, mais vous pouvez simplement éditer chacun d'eux individuellement dans Excel après cela.