523. Import danych z Excela i CSV – typowe problemy
Import danych z arkusza kalkulacyjnego lub pliku CSV jest zwykle pierwszym etapem właściwej analizy. Jednocześnie jest to moment, w którym mogą powstać błędy trudne do zauważenia: liczby zostają odczytane jako tekst, daty zmieniają znaczenie, polskie znaki są zastępowane nieczytelnymi symbolami, a puste komórki są automatycznie interpretowane jako zera albo brak danych. W konsekwencji problem nie musi ujawnić się podczas importu. Może pojawić się dopiero przy obliczaniu średniej, budowie modelu regresji lub interpretacji wyników.
W tej lekcji omawiamy import danych z Excela i CSV w sposób kontrolowany. Nie chodzi wyłącznie o kliknięcie polecenia „Otwórz” lub „Importuj”, lecz o sprawdzenie, czy program statystyczny odczytał dane zgodnie z ich znaczeniem badawczym. Zagadnienia te uzupełniają praktyczny tok szkolenia dostępnego na statystyk.edu.pl, zwłaszcza wcześniejsze lekcje dotyczące organizacji projektu analitycznego i powtarzalności obliczeń.
1. Czym różni się plik Excel od pliku CSV?
Plik Excel, najczęściej z rozszerzeniem .xlsx lub starszym .xls, może zawierać wiele arkuszy, formuły, formatowanie, komentarze, filtry i dodatkowe informacje. To wygodne środowisko pracy, ale jego bogata struktura oznacza, że program statystyczny musi zdecydować, który arkusz, zakres i sposób interpretacji danych wybrać.
Plik CSV jest plikiem tekstowym, w którym wartości w jednym wierszu są rozdzielone określonym separatorem, na przykład przecinkiem, średnikiem lub tabulatorem. Skrót CSV pochodzi od angielskiego comma-separated values, lecz w praktyce plik nie zawsze używa przecinka. W polskich ustawieniach regionalnych często spotyka się średnik jako separator kolumn, ponieważ przecinek pełni funkcję znaku dziesiętnego.
CSV nie przechowuje typów zmiennych w takim sensie jak baza danych. Wartość 12 może zostać odczytana jako liczba, tekst albo kod kategorii. O tym, jak zostanie zinterpretowana, decydują ustawienia importu, zawartość kolumny oraz reguły programu.
Warto zwrócić uwagę na często zgłaszane problemy, związane z pobranie w nieprawidłowy sposób danych z arkuszy np. Google jako plik csv. Użytkownicy często raportują, że dane są niekompletne, dochodzi o ich ucięcia.
2. Najważniejsza zasada: import to decyzja o typie danych
Każda kolumna powinna otrzymać właściwy typ zmiennej. Najczęściej rozróżniamy:
- zmienne liczbowe, na przykład wiek, stężenie glukozy lub liczba hospitalizacji;
- zmienne kategoryczne, na przykład płeć, grupa badana lub status palenia;
- zmienne porządkowe, których wartości mają naturalną kolejność, na przykład nasilenie bólu od 0 do 10;
- daty i czas, na przykład data wizyty albo godzina przyjęcia do szpitala;
- zmienne tekstowe**, na przykład identyfikator pacjenta, kod ośrodka lub komentarz.
Automatyczne rozpoznawanie typów bywa użyteczne, lecz nie powinno zastępować kontroli badacza. Program może uznać kolumnę za liczbową, ponieważ większość komórek zawiera liczby, mimo że pojedynczy wpis „brak” powoduje później powstanie braków danych. Może także uznać identyfikator 00125 za liczbę i usunąć zera wiodące, chociaż dla identyfikacji osoby kod ten powinien pozostać tekstem.
3. Separatory kolumn i znaki dziesiętne
3.1. Separator kolumn
Najczęstszy problem w pliku CSV polega na użyciu niewłaściwego separatora. Jeżeli plik zawiera wiersz:
id;wiek;cisnienie;grupa
i zostanie zaimportowany z założeniem, że separatorem jest przecinek, program może odczytać cały wiersz jako jedną kolumnę. W innym przypadku część danych może zostać przesunięta do niewłaściwych kolumn.
Przed importem warto otworzyć plik w prostym edytorze tekstu i sprawdzić kilka pierwszych wierszy. Nie należy kierować się wyłącznie rozszerzeniem pliku ani tym, jak wygląda on po otwarciu w Excelu. Excel potrafi bowiem automatycznie dopasować sposób wyświetlania do ustawień systemowych.
3.2. Znak dziesiętny i separator tysięcy
W polskiej konwencji liczba może być zapisana jako 12,5, natomiast w wielu programach i bibliotekach statystycznych standardem jest 12.5. Dodatkowo zapis 1.250,50 może oznaczać tysiąc dwieście pięćdziesiąt i pięćdziesiąt setnych, a nie liczbę 1,2505.
Przy imporcie trzeba sprawdzić dwa ustawienia:
- znak dziesiętny, czyli separator części całkowitej i ułamkowej;
- znak grupowania tysięcy, który może występować w dużych liczbach.
Jeśli program odczyta wartości liczbowe jako tekst, obliczenia mogą zakończyć się błędem albo pominąć znaczną część obserwacji. W środowisku R odpowiednie ustawienia można kontrolować za pomocą lokalizacji, na przykład locale(decimal_mark = ",", grouping_mark = "."). Koncepcja lokalizacji obejmuje także kodowanie znaków, nazwy miesięcy i format dat (Wickham, 2014).
4. Kodowanie znaków i polskie litery
Kodowanie znaków określa, w jaki sposób tekst jest zapisywany jako ciąg bajtów. Jeżeli plik został zapisany w jednym kodowaniu, a odczytany w innym, wyrazy zawierające ą, ć, ę, ł, ń, ó, ś, ź lub ż mogą zostać zniekształcone.
Przykładowo nazwa „Łódź” może pojawić się jako „Åódź”. Taki problem nie jest wyłącznie kosmetyczny. Jeśli analiza ma porównywać ośrodki na podstawie nazw, program może potraktować dwa różnie zakodowane zapisy jako dwie odrębne kategorie.
W nowych projektach warto stosować UTF-8 i zapisywać tę informację w dokumentacji projektu. Przy imporcie pliku z nieznanego źródła należy sprawdzić:
- czy polskie znaki są wyświetlane poprawnie;
- czy nazwy kategorii nie zostały niepotrzebnie rozdzielone;
- czy identyfikatory i opisy nie zawierają niewidocznych znaków;
- czy plik nie zawiera znacznika BOM, który w niektórych programach może zostać odczytany jako część pierwszej nazwy zmiennej.
5. Daty i godziny: format nie zawsze oznacza to samo
Daty są szczególnie podatne na błędną interpretację. Zapis 03/04/2025 może oznaczać 3 kwietnia albo 4 marca, zależnie od przyjętej konwencji. Bezpieczniejszy jest format ISO 2025-04-03, ponieważ kolejność rok–miesiąc–dzień jest jednoznaczna.
Inny problem wynika z faktu, że Excel przechowuje daty jako liczby seryjne, a program statystyczny może odczytać je jako zwykłe wartości liczbowe. Wtedy data wizyty może pojawić się jako liczba około 45 tysięcy. Sama wartość nie jest „błędna” technicznie, ale bez informacji o systemie dat nie ma poprawnego znaczenia dla użytkownika.
W badaniach medycznych trzeba dodatkowo odróżniać datę od czasu trwania. Data przyjęcia pacjenta i liczba dni hospitalizacji nie są wymienne. Jeżeli plik zawiera zarówno datę, jak i godzinę, należy sprawdzić, czy importer zachował strefę czasową oraz sekundy. W analizie ratownictwa różnica kilku minut może mieć znaczenie, dlatego nie należy automatycznie zaokrąglać czasu do godzin lub dni.
6. Braki danych, wartości specjalne i zera
Pusta komórka, tekst „brak”, „nie wiem”, „nie dotyczy”, kropka, wartość NA i zero nie muszą oznaczać tego samego. Zero jest obserwowaną wartością liczbową, natomiast brak danych oznacza, że wartości nie zaobserwowano, nie zarejestrowano albo nie można jej ustalić.
W ankiecie dotyczącej aktywności fizycznej zapis „0” może oznaczać brak dni ćwiczeń. W badaniu laboratoryjnym „0” może być rzeczywistym wynikiem, wartością poniżej granicy oznaczalności albo kodem technicznym. Przed importem należy więc zdefiniować słownik wartości specjalnych.
Nie wolno bez uzasadnienia zamieniać wszystkich pustych komórek na zero. Taka operacja zmienia rozkład zmiennej, średnią, odchylenie standardowe i liczebność analizowanych przypadków. W zależności od mechanizmu braków danych może również wpłynąć na wyniki modeli statystycznych.
7. Formuły, wartości obliczone i ukryte struktury Excela
Arkusz Excel może zawierać komórki z formułami, na przykład =B2-C2. Przy imporcie inny program może odczytać wynik formuły albo samą formułę. Jeżeli plik został zapisany bez aktualizacji obliczeń, wynik może być nieaktualny.
W danych do analizy najlepiej przechowywać osobno:
- dane źródłowe, których nie zmieniamy;
- zmienne pochodne, utworzone według jawnej reguły;
- notatki i dokumentację transformacji.
Nie należy traktować formatowania jako informacji analitycznej. Kolor czerwony może wskazywać wynik nieprawidłowy dla człowieka, lecz program statystyczny zwykle nie odczyta tej informacji jako zmiennej. Podobnie ukryte wiersze, filtry, scalone komórki i nagłówki wielopoziomowe mogą powodować, że zakres importu nie odpowiada faktycznej populacji badanej.
8. Układ danych: jedna obserwacja w jednym wierszu
W analizie statystycznej najbezpieczniejszy jest układ, w którym jeden wiersz odpowiada jednej jednostce obserwacji, a jedna kolumna jednej zmiennej. Takie uporządkowanie jest zgodne z ideą danych uporządkowanych, w których każda wartość znajduje się w jednoznacznym miejscu (Wickham, 2014).
Przykładowo w badaniu pacjentów jeden wiersz może oznaczać jedną osobę, a kolumny mogą zawierać identyfikator, wiek, płeć, ciśnienie skurczowe i wynik kwestionariusza. Jeżeli ten sam pacjent był badany trzykrotnie, należy wcześniej ustalić, czy jednostką analizy jest osoba, wizyta czy para osoba–wizyta. W tym ostatnim przypadku identyfikator pacjenta może się powtarzać, ale powinien pojawić się dodatkowy identyfikator wizyty.
Problematyczny jest układ, w którym wiersze zawierają podsumowania, sumy częściowe lub nagłówki grup. Program może potraktować je jako obserwacje i zniekształcić liczebność oraz statystyki opisowe.
9. Kontrola po imporcie
Po wczytaniu danych należy przeprowadzić krótką kontrolę jakości. Powinna ona obejmować:
- liczbę wierszy i kolumn;
- nazwy zmiennych oraz ich unikatowość;
- typ każdej zmiennej;
- liczbę braków danych w każdej kolumnie;
- minimalne i maksymalne wartości zmiennych liczbowych;
- liczbę kategorii i ich pisownię;
- kilka pierwszych oraz kilka ostatnich rekordów;
- sprawdzenie, czy identyfikatory są unikatowe tam, gdzie powinny być unikatowe.
Warto także kontrolować reguły logiczne. Jeśli zmienna ciąża ma wartość „tak”, a płeć zakodowano jako „mężczyzna”, rekord wymaga wyjaśnienia. Jeżeli data wypisu poprzedza datę przyjęcia, może to być błąd wpisu, zamiany formatów albo problem z importem.
Przykład praktyczny: badanie pacjentów z nadciśnieniem
Załóżmy, że zespół pielęgniarski otrzymał plik pacjenci.csv z kolumnami:
id;wiek;cisnienie_skurczowe;data_wizyty;grupa
Wartości w kolumnie ciśnienia zapisano jako 130,5, daty jako 12.03.2025, a brak pomiaru oznaczono słowem brak.
Podczas importu z użyciem przecinka jako separatora cały wiersz zostaje nieprawidłowo rozdzielony, ponieważ przecinek występuje również w liczbach dziesiętnych. Po zmianie separatora na średnik kolumna ciśnienia nadal może zostać rozpoznana jako tekst, jeśli importer nie zna polskiego znaku dziesiętnego. W efekcie średnia może nie zostać obliczona albo część obserwacji zostanie pominięta.
Poprawna procedura obejmuje:
- ustalenie separatora kolumn jako średnika;
- ustalenie przecinka jako znaku dziesiętnego;
- zdefiniowanie wartości „brak” jako braku danych, a nie jako tekstu;
- jawne określenie formatu daty dzień–miesiąc–rok;
- sprawdzenie, czy
idpozostaje tekstem, aby nie utracić zer wiodących; - kontrolę zakresu ciśnienia, na przykład wykrycie wartości 1305 zamiast 130,5.
Dopiero po tych czynnościach można przejść do opisu średniego ciśnienia lub porównania grup. Sam fakt, że program „wczytał plik bez komunikatu o błędzie”, nie jest dowodem poprawnego importu.
Najczęstsze błędy
- Otwieranie pliku bez sprawdzenia separatora. Skutek: jedna kolumna zamiast wielu albo przesunięte wartości.
- Traktowanie identyfikatora jako liczby. Skutek: utrata zer wiodących i problemy z łączeniem plików.
- Automatyczne rozpoznawanie dat. Skutek: zamiana dnia i miesiąca lub odczyt daty jako liczby.
- Zamiana braków danych na zero. Skutek: zmiana rozkładu i błędne statystyki opisowe.
- Ignorowanie kodowania. Skutek: rozdzielenie kategorii zawierających polskie znaki.
- Importowanie wierszy podsumowań. Skutek: zawyżona liczebność i zniekształcone średnie.
- Usuwanie obserwacji bez dokumentacji. Skutek: brak możliwości odtworzenia analizy i oceny wpływu selekcji.
- Praca na jedynym pliku źródłowym. Skutek: brak możliwości porównania danych przed i po czyszczeniu.
- Założenie, że brak komunikatu ostrzegawczego oznacza brak problemów. Skutek: ciche błędy interpretacyjne.
Badania nad jakością danych klinicznych pokazują, że błędy mogą wynikać nie tylko z literówek, lecz także z odmiennego rozumienia dokumentacji i reguł kodowania. W analizie baz klinicznych wykazywano znaczne zróżnicowanie częstości błędów, a same kontrole ograniczeń nie zawsze wykrywały wszystkie nieprawidłowości (Goldberg, Niemierko i Turchin, 2008). Nowszy przegląd metod przetwarzania danych klinicznych również wskazuje, że sposób wprowadzania i kontroli danych może wpływać na ich dokładność oraz na wiarygodność dalszych analiz (Garza i in., 2025).
Jak dokumentować import?
W projekcie badawczym należy zapisać co najmniej:
- nazwę i wersję pliku źródłowego;
- datę pobrania lub otrzymania danych;
- program i wersję użyte do importu;
- separator, kodowanie i znak dziesiętny;
- reguły rozpoznawania braków danych;
- zmiany nazw i typów zmiennych;
- rekordy usunięte lub odrzucone wraz z uzasadnieniem;
- kontrole wykonane po imporcie.
Taka dokumentacja nie jest biurokratycznym dodatkiem. Jest częścią jakości metodologicznej i pozwala odtworzyć drogę od pliku źródłowego do zbioru analizowanego.
Co warto zapamiętać?
- Import danych jest etapem analizy, a nie neutralną czynnością techniczną.
- CSV może używać różnych separatorów; przecinek w nazwie formatu nie gwarantuje użycia przecinka w pliku.
- Trzeba osobno kontrolować separator kolumn, znak dziesiętny, separator tysięcy i kodowanie znaków.
- Daty powinny mieć jednoznaczny format, najlepiej rok–miesiąc–dzień.
- Puste komórki, zero i tekst „brak” nie są równoważne.
- Automatyczne rozpoznawanie typów zmiennych wymaga weryfikacji merytorycznej.
- Po imporcie należy sprawdzić liczebność, typy, zakresy, braki, kategorie i reguły logiczne.
- Plik źródłowy powinien być zachowany bez zmian, a wszystkie transformacje udokumentowane.
- Poprawny import zwiększa wiarygodność analizy, ale nie zastępuje oceny projektu badawczego ani kontroli jakości danych.
Źródła i dalsza lektura
- Wickham, H. (2014). Tidy Data. Journal of Statistical Software, 59(10), 1–23. DOI: 10.18637/jss.v059.i10.
- Broman, K. W., & Woo, K. H. (2018). Data Organization in Spreadsheets. The American Statistician, 72(1), 2–10. DOI: 10.1080/00031305.2017.1375989.
- Goldberg, S. I., Niemierko, A., & Turchin, A. (2008). Analysis of data errors in clinical research databases. AMIA Annual Symposium Proceedings, 242–246. Pełny opis źródła.
- Garza, M. Y., Williams, T., Ounpraseuth, S., Hu, Z., Lee, J., Snowden, J., Walden, A. C., Simon, A. E., Devlin, L. A., Young, L. W., & Zozus, M. N. (2025). Error rates of data processing methods in clinical research: A systematic review and meta-analysis of manuscripts identified through PubMed. International Journal of Medical Informatics, 195, 105749. DOI: 10.1016/j.ijmedinf.2024.105749.
- Wilson, G., Bryan, J., Cranston, K., Kitzes, J., Nederbragt, L., & Teal, T. K. (2017). Good enough practices in scientific computing. PLoS Computational Biology, 13(6), e1005510. DOI: 10.1371/journal.pcbi.1005510.
- Broman, K. W., & Woo, K. H. (2018). Data Organization in Spreadsheets. The American Statistician, 72(1), 2–10. DOI: 10.1080/00031305.2017.1375989.
Jeden komentarz