Pandas - datové typy a základní operace

V minulé lekci jsme si představili knihovnu pandas a její základní třídy: Series, DataFrame a Index. Brali jsme je ovšem jako statické objekty, které jsme si pouze prohlíželi.

V této lekci začneme upravovat existující tabulky. Ukážeme si:

jak přidat či ubrat sloupce a řádky
jak změnit hodnotu konkrétní buňky
jaké datové typy se hodí pro který účel
aritmetické a logické operace, které lze se sloupci provádět
filtrování a řazení řádků

A jelikož o výsledky práce určitě nechceš přijít, nakonec se bude hodit i ukládání výsledků do externích souborů.

In [1]:

# Obligátní import
import pandas as pd

Manipulace s DataFrames

Pro rozehřátí budeme pracovat s malou tabulkou obsahující několik základních informací o planetách, které snadno najdeš např. na wikipedii.

In [2]:

planety = pd.DataFrame({
    "jmeno": ["Merkur", "Venuše", "Země", "Mars", "Jupiter", "Saturn", "Uran", "Neptun"],
    "symbol": ["☿", "♀", "⊕", "♂", "♃", "♄", "♅", "♆"],
    "obezna_poloosa": [0.39, 0.72, 1.00, 1.52, 5.20, 9.54, 19.22, 30.06],
    "obezna_doba": [0.24, 0.62, 1, 1.88, 11.86, 29.46, 84.01, 164.8],
})
planety = planety.set_index("jmeno")    # Se jmenným indexem se ti bude snáze pracovat
planety

Out[2]:

	symbol	obezna_poloosa	obezna_doba
jmeno
Merkur	☿	0.39	0.24
Venuše	♀	0.72	0.62
Země	⊕	1.00	1.00
Mars	♂	1.52	1.88
Jupiter	♃	5.20	11.86
Saturn	♄	9.54	29.46
Uran	♅	19.22	84.01
Neptun	♆	30.06	164.80

Přidání nového sloupce

Když chceme přidat nový sloupec (Series), přiřadíme ho do DataFrame jako hodnotu do slovníku - tedy v hranatých závorkách s názvem sloupce. Dobrá zpráva je, že stejně jako v konstruktoru si pandas poradí jak se Series, tak s obyčejným seznamem.

V našem konkrétním případě si najdeme a přidáme počet známých měsíců (velkých i malých).

In [3]:

mesice = [0, 0, 1, 2, 79, 82, 27, 14]      # Alternativně mesice = pd.Series([...])
planety["mesice"] = mesice
planety

Out[3]:

	symbol	obezna_poloosa	obezna_doba	mesice
jmeno
Merkur	☿	0.39	0.24	0
Venuše	♀	0.72	0.62	0
Země	⊕	1.00	1.00	1
Mars	♂	1.52	1.88	2
Jupiter	♃	5.20	11.86	79
Saturn	♄	9.54	29.46	82
Uran	♅	19.22	84.01	27
Neptun	♆	30.06	164.80	14

💡 V tomto případě jsme přímo upravili existující DataFrame. Většina metod / operací v pandas (už znáš např. set_index) ve výchozím nastavení vždy vrací nový objekt s aplikovanou úpravou a ten původní objekt nechá v nezměněném stavu. Je to dobrým zvykem, který budeme dodržovat. Přiřazování sloupců je jednou z akceptovaných výjimek tohoto jinak uznávaného pravidla, zejména když se tabulka upravuje jen v úzkém rozsahu řádků kódu (případně kdyby kopírování bylo příliš náročné na paměť).

DataFrame však nabízí ještě metodu assign, která nemění tabulku, ale vytváří její kopii s přidanými (nebo nahrazenými) sloupci. Pokud se chceš vyhnout nepříjemnému sledování, kterou tabulku jsi změnil/a či nikoliv, assign ti můžeme jen doporučit.

Mimochodem, kopii tabulky můžeš kdykoliv vytvořit metodou copy - to se hodí třeba při psaní funkcí, kde se vstupní tabulka z různých důvodů upravuje.

In [4]:

# Nový dočasný DataFrame
planety.assign(
    je_stavebnice=[True, False, False, False, False, False, False, False],
    ma_vztah_k_vestonicim=[False, True, False, False, False, False, False, False],
)
# Objekt `planety` zůstal nezměněn.

Out[4]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_stavebnice	ma_vztah_k_vestonicim
jmeno
Merkur	☿	0.39	0.24	0	True	False
Venuše	♀	0.72	0.62	0	False	True
Země	⊕	1.00	1.00	1	False	False
Mars	♂	1.52	1.88	2	False	False
Jupiter	♃	5.20	11.86	79	False	False
Saturn	♄	9.54	29.46	82	False	False
Uran	♅	19.22	84.01	27	False	False
Neptun	♆	30.06	164.80	14	False	False

In [5]:

planety2 = planety.copy()
planety2["je_nezdrava_tycinka"] = [False, False, False, True, False, False, False, False]
planety2
# Ani teď se původní `planety` nezmění

Out[5]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_nezdrava_tycinka
jmeno
Merkur	☿	0.39	0.24	0	False
Venuše	♀	0.72	0.62	0	False
Země	⊕	1.00	1.00	1	False
Mars	♂	1.52	1.88	2	True
Jupiter	♃	5.20	11.86	79	False
Saturn	♄	9.54	29.46	82	False
Uran	♅	19.22	84.01	27	False
Neptun	♆	30.06	164.80	14	False

Úkol: Zkus (jedním či druhým způsobem) přidat sloupec s rokem objevu ("objeveno"). Údaje najdeš např. na https://cs.wikipedia.org/wiki/Slune%C4%8Dn%C3%AD_soustava.

Pro hodnoty nového sloupce lze použít i jednu skalární hodnotu (v praxi se ale s touto potřebou nepotkáme tak často) - stejná hodnota se pak použije ve všech řádcích:

In [6]:

planety["je_planeta"] = True
planety

Out[6]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta
jmeno
Merkur	☿	0.39	0.24	0	True
Venuše	♀	0.72	0.62	0	True
Země	⊕	1.00	1.00	1	True
Mars	♂	1.52	1.88	2	True
Jupiter	♃	5.20	11.86	79	True
Saturn	♄	9.54	29.46	82	True
Uran	♅	19.22	84.01	27	True
Neptun	♆	30.06	164.80	14	True

Přidání nového řádku

Když se strojem času vrátíme do dětství (nebo rané dospělosti) autorů těchto materiálů, tedy před rok 2006, kdy se v Praze konal astronomický kongres, který definoval pojem "planeta" (ale ne před rok 1930!), přibude nám nová planeta: Pluto.

Do naší tabulky ho coby nový řádek vložíme pomocí indexeru loc, který jsme již dříve používali pro "koukání" do tabulky:

In [7]:

planety.loc["Pluto"] = ["♇", 39.48, 247.94, 5, True]   # Seznam hodnot v řádku
planety

Out[7]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta
jmeno
Merkur	☿	0.39	0.24	0	True
Venuše	♀	0.72	0.62	0	True
Země	⊕	1.00	1.00	1	True
Mars	♂	1.52	1.88	2	True
Jupiter	♃	5.20	11.86	79	True
Saturn	♄	9.54	29.46	82	True
Uran	♅	19.22	84.01	27	True
Neptun	♆	30.06	164.80	14	True
Pluto	♇	39.48	247.94	5	True

Úkol: Zkus přidat Slunce nebo nějakou zcela smyšlenou planetu.

Změna hodnoty buňky

"Indexery" .loc a .iloc se dvěma argumenty v hranatých závorkách odkazují přímo na konkrétní buňku, a přiřazením do nich (opět, podobně jako ve slovníku) se hodnota na příslušné místo zapíše. Jen je třeba zachovat pořadí (řádek, sloupec).

Vrátíme se opět do současnosti a Pluto zbavíme jeho statutu:

In [8]:

planety.loc["Pluto", "je_planeta"] = False
planety

Out[8]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta
jmeno
Merkur	☿	0.39	0.24	0	True
Venuše	♀	0.72	0.62	0	True
Země	⊕	1.00	1.00	1	True
Mars	♂	1.52	1.88	2	True
Jupiter	♃	5.20	11.86	79	True
Saturn	♄	9.54	29.46	82	True
Uran	♅	19.22	84.01	27	True
Neptun	♆	30.06	164.80	14	True
Pluto	♇	39.48	247.94	5	False

⚠ Pozor: Podobně jako u slovníku, ale možná poněkud neintuitivně, je možné zapsat hodnotu do řádku i sloupce, které neexistují!

In [9]:

planety_bad = planety.copy()     # Pro jistotu si uděláme kopii

planety_bad.loc["Zeme", "planeta"] = True
planety_bad

Out[9]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta	planeta
jmeno
Merkur	☿	0.39	0.24	0.0	True	NaN
Venuše	♀	0.72	0.62	0.0	True	NaN
Země	⊕	1.00	1.00	1.0	True	NaN
Mars	♂	1.52	1.88	2.0	True	NaN
Jupiter	♃	5.20	11.86	79.0	True	NaN
Saturn	♄	9.54	29.46	82.0	True	NaN
Uran	♅	19.22	84.01	27.0	True	NaN
Neptun	♆	30.06	164.80	14.0	True	NaN
Pluto	♇	39.48	247.94	5.0	False	NaN
Zeme	NaN	NaN	NaN	NaN	NaN	True

💡 Jistě se ptáš, co znamená NaN v tabulce. Hodnota NaN (Not a Number) označuje chybějící, neplatnou nebo neznámou hodnotu. V našem příkladu jsme ji nezadali, tedy se není co divit. O problematice chybějících hodnot a jejich napravování si budeme povídat někdy příště, prozatím se jimi nenech znervóznit.

Přiřazovat je možné i do rozsahů v indexech - jen je potřeba hlídat, abychom přiřazovali buď skalární hodnotu (tedy jedna hodnota pro celou oblast, bezrozměrné ne-pole), nebo vícerozměrný objekt (Series, DataFrame, seznam, ...) stejného tvaru (počtu řádků a sloupců) jako oblast, do které přiřazujeme:

In [10]:

planety.loc["Merkur":"Mars", "je_obr"] = False
planety.loc["Jupiter":"Neptun", "je_obr"] = [True, True, True, True]
planety

Out[10]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta	je_obr
jmeno
Merkur	☿	0.39	0.24	0	True	False
Venuše	♀	0.72	0.62	0	True	False
Země	⊕	1.00	1.00	1	True	False
Mars	♂	1.52	1.88	2	True	False
Jupiter	♃	5.20	11.86	79	True	True
Saturn	♄	9.54	29.46	82	True	True
Uran	♅	19.22	84.01	27	True	True
Neptun	♆	30.06	164.80	14	True	True
Pluto	♇	39.48	247.94	5	False	NaN

Úkol: Shodou okolností (nebo jde o astronomickou nevyhnutelnost?) mají všichni planetární obři alespoň nějaký prstenec. Dokážeš jednoduše vytvořit sloupec "ma_prstenec"?

Odstranění řádku

Pro odebrání sloupce či řádku z DataFrame slouží metoda drop. Její první argument očekává označení (index) jednoho nebo více řádků či sloupců, které chceš odebrat. Argument axis označuje, ve které dimenzi se operace má aplikovat. Můžeš použít buď číslo 0 či 1 (odpovídá pořadí od nuly, ve kterém se uvádějí klíče při odkazování na buňky), anebo pojmenování dané dimenze:

Osa (axis):

0 nebo "index" → řádky
1 nebo "columns" → sloupce

Tento argument používají i četné další metody a funkce, proto se ujisti, že mu rozumíš

Když už jsme se vrátili do budoucnosti (resp. současnosti), vypořádejme se nemilosrdně s Plutem (pro metodu drop je výchozí hodnotou argumentu axis 0, nemusíme ho tedy psát):

In [11]:

planety = planety.drop("Pluto")   # Přidej axis="rows", chceš-li být explicitní
planety

Out[11]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_planeta	je_obr
jmeno
Merkur	☿	0.39	0.24	0	True	False
Venuše	♀	0.72	0.62	0	True	False
Země	⊕	1.00	1.00	1	True	False
Mars	♂	1.52	1.88	2	True	False
Jupiter	♃	5.20	11.86	79	True	True
Saturn	♄	9.54	29.46	82	True	True
Uran	♅	19.22	84.01	27	True	True
Neptun	♆	30.06	164.80	14	True	True

Úkol: Zkus z planety vytvořit tabulku, která nebude obsahovat ani Uran, ani Neptun (jedním příkazem).

Odstranění sloupce

U sloupce funguje metoda drop velmi podobně, jen tentokrát argument axis uvést musíme.

Odstraňme zbytečný sloupec s informační hodnotou na úrovni "stěrače stírají, klakson troubí"...

In [12]:

planety = planety.drop("je_planeta", axis="columns")   
planety

Out[12]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_obr
jmeno
Merkur	☿	0.39	0.24	0	False
Venuše	♀	0.72	0.62	0	False
Země	⊕	1.00	1.00	1	False
Mars	♂	1.52	1.88	2	False
Jupiter	♃	5.20	11.86	79	True
Saturn	♄	9.54	29.46	82	True
Uran	♅	19.22	84.01	27	True
Neptun	♆	30.06	164.80	14	True

Metoda drop, v souladu s výše zmíněnou konvencí, vrací nový DataFrame (a proto výsledek operace musíme přiřadit do planety). Pokud chceš operovat rovnou na tabulce, můžeš použít příkaz del (funguje stejně jako u slovníku) nebo poprosit pandí bohy (a autory těchto materiálů) o odpuštění a přidat argument inplace=True (tento argument lze, bohužel, použít i u mnoha dalších operací):

In [13]:

# Jen na vlastní nebezpečí

# Alternativa 1)
# del planety["je_planeta"]

# Alternativa 2)
# planety.drop("je_planeta", axis=1, inplace=True)

Datové typy

Příprava dat

Nyní opustíme planety a podíváme se na některé zajímavé charakteristiky zemí kolem světa (ježto definice toho, co je to země, je poněkud vágní, bereme v potaz členy OSN), zachycené k jednomu konkrétnímu roku uplynulé dekády (protože ne vždy jsou všechny údaje k dispozici, bereme poslední rok, kde je známo dost ukazatelů). Data pocházejí povětšinou z projektu Gapminder, doplnili jsme je jen o několik dalších informací z wikipedie.

Následující kód (nemusíš mu rozumět) stáhne potřebný soubor a uloží ho v místním adresáři. Alternativně ho můžeš stáhnout manuálně z https://raw.githubusercontent.com/janpipek/data-pro-pyladies/master/data/countries.csv.

In [14]:

# Nutné importy
import os
import requests

# Seznam souborů (viz níže)
zdroj = "https://raw.githubusercontent.com/janpipek/data-pro-pyladies/master/data/countries.csv"
jmeno = zdroj.rsplit("/")[-1]

if not os.path.exists(jmeno):
    print(f"Soubor {jmeno} ještě není stažen, jdeme na to...")
    response = requests.get(zdroj)
    with open(jmeno, "wb") as out:
        out.write(response.content)
    print(f"Soubor {jmeno} úspěšně stažen.")
else:
    print(f"Soubor {jmeno} už byl stažen, použijeme místní kopii.")

Soubor countries.csv už byl stažen, použijeme místní kopii.

A otevřeme ho pomocí již známé funkce read_csv (Poznámka: pandas umí otevřít soubor i přímo z internetu, ale raději použijeme místní kopii, aby ses mohl/a k práci vrátit i off-line).

In [15]:

# Místo `set_index` vybereme index rovnou při načítání
countries = pd.read_csv("countries.csv", index_col="name")

countries = countries.sort_index()
countries

Out[15]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Afghanistan	AFG	south_asia	asia	low_income	False	False	NaN	2018	652860.0	34500000.0	0.03	20.62	21.07	NaN	2090.0	66.3	58.69	65.812	63.101	1946-11-19
Albania	ALB	europe_central_asia	europe	upper_middle_income	False	False	NaN	2018	28750.0	3238000.0	7.29	26.45	25.66	5.978	3193.0	12.5	78.01	80.737	76.693	1955-12-14
Algeria	DZA	middle_east_north_africa	africa	upper_middle_income	False	False	NaN	2018	2381740.0	36980000.0	0.69	24.60	26.37	NaN	3296.0	21.9	77.86	77.784	75.279	1962-10-08
Andorra	AND	europe_central_asia	europe	high_income	False	False	NaN	2017	470.0	88910.0	10.17	27.63	26.43	NaN	NaN	2.1	82.55	NaN	NaN	1993-07-28
Angola	AGO	sub_saharan_africa	africa	upper_middle_income	False	False	NaN	2018	1246700.0	20710000.0	5.57	22.25	23.48	NaN	2473.0	96.0	65.19	64.939	59.213	1976-12-01
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
Venezuela	VEN	america	americas	upper_middle_income	False	False	NaN	2018	912050.0	30340000.0	7.60	27.45	28.13	7.332	2631.0	12.9	75.91	79.079	70.950	1945-11-15
Vietnam	VNM	east_asia_pacific	asia	lower_middle_income	False	False	NaN	2018	330967.0	90660000.0	3.91	20.92	21.07	NaN	2745.0	17.3	74.88	81.203	72.003	1977-09-20
Yemen	YEM	middle_east_north_africa	asia	lower_middle_income	False	False	NaN	2018	527970.0	26360000.0	0.20	24.44	26.11	NaN	2223.0	33.8	67.14	66.871	63.875	1947-09-30
Zambia	ZMB	sub_saharan_africa	africa	lower_middle_income	False	False	NaN	2018	752610.0	14310000.0	3.56	20.68	23.05	11.260	1930.0	43.3	59.45	65.362	59.845	1964-12-01
Zimbabwe	ZWE	sub_saharan_africa	africa	low_income	False	False	NaN	2018	390760.0	13330000.0	4.96	22.03	24.65	20.850	2110.0	46.6	60.18	63.944	60.120	1980-08-25

193 rows × 20 columns

Namátkou si vybereme nějakou zemi a podíváme se, jaké údaje o ní v tabulce máme.

In [16]:

countries.loc["Czechia"]

Out[16]:

iso                                             CZE
world_6region                   europe_central_asia
world_4region                                europe
income_groups                           high_income
is_eu                                          True
is_oecd                                        True
eu_accession                             2004-05-01
year                                           2018
area                                          78870
population                                1.059e+07
alcohol_adults                                16.47
bmi_men                                       27.91
bmi_women                                     26.51
car_deaths_per_100000_people                   5.72
calories_per_day                               3256
infant_mortality                                2.8
life_expectancy                               79.37
life_expectancy_female                       81.858
life_expectancy_male                         76.148
un_accession                             1993-01-19
Name: Czechia, dtype: object

Už na první pohled je každé pole jiného typu. Ale jakého? Na to nám odpoví atribut dtypes naší tabulky (u Series použiješ dtype, resp. raději dtype.name, pokud chceš stejně pěknou řetězcovou reprezentaci).

In [17]:

countries.dtypes

Out[17]:

iso                              object
world_6region                    object
world_4region                    object
income_groups                    object
is_eu                              bool
is_oecd                            bool
eu_accession                     object
year                              int64
area                            float64
population                      float64
alcohol_adults                  float64
bmi_men                         float64
bmi_women                       float64
car_deaths_per_100000_people    float64
calories_per_day                float64
infant_mortality                float64
life_expectancy                 float64
life_expectancy_female          float64
life_expectancy_male            float64
un_accession                     object
dtype: object

Typy v pandas vycházejí z toho, jak je definuje knihovna numpy (obecně užitečná pro práci s numerickými poli a poskytující vektorové operace s rychlostí řádově vyšší než v Pythonu jako takovém). Ta potřebuje především vědět, jak alokovat pole pro prvky daného typu na to, aby mohly být seřazeny efektivně jeden za druhým, a tedy i kolik bajtů paměti každý zabírá. Kopíruje přitom "nativní" datové typy, které už můžeš znát z jiných jazyků (např. C)). Umístění v paměti je něco, co v Pythonu obvykle neřešíme, ale rychlé počítání se bez toho neobejde. My nepůjdeme do detailů, ale požadavek na rychlost se nám tu a tam vynoří a my budeme klást důraz na to, aby se operace prováděly na úrovni numpy a nikoliv v Pythonu.

Poněkud tajuplný systém typů v numpy (popsaný v dokumentaci) je naštěstí v pandas (mírně) zjednodušen a nabízí jen několik užitečných základních (rodin) typů, které si teď představíme.

Celá čísla (integers)

V Pythonu je pro celá čísla vyhrazen přesně jeden typ: int, který možňuje pracovat s libovolně velkými celými čísly (0, -58 nebo třeba 123456789012345678901234567890). V pandas se můžeš setkat s int8, int16, int32, int64, uint8, uint16, uint32 a uint64 - všechny mají stejné základní vlastnosti a každý z nich má jen určitý rozsah čísel, která do něj lze uložit. Liší se velikostí paměti, kterou jedno číslo zabere (číslovka v názvu vyjadřuje počet bitů), a tím, zda jsou podporována i záporná čísla (předpona u znamená unsigned (bez znaménka), tedy že počítáme pouze s nulou a kladnými čísly).

Rozsahy:

int8: -128 až 127
uint8: 0 až 255
int16: -32 768 až 32 767
uint16: 0 až 65 535
int32: -2 147 483 648 až 2 147 483 647 (tedy +/- ~2 miliardy)
uint32: 0 až 4 294 967 295 (tedy až ~4 miliardy)
int64: -9 223 372 036 854 775 808 až 9 223 372 036 854 775 807 (tedy +/- ~9 trilionů)
uint64: 0 až 18 446 744 073 709 551 615 (tedy až ~18 trilionů)

💡 Aby toho nebylo málo, ke každému int? / uint? typu existuje ještě jeho alternativa, která umožňuje ve sloupci použít chybějící hodnoty, t.j. NaN. Místo malého i, případně u v názvu se použije písmeno velké. Tato vlastnost (tzv. "nullable integer types") je relativně užitečná, ale je dosud poněkud experimentální. My ji nebudeme v kurzu využívat.

Detailní vysvětlení toho, jak jsou celá čísla v paměti počítače reprezentována, najdeš třeba ve wikipedii.

V pandas je výchozí celočíselný typ int64, a pokud neřekneš jinak, automaticky se pro celá čísla použije (ve většině případů to bude vhodná volba):

In [18]:

countries["year"]

Out[18]:

name
Afghanistan    2018
Albania        2018
Algeria        2018
Andorra        2017
Angola         2018
               ... 
Venezuela      2018
Vietnam        2018
Yemen          2018
Zambia         2018
Zimbabwe       2018
Name: year, Length: 193, dtype: int64

In [19]:

pd.Series([0, 123, 12345])

# pd.Series([0, 123, 12345], dtype="int64")   # totéž

Out[19]:

0        0
1      123
2    12345
dtype: int64

Pomocí argumentu dtype můžeš ovšem přesně specifikovat, který typ celých čísel chceš:

In [20]:

pd.Series([0, 123, 12345], dtype="int16")

Out[20]:

0        0
1      123
2    12345
dtype: int16

⚠ Pozor: Když vybíráš konkrétní celočíselný typ, musíš si dát pozor na rozsahy, protože pandas tě nebude varovat, pokud se nějaká z tvých hodnot do rozsahu "nevleze" a vesele zahodí tu část binární reprezentace, která je navíc a dostaneš mnohem menší číslo, než jsi čekal/a:

In [21]:

pd.Series([0, 123, 12345], dtype="int8")

Out[21]:

0      0
1    123
2     57
dtype: int8

Toto naštěstí neplatí pro typ s nejširším rozsahem (int64). Zkusme do něj vložit veliké číslo (třeba 123456789012345678901234567890) a uvidíme, co se stane:

In [22]:

# Toto vyhodí výjimku:
# pd.Series([0, 123, 123456789012345678901234567890], dtype="int64")

# Toto projde, ale už to není int64:
pd.Series([0, 123, 123456789012345678901234567890])

Out[22]:

0                                 0
1                               123
2    123456789012345678901234567890
dtype: object

Když ho budeme explicitně požadovat, vyhodí se výjimka.
Když pandas necháme dělat jeho práci, použije se obecný typ object a přijdeme o jistou část výhod: sloupec nám zabere násobně více paměti a aritmetické operace s ním jsou o řád až dva pomalejší. Pokud to není naší prioritou, není to zase takový problém.

Obecně proto doporučujeme držet se int64, resp. nechat pandas, aby jej za nás automaticky použil. Teprve v případě, že si to budou žádat přísné paměťové nároky, se ti vyplatí hledat ten "nejvíce růžový" typ.

Úkol: Zkus vytvořit Series s datovým typem uint8, obsahující (alespoň) jedno malé záporné číslo. Co se stane?

Čísla s plovoucí desetinnou čárkou (floats)

Podobně jako u celočíselných hodnot, i jednomu typu v Python (float) odpovídá několik typů v pandas: float16, float32, float64. Součástí názvu je opět počet bitů, které jedno číslo potřebuje ke svému uložení. Naštěstí v tomto případě float64 přesně odpovídá svým chováním float z Pythonu, zbylé dva typy nejsou tak přesné a mají menší rozsah - kromě optimalizace paměťových nároků u specifického druhu dat je nejspíš nepoužiješ.

Více teoretického čtení o reprezentaci čísel s desetinnou čárkou najdeš na wiki.

In [23]:

countries["bmi_men"]

Out[23]:

name
Afghanistan    20.62
Albania        26.45
Algeria        24.60
Andorra        27.63
Angola         22.25
               ...  
Venezuela      27.45
Vietnam        20.92
Yemen          24.44
Zambia         20.68
Zimbabwe       22.03
Name: bmi_men, Length: 193, dtype: float64

In [24]:

# Docela přesné pí
pd.Series([3.14159265])

Out[24]:

0    3.141593
dtype: float64

In [25]:

# Ne už tak přesné pí
pd.Series([3.14159265], dtype="float16")

Out[25]:

0    3.140625
dtype: float16

Úkol: Vytvoř pole typu float64 jen ze samých celých čísel. Co se stane?

Logické hodnoty (booleans)

Toto je asi nejméně překvapivý datový typ. Chová se v zásadě stejně jako typ bool v Pythonu. Nabírá hodnot True a False (které lze též pokládat za 1 a 0 v některých operacích). Má ještě jednu skvělou vlastnost - objekty Series i DataFrame jde filtrovat právě pomocí sloupce logického typu (o tom viz níže).

In [26]:

countries["is_oecd"].iloc[:20]

Out[26]:

name
Afghanistan            False
Albania                False
Algeria                False
Andorra                False
Angola                 False
Antigua and Barbuda    False
Argentina              False
Armenia                False
Australia               True
Austria                 True
Azerbaijan             False
Bahamas                False
Bahrain                False
Bangladesh             False
Barbados               False
Belarus                False
Belgium                 True
Belize                 False
Benin                  False
Bhutan                 False
Name: is_oecd, dtype: bool

In [27]:

# Vytvoření nového sloupce
pd.Series([True, False, False])

Out[27]:

0     True
1    False
2    False
dtype: bool

Jde to ovšem i takto:

In [28]:

pd.Series([1, 0, 0], dtype="bool")

Out[28]:

0     True
1    False
2    False
dtype: bool

Úkol: Co se stane, když vytvoříš Series typu bool z řetězců "True" a "False" (nezapomeň na uvozovky)?

Řetězce a obecné objekty (strings, objects)

Aktuální verze knihovny pandas (1.1) má k řetězcům poněkud schizofrenní postoj, respektive je v procesu přechodu od ne úplně šťastného přístupu (obecný datový typ object) k o něco lepšímu (speciální typ string) - v dokumentaci se doporučuje používat přístup druhý, přestože to je zároveň označeno za experimentální. Rozdíl je v současnosti víceméně estetický (a my z pohodlnosti obvykle nebudeme sloupce na string převádět).

In [29]:

countries["iso"]

Out[29]:

name
Afghanistan    AFG
Albania        ALB
Algeria        DZA
Andorra        AND
Angola         AGO
              ... 
Venezuela      VEN
Vietnam        VNM
Yemen          YEM
Zambia         ZMB
Zimbabwe       ZWE
Name: iso, Length: 193, dtype: object

Toto tě pravděpodobně překvapí - ve výchozím stavu řetězce spadají společně s dalšími neurčenými nebo nerozpoznanými hodnotami do kategorie object, která umožňuje v daném sloupci mít cokoliv, co znáš z Pythonu, a chová se tak do značné míry jako obyčejný seznam s výhodami (žádné podivné konverze, sledování rozsahů, ...) i nevýhodami (je to pomalejší, než by mohlo; nikdo ti nezaručí, že ve sloupci budou jen řetězce).

Budeš-li chtít být explicitní či získat navíc trochu typové kontroly, můžeš datový typ string uvést v konstuktoru, případně konvertovat sloupec pomocí metody astype:

In [30]:

# countries["iso"].astype("string")

# Domácí mazlíčci
mazlicci = pd.Series(
    ["pes", "kočka", "křeček", "tarantule", "hroznýš"],
    dtype="string"
)
mazlicci

Out[30]:

0          pes
1        kočka
2       křeček
3    tarantule
4      hroznýš
dtype: string

In [31]:

# mazlicci[0] = 42  # Chyba

Datový typ objekt je jedinou možností v případě, že máme v Series heterogenní data:

In [32]:

pd.Series([1, "dvě", 3.0])   # Řetězec a další "smetí"

Out[32]:

0      1
1    dvě
2      3
dtype: object

Pozor, třeba i takový seznam může být hodnotou v sloupci typu object:

In [33]:

# Objednávky
pd.Series(
    [["řízek", "brambory", "cola"], ["smažák", "hranolky"], ["sodovka"]],
    index=["Eva", "Evelína", "Evženie"])

Out[33]:

Eva        [řízek, brambory, cola]
Evelína         [smažák, hranolky]
Evženie                  [sodovka]
dtype: object

Úkol: Co za druh objektu (a jaký dtype) dostaneme, když se pokusíme získat jeden řádek z tabulky planety?

Úkol: Co se stane, když sloupec planety["obezna_doba"] převedeš na object, resp. string?

Datum / čas (datetime)

Časovými daty se blíže zabývá jedna z následujících lekcí, nicméně nějaká v tabulce zemí už máme, a tak alespoň pro úplnost uvedeme, co v tomto směru pandas nabízí:

Časové či datumové údaje (datetime) jakožto body na časové ose.
Časové údaje s označením časové zóny (datetimes with time zone).
Časové úseky (timedeltas) jakožto určení délky nějakého úseku (počítáno v nanosekundách)
Období (periods) udávají nějak určená časová období (třeba "únor 2020")

💡 Pro převod z nejrůznějších formátů na datum / čas slouží funkce to_datetime, kterou použijeme pro následující ukázku:

In [34]:

pd.to_datetime(countries["un_accession"])

Out[34]:

name
Afghanistan   1946-11-19
Albania       1955-12-14
Algeria       1962-10-08
Andorra       1993-07-28
Angola        1976-12-01
                 ...    
Venezuela     1945-11-15
Vietnam       1977-09-20
Yemen         1947-09-30
Zambia        1964-12-01
Zimbabwe      1980-08-25
Name: un_accession, Length: 193, dtype: datetime64[ns]

Kategorické (category)

Pokud chceme být efektivní při práci se sloupci, kde se často opakují hodnoty (zejména řetězcové), můžeme je zakódovat do kategorií. Tím mnohdy ušetříme zabrané místo a urychlíme některé operace. Při takové konverzi pandas najde všechny unikátní hodnoty v daném sloupci, uloží si je do zvláštního seznamu a do sloupce uloží jenom indexy z tohoto seznamu. Vše se chová transparentně a při používání tak většinou ani nepoznáte, jestli máte sloupec typu object nebo category.

💡 Pro převod mezi různými datovými typy slouží metoda astype, která jako svůj argument akceptuje jméno dtype, na který chceme převést:

In [35]:

countries["income_groups"].astype("category")

Out[35]:

name
Afghanistan             low_income
Albania        upper_middle_income
Algeria        upper_middle_income
Andorra                high_income
Angola         upper_middle_income
                      ...         
Venezuela      upper_middle_income
Vietnam        lower_middle_income
Yemen          lower_middle_income
Zambia         lower_middle_income
Zimbabwe                low_income
Name: income_groups, Length: 193, dtype: category
Categories (4, object): ['high_income', 'low_income', 'lower_middle_income', 'upper_middle_income']

Úkol: Napadne tě, které sloupce z tabulky countries bychom měli překonvertovat na nějaký jiný typ?

Matematika

Počítání se Series v pandas je navrženo tak, aby co nejméně překvapilo. Jednotlivé sloupce se tak můžou stát součástí aritmetických výrazů společně se skalárními hodnotami, s jinými sloupci, numpy poli příslušného tvaru, a dokonce i seznamy.

In [36]:

# Očekávaná doba života ve dnech
countries["life_expectancy"] * 365

Out[36]:

name
Afghanistan    21421.85
Albania        28473.65
Algeria        28418.90
Andorra        30130.75
Angola         23794.35
                 ...   
Venezuela      27707.15
Vietnam        27331.20
Yemen          24506.10
Zambia         21699.25
Zimbabwe       21965.70
Name: life_expectancy, Length: 193, dtype: float64

In [37]:

# Hustota obyvatelstva
countries["population"] / countries["area"]

Out[37]:

name
Afghanistan     52.844408
Albania        112.626087
Algeria         15.526464
Andorra        189.170213
Angola          16.611855
                  ...    
Venezuela       33.265720
Vietnam        273.924591
Yemen           49.927079
Zambia          19.013832
Zimbabwe        34.113011
Length: 193, dtype: float64

In [38]:

# Jak nám podražily obědy
pd.Series([109, 99], index=["řízek", "smažák"]) + [20.9, 10.9]   # sčítání se seznamem

Out[38]:

řízek     129.9
smažák    109.9
dtype: float64

Úkol: Spočti celkový počet mrtvých v automobilových haváriích v jednotlivých zemích (použij sloupce "population" a "car_deaths_per_100000_people" a jednoduchou aritmetiku). Sedí výsledek pro ČR?

In [39]:

# Jak dlouho jsou v OSN?
from datetime import datetime
datetime.now() - pd.to_datetime(countries["un_accession"])

Out[39]:

name
Afghanistan   26971 days 15:43:42.046437
Albania       23659 days 15:43:42.046437
Algeria       21169 days 15:43:42.046437
Andorra        9918 days 15:43:42.046437
Angola        16001 days 15:43:42.046437
                         ...            
Venezuela     27340 days 15:43:42.046437
Vietnam       15708 days 15:43:42.046437
Yemen         26656 days 15:43:42.046437
Zambia        20384 days 15:43:42.046437
Zimbabwe      14638 days 15:43:42.046437
Name: un_accession, Length: 193, dtype: timedelta64[ns]

💡 Čísla s plovoucí desetinnou čárkou mohou obsahovat i speciální hodnoty "not a number" a plus nebo mínus nekonečno. Vzniknou např. při nevhodném dělení nulou:

In [40]:

pd.Series([0, -1, 1]) / pd.Series([0, 0, 0])

Out[40]:

0    NaN
1   -inf
2    inf
dtype: float64

Varování: Nabádáme tě k opatrnosti při práci s omezenými celočíselnými typy. Podobně jako při jejich nevhodné konverzi, i tady může výsledek takzvaně přetéct a ukazovat pochybné výsledky. O důvod víc, proč se držet int64.

In [41]:

pd.Series([7, 14, 149], dtype="int8") * 2

Out[41]:

0    14
1    28
2    42
dtype: int8

Porovnávání

Pro Series lze použít nejen operátory početní, ale také logické. Výsledkem pak není jedna logická hodnota, ale sloupec logických hodnot.

In [42]:

# 15 litrů čistého alkoholu na osobu na rok budeme považovat za hranici nadměrného pití
# (nekonzultováno s adiktology!)

# Kde se hodně pije?
countries["alcohol_adults"] > 15

Out[42]:

name
Afghanistan    False
Albania        False
Algeria        False
Andorra        False
Angola         False
               ...  
Venezuela      False
Vietnam        False
Yemen          False
Zambia         False
Zimbabwe       False
Name: alcohol_adults, Length: 193, dtype: bool

In [43]:

# Skoro nikde. A jak jsme na tom u nás?
countries.loc["Czechia", "alcohol_adults"] > 15

Out[43]:

True

In [44]:

# Jsou muži v jednotlivých zemích tlustší než ženy?
countries["bmi_men"] > countries["bmi_women"]

Out[44]:

name
Afghanistan    False
Albania         True
Algeria        False
Andorra         True
Angola         False
               ...  
Venezuela      False
Vietnam        False
Yemen          False
Zambia         False
Zimbabwe       False
Length: 193, dtype: bool

Úkol: Zjistěte, jestli se v jednotlivých zemích dožívají více muži nebo ženy.

In [45]:

# Leží země v Africe?
countries["world_4region"] == "africa"

Out[45]:

name
Afghanistan    False
Albania        False
Algeria         True
Andorra        False
Angola          True
               ...  
Venezuela      False
Vietnam        False
Yemen          False
Zambia          True
Zimbabwe        True
Name: world_4region, Length: 193, dtype: bool

Podobně jako v Pythonu lze podmínky kombinovat pomocí operátorů. Vzhledem k jistým syntaktickým požadavkům Pythonu je ale potřeba použít místo vám známých logických operátorů jejich alternativy: & (místo and), | (místo or) a ~ (místo not). Protože mají jiné priority než jejich klasičtí bratříčci, bude lepší, když při kombinaci s jinými operátory vždycky použiješ závorky.

In [46]:

# Kde se ženy i muži dožívají přes 75 let?
(countries["life_expectancy_male"] > 75) & (countries["life_expectancy_female"] > 75)

Out[46]:

name
Afghanistan    False
Albania         True
Algeria         True
Andorra        False
Angola         False
               ...  
Venezuela      False
Vietnam        False
Yemen          False
Zambia         False
Zimbabwe       False
Length: 193, dtype: bool

Filtrování

Pokud chceš z tabulky vybrat řádky, které splňují nějaké kritérium, musíš (není to vždy těžké :-)) toto kritérium převést do podoby sloupce logických hodnot. Potom tento sloupec (sloupec samotný, nikoliv jeho název!) vložíš do hranatých závorek jako index DataFrame.

Když budeš například chtít informace jen o členech EU, můžeš k tomu přímo použít sloupec "is_eu", který logické hodnoty obsahuje:

In [47]:

countries[countries["is_eu"]]

Out[47]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Austria	AUT	europe_central_asia	europe	high_income	True	True	1995-01-01	2018	83879.0	8441000.0	12.40	26.47	25.09	3.541	3768.0	2.9	81.84	84.249	79.585	1955-12-14
Belgium	BEL	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	30530.0	10820000.0	10.41	26.76	25.14	5.427	3733.0	3.3	81.23	83.751	79.131	1945-12-27
Bulgaria	BGR	europe_central_asia	europe	upper_middle_income	True	False	2007-01-01	2018	111000.0	7349000.0	11.40	26.54	25.52	9.662	2829.0	9.3	75.32	78.485	71.618	1955-12-14
Croatia	HRV	europe_central_asia	europe	high_income	True	False	2013-01-01	2018	56590.0	4379000.0	15.00	26.60	25.18	6.434	3059.0	3.6	77.66	81.167	74.701	1992-05-22
Cyprus	CYP	europe_central_asia	europe	high_income	True	False	2004-05-01	2018	9250.0	1141000.0	8.84	27.42	25.93	6.419	2649.0	2.5	80.79	82.918	78.734	1960-09-20
Czechia	CZE	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	78870.0	10590000.0	16.47	27.91	26.51	5.720	3256.0	2.8	79.37	81.858	76.148	1993-01-19
Denmark	DNK	europe_central_asia	europe	high_income	True	True	1973-01-01	2018	42922.0	5611000.0	12.02	26.13	25.11	3.481	3367.0	2.9	81.10	82.878	79.130	1945-10-24
Estonia	EST	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	45230.0	1339000.0	17.24	26.26	25.19	5.896	3253.0	2.3	77.66	82.111	73.201	1991-09-17
Finland	FIN	europe_central_asia	europe	high_income	True	True	1995-01-01	2018	338420.0	5419000.0	13.10	26.73	25.58	3.615	3368.0	1.9	82.06	84.423	78.934	1955-12-14
France	FRA	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	549087.0	63780000.0	12.48	25.85	24.83	2.491	3482.0	3.5	82.62	85.747	79.991	1945-10-24
Germany	DEU	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	357380.0	81800000.0	12.14	27.17	25.74	3.280	3499.0	3.1	81.25	83.632	79.060	1973-09-18
Greece	GRC	europe_central_asia	europe	high_income	True	True	1981-01-01	2018	131960.0	11450000.0	11.01	26.34	24.92	9.175	3400.0	3.6	81.34	84.071	79.129	1945-10-25
Hungary	HUN	europe_central_asia	europe	upper_middle_income	True	True	2004-05-01	2018	93030.0	9934000.0	16.12	27.12	25.98	5.234	3037.0	5.3	75.90	79.557	72.610	1955-12-14
Ireland	IRL	europe_central_asia	europe	high_income	True	True	1973-01-01	2018	70280.0	4631000.0	14.92	27.65	26.62	3.768	3600.0	3.0	81.49	83.737	79.885	1955-12-14
Italy	ITA	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	301340.0	61090000.0	9.72	26.48	24.79	3.778	3579.0	2.9	82.62	85.435	81.146	1955-12-14
Latvia	LVA	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	64490.0	2226000.0	13.45	26.46	25.62	8.275	3174.0	6.9	75.13	79.498	69.882	1991-09-17
Lithuania	LTU	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	65286.0	3278000.0	16.30	26.86	26.01	8.090	3417.0	3.3	75.31	80.060	69.554	1991-09-17
Luxembourg	LUX	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	2590.0	530000.0	12.84	27.43	26.09	5.971	3539.0	1.5	82.39	84.227	79.981	1945-10-24
Malta	MLT	europe_central_asia	europe	high_income	True	False	2004-05-01	2018	320.0	420600.0	4.10	27.68	27.05	2.228	3378.0	5.1	81.75	82.724	79.570	1964-12-01
Netherlands	NLD	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	41540.0	16760000.0	9.75	26.02	25.47	2.237	3228.0	3.2	81.92	83.841	80.440	1945-12-10
Poland	POL	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	312680.0	38330000.0	14.43	26.67	25.92	7.675	3451.0	4.5	78.19	81.732	74.043	1945-10-24
Portugal	PRT	europe_central_asia	europe	high_income	True	True	1986-01-01	2018	92225.0	10700000.0	13.89	26.68	26.18	5.078	3477.0	3.0	81.30	84.372	78.685	1955-12-14
Romania	ROU	europe_central_asia	europe	upper_middle_income	True	False	2007-01-01	2018	238390.0	21340000.0	16.15	25.41	25.22	8.808	3358.0	9.7	75.53	79.158	72.265	1955-12-14
Slovakia	SVK	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	49035.0	5489000.0	13.31	26.93	26.32	6.746	2944.0	5.8	77.16	80.511	73.589	1993-01-19
Slovenia	SVN	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	20270.0	2045000.0	14.94	27.44	26.58	5.315	3168.0	2.1	81.12	84.017	78.499	1992-05-22
Spain	ESP	europe_central_asia	europe	high_income	True	True	1986-01-01	2018	505940.0	47040000.0	11.83	27.50	26.31	5.146	3174.0	3.5	83.23	86.119	80.694	1955-12-14
Sweden	SWE	europe_central_asia	europe	high_income	True	True	1995-01-01	2018	447420.0	9546000.0	9.50	26.38	25.15	2.737	3179.0	2.4	82.37	84.443	81.126	1946-11-19
United Kingdom	GBR	europe_central_asia	europe	high_income	True	True	1973-01-01	2018	243610.0	63180000.0	13.24	27.39	26.94	3.377	3424.0	3.5	81.19	83.558	80.127	1945-10-24

Nemusíš použít existující sloupec v tabulce, ale i jakoukoliv vypočítanou hodnotu stejného tvaru:

In [48]:

# Prťavé země
countries[countries["population"] < 100_000]   # Podtržítko pomáhá oddělit tisíce vizuálně

Out[48]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Andorra	AND	europe_central_asia	europe	high_income	False	False	NaN	2017	470.0	88910.0	10.17	27.63	26.43	NaN	NaN	2.10	82.55	NaN	NaN	1993-07-28
Antigua and Barbuda	ATG	america	americas	high_income	False	False	NaN	2018	440.0	91400.0	8.17	25.77	27.51	NaN	2417.0	5.80	77.60	79.028	74.154	1981-11-11
Dominica	DMA	america	americas	upper_middle_income	False	False	NaN	2017	750.0	67700.0	8.68	24.57	28.78	NaN	2931.0	19.60	73.01	NaN	NaN	1978-12-18
Liechtenstein	LIE	europe_central_asia	europe	high_income	False	False	NaN	2017	160.0	36870.0	NaN	NaN	NaN	NaN	NaN	1.76	NaN	NaN	NaN	1990-09-18
Marshall Islands	MHL	east_asia_pacific	asia	upper_middle_income	False	False	NaN	2017	180.0	56690.0	NaN	29.37	31.39	1.800	NaN	29.60	65.00	NaN	NaN	1991-09-17
Monaco	MCO	europe_central_asia	europe	high_income	False	False	NaN	2017	2.0	35460.0	NaN	NaN	NaN	NaN	NaN	2.80	NaN	NaN	NaN	1993-05-28
Nauru	NRU	east_asia_pacific	asia	NaN	False	False	NaN	2015	20.0	10440.0	4.81	33.90	35.02	NaN	NaN	29.10	NaN	NaN	NaN	1999-09-14
Palau	PLW	east_asia_pacific	asia	upper_middle_income	False	False	NaN	2017	460.0	20920.0	9.86	30.38	31.85	10.730	NaN	14.20	NaN	NaN	NaN	1994-12-15
Saint Kitts and Nevis	KNA	america	americas	high_income	False	False	NaN	2017	260.0	54340.0	10.62	28.23	30.51	NaN	2492.0	8.40	NaN	NaN	NaN	1983-09-23
San Marino	SMR	europe_central_asia	europe	high_income	False	False	NaN	2017	60.0	32160.0	NaN	NaN	NaN	5.946	NaN	2.60	NaN	NaN	NaN	1992-03-02
Seychelles	SYC	sub_saharan_africa	africa	upper_middle_income	False	False	NaN	2018	460.0	87420.0	12.11	25.56	27.97	11.700	NaN	11.70	74.23	78.730	69.693	1976-09-21
Tuvalu	TUV	east_asia_pacific	asia	upper_middle_income	False	False	NaN	2017	30.0	9888.0	2.14	NaN	NaN	NaN	NaN	22.80	NaN	NaN	NaN	2000-09-05

...a samozřejmě kombinace:

In [49]:

# Chudší země EU
countries[countries["is_eu"] & (countries["income_groups"] != "high_income")]

Out[49]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Bulgaria	BGR	europe_central_asia	europe	upper_middle_income	True	False	2007-01-01	2018	111000.0	7349000.0	11.40	26.54	25.52	9.662	2829.0	9.3	75.32	78.485	71.618	1955-12-14
Hungary	HUN	europe_central_asia	europe	upper_middle_income	True	True	2004-05-01	2018	93030.0	9934000.0	16.12	27.12	25.98	5.234	3037.0	5.3	75.90	79.557	72.610	1955-12-14
Romania	ROU	europe_central_asia	europe	upper_middle_income	True	False	2007-01-01	2018	238390.0	21340000.0	16.15	25.41	25.22	8.808	3358.0	9.7	75.53	79.158	72.265	1955-12-14

In [50]:

# Které země OECD mají očekávanou dobu dožití méně 78 let?
countries[countries["is_oecd"] & (countries["life_expectancy"] < 78)]

Out[50]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Estonia	EST	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	45230.0	1339000.0	17.24	26.26	25.19	5.896	3253.0	2.3	77.66	82.111	73.201	1991-09-17
Hungary	HUN	europe_central_asia	europe	upper_middle_income	True	True	2004-05-01	2018	93030.0	9934000.0	16.12	27.12	25.98	5.234	3037.0	5.3	75.90	79.557	72.610	1955-12-14
Latvia	LVA	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	64490.0	2226000.0	13.45	26.46	25.62	8.275	3174.0	6.9	75.13	79.498	69.882	1991-09-17
Lithuania	LTU	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	65286.0	3278000.0	16.30	26.86	26.01	8.090	3417.0	3.3	75.31	80.060	69.554	1991-09-17
Mexico	MEX	america	americas	upper_middle_income	False	True	NaN	2018	1964380.0	117500000.0	8.55	27.42	28.74	9.468	3072.0	11.3	76.78	79.880	75.120	1945-11-07
Slovakia	SVK	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	49035.0	5489000.0	13.31	26.93	26.32	6.746	2944.0	5.8	77.16	80.511	73.589	1993-01-19

Protože tento způsob filtrování je poněkud nešikovný, existuje ještě metoda query, která umožňuje vybírat řádky na základě řetězce, který popisuje nějakou (ne)rovnost z názvů sloupců a číselných hodnot (což poměrně často jde, někdy ovšem nemusí).

In [51]:

# Opravdu veliké země (počet obyvatel nad 100 milionů)
countries.query("population > 100_000_000")

Out[51]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Bangladesh	BGD	south_asia	asia	low_income	False	False	NaN	2018	147630.0	1.544000e+08	0.17	20.40	20.55	4.401	2450.0	30.7	73.41	74.937	71.484	1974-09-17
Brazil	BRA	america	americas	upper_middle_income	False	False	NaN	2018	8515770.0	2.001000e+08	10.08	25.79	25.99	1.872	3263.0	14.6	75.70	79.527	72.340	1945-10-24
China	CHN	east_asia_pacific	asia	upper_middle_income	False	False	NaN	2018	9562911.0	1.359000e+09	5.56	22.92	22.91	3.590	3108.0	9.2	76.92	78.163	75.096	1945-10-24
India	IND	south_asia	asia	lower_middle_income	False	False	NaN	2018	3287259.0	1.275000e+09	2.69	20.96	21.31	3.034	2459.0	37.9	69.10	70.678	67.538	1945-10-30
Indonesia	IDN	east_asia_pacific	asia	lower_middle_income	False	False	NaN	2018	1910931.0	2.472000e+08	0.56	21.86	22.99	1.232	2777.0	22.8	72.03	71.742	67.426	1950-09-28
Japan	JPN	east_asia_pacific	asia	high_income	False	True	NaN	2018	377962.0	1.263000e+08	7.79	23.50	21.87	1.381	2726.0	2.0	84.17	87.244	80.803	1956-12-18
Mexico	MEX	america	americas	upper_middle_income	False	True	NaN	2018	1964380.0	1.175000e+08	8.55	27.42	28.74	9.468	3072.0	11.3	76.78	79.880	75.120	1945-11-07
Nigeria	NGA	sub_saharan_africa	africa	lower_middle_income	False	False	NaN	2018	923770.0	1.709000e+08	12.72	23.03	23.67	NaN	2700.0	69.4	66.14	55.158	53.512	1960-10-07
Pakistan	PAK	south_asia	asia	lower_middle_income	False	False	NaN	2018	796100.0	1.832000e+08	0.05	22.30	23.45	NaN	2440.0	65.8	67.96	67.869	65.750	1947-09-30
Russia	RUS	europe_central_asia	europe	high_income	False	False	NaN	2018	17098250.0	1.426000e+08	16.23	26.01	27.21	14.380	3361.0	8.2	71.07	76.882	65.771	1945-10-24
United States	USA	america	americas	high_income	False	True	NaN	2018	9831510.0	3.185000e+08	9.70	28.46	28.34	9.523	3682.0	5.6	79.14	81.942	77.429	1945-10-24

In [52]:

# V kterých zemích EU se hodně jí?
countries.query("is_eu & (calories_per_day > 3500)")

Out[52]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Austria	AUT	europe_central_asia	europe	high_income	True	True	1995-01-01	2018	83879.0	8441000.0	12.40	26.47	25.09	3.541	3768.0	2.9	81.84	84.249	79.585	1955-12-14
Belgium	BEL	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	30530.0	10820000.0	10.41	26.76	25.14	5.427	3733.0	3.3	81.23	83.751	79.131	1945-12-27
Ireland	IRL	europe_central_asia	europe	high_income	True	True	1973-01-01	2018	70280.0	4631000.0	14.92	27.65	26.62	3.768	3600.0	3.0	81.49	83.737	79.885	1955-12-14
Italy	ITA	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	301340.0	61090000.0	9.72	26.48	24.79	3.778	3579.0	2.9	82.62	85.435	81.146	1955-12-14
Luxembourg	LUX	europe_central_asia	europe	high_income	True	True	1952-07-23	2018	2590.0	530000.0	12.84	27.43	26.09	5.971	3539.0	1.5	82.39	84.227	79.981	1945-10-24

Úkol: Která jediná země Afriky patří do skupiny s vysokými příjmy?

Úkol: Ve kterých zemích se pije opravdu hodně (použij výše uvedené nebo jakékoliv jiné kritérium)

Řazení

V úvodní lekci pandas jsme si již ukázali, jak pomocí metody sort_index seřadit řádky podle indexu. Jelikož countries už jsou srovnané, vyzkoušíme si to ještě jednou na planetách:

In [53]:

planety.sort_index()

Out[53]:

	symbol	obezna_poloosa	obezna_doba	mesice	je_obr
jmeno
Jupiter	♃	5.20	11.86	79	True
Mars	♂	1.52	1.88	2	False
Merkur	☿	0.39	0.24	0	False
Neptun	♆	30.06	164.80	14	True
Saturn	♄	9.54	29.46	82	True
Uran	♅	19.22	84.01	27	True
Venuše	♀	0.72	0.62	0	False
Země	⊕	1.00	1.00	1	False

Pro řazení hodnot v Series se použije metoda sort_values:

In [54]:

# 10 zemí s nejmenším počtem obyvatel
countries["population"].sort_values().head(10)

Out[54]:

name
Tuvalu                    9888.0
Nauru                    10440.0
Palau                    20920.0
San Marino               32160.0
Monaco                   35460.0
Liechtenstein            36870.0
Saint Kitts and Nevis    54340.0
Marshall Islands         56690.0
Dominica                 67700.0
Seychelles               87420.0
Name: population, dtype: float64

Nepovinný argument ascending říká, kterým směrem máme řadit. Výchozí hodnota je True, změnou na False tedy budeme řadit od největšího k nejmenšímu:

In [55]:

# Největších 10 zemí podle rozlohy
countries["area"].sort_values(ascending=False).head(10)

Out[55]:

name
Russia           17098250.0
Canada            9984670.0
United States     9831510.0
China             9562911.0
Brazil            8515770.0
Australia         7741220.0
India             3287259.0
Argentina         2780400.0
Kazakhstan        2724902.0
Algeria           2381740.0
Name: area, dtype: float64

V případě tabulky je třeba jako první argument uvést jméno sloupce (nebo sloupců), podle kterých chceme řadit:

In [56]:

# 10 zemí s největší spotřebou alkoholu na jednoho obyvatele
countries.sort_values("alcohol_adults", ascending=False).head(10)

Out[56]:

	iso	world_6region	world_4region	income_groups	is_eu	is_oecd	eu_accession	year	area	population	alcohol_adults	bmi_men	bmi_women	car_deaths_per_100000_people	calories_per_day	infant_mortality	life_expectancy	life_expectancy_female	life_expectancy_male	un_accession
name
Moldova	MDA	europe_central_asia	europe	lower_middle_income	False	False	NaN	2018	33850.0	3496000.0	23.01	24.24	27.06	5.529	2714.0	13.6	72.41	76.090	67.544	1992-03-02
South Korea	KOR	east_asia_pacific	asia	high_income	False	True	NaN	2018	100280.0	48770000.0	19.15	23.99	23.33	4.319	3334.0	2.9	81.35	85.467	79.456	1991-09-17
Belarus	BLR	europe_central_asia	europe	upper_middle_income	False	False	NaN	2018	207600.0	9498000.0	18.85	26.16	26.64	8.454	3250.0	3.4	73.76	78.583	67.693	1945-10-24
North Korea	PRK	east_asia_pacific	asia	low_income	False	False	NaN	2018	120540.0	24650000.0	18.28	22.02	21.25	NaN	2094.0	19.7	71.13	75.512	68.450	1991-09-17
Ukraine	UKR	europe_central_asia	europe	lower_middle_income	False	False	NaN	2018	603550.0	44700000.0	17.47	25.42	26.23	8.771	3138.0	7.7	72.29	77.067	67.246	1945-10-24
Estonia	EST	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	45230.0	1339000.0	17.24	26.26	25.19	5.896	3253.0	2.3	77.66	82.111	73.201	1991-09-17
Czechia	CZE	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	78870.0	10590000.0	16.47	27.91	26.51	5.720	3256.0	2.8	79.37	81.858	76.148	1993-01-19
Uganda	UGA	sub_saharan_africa	africa	low_income	False	False	NaN	2018	241550.0	36760000.0	16.40	22.36	22.48	13.690	2130.0	37.7	62.86	62.667	58.252	1962-10-25
Lithuania	LTU	europe_central_asia	europe	high_income	True	True	2004-05-01	2018	65286.0	3278000.0	16.30	26.86	26.01	8.090	3417.0	3.3	75.31	80.060	69.554	1991-09-17
Russia	RUS	europe_central_asia	europe	high_income	False	False	NaN	2018	17098250.0	142600000.0	16.23	26.01	27.21	14.380	3361.0	8.2	71.07	76.882	65.771	1945-10-24

💡 V následující buňce je celý kód uzavřen do závorky. Umožnili jsme si tím roztáhnout jeden výraz na více řádků, abychom jeho části mohli náležitě okomentovat.

In [57]:

(
    # Uvažuj jenom EU
    countries[countries["is_eu"]]
    
    # Seřaď nejdřív podle data vstupu do EU, pak podle vstupu do OSN
    .sort_values(["eu_accession", "un_accession"])

    # Zobraz si jen ty dva sloupce
    [["eu_accession", "un_accession"]]
)

Out[57]:

	eu_accession	un_accession
name
France	1952-07-23	1945-10-24
Luxembourg	1952-07-23	1945-10-24
Netherlands	1952-07-23	1945-12-10
Belgium	1952-07-23	1945-12-27
Italy	1952-07-23	1955-12-14
Germany	1952-07-23	1973-09-18
Denmark	1973-01-01	1945-10-24
United Kingdom	1973-01-01	1945-10-24
Ireland	1973-01-01	1955-12-14
Greece	1981-01-01	1945-10-25
Portugal	1986-01-01	1955-12-14
Spain	1986-01-01	1955-12-14
Sweden	1995-01-01	1946-11-19
Austria	1995-01-01	1955-12-14
Finland	1995-01-01	1955-12-14
Poland	2004-05-01	1945-10-24
Hungary	2004-05-01	1955-12-14
Cyprus	2004-05-01	1960-09-20
Malta	2004-05-01	1964-12-01
Estonia	2004-05-01	1991-09-17
Latvia	2004-05-01	1991-09-17
Lithuania	2004-05-01	1991-09-17
Slovenia	2004-05-01	1992-05-22
Czechia	2004-05-01	1993-01-19
Slovakia	2004-05-01	1993-01-19
Bulgaria	2007-01-01	1955-12-14
Romania	2007-01-01	1955-12-14
Croatia	2013-01-01	1992-05-22

Úkol: Seřaď země světa podle hustoty obyvatel.

Úkol: Které země mají problémy s nadváhou (průměrné BMI mužů a žen je přes 25)?

Úkol: V kterých 20 zemích umře absolutně nejvíc lidí při automobilových haváriích?

Ulož výsledky!

A tím už pomalu končíme. Jenže jsme udělali (skoro) netriviální množství práce a ta bude do příště ztracená. Naštěstí zapsat DataFrame do externího souboru v některém z typických formátů není vůbec komplikované. K sadě funkcí pd.read_XXX existují jejich protějšky DataFrame.to_XXX. Liší se různými parametry, ale základní použití je velmi jednoduché:

In [58]:

planety.to_csv("planety.csv")

In [59]:

planety.to_excel("planety.xlsx")

Excel ani CSV nejsou formáty pro ukládání velikých dat zcela vhodné (jako alternativy se nabízí třeba feather nebo parquet), pro naše účely (malé soubory, čitelný textový formát) ale budou CSV postačovat.

Jednou z možností je i vytvoření HTML tabulky (které lze dodat i různé formátování, což ovšem nechme raději na jindy nebo na doma, viz dokumentace "Styling"):

In [60]:

planety.to_html("planety.html")

Úkol: Podívej se, co ve výstupních souborech najdeš.

Úkol: Podívej se na seznam možných výstupních formátů a zkus si planety nebo země zapsat do nějakého z nich: https://pandas.pydata.org/pandas-docs/stable/reference/frame.html#serialization-io-conversion

A to už je opravdu všechno. 👋