Při práci s daty je mnoho příležitostí, kdy se hodí interaktivita. Při vizualici se hodí zvětšování / změnšování měřítka, výběr podoblasti, ukázání vykreslených hodnot apod. Nebo při datové anlýze obecně se může hodit interaktivně v notebooku měnit nějaký parametr (třeba hyperparametr pro strojové učení). Anebo chceme dát výsledky naší skvělé analýzy k dispozici "netechnickým" kolegům nebo kamarádům, kteří (zatím) nedokáží Jupyter notebook spustit.
Tady si ukážeme, jak si s takovými úkoly poradit pomocí dvou nástrojů: plotly, resp. především plotly express, a panel.
Existují i další nástroje, které poskytují podobné možnosti. Podrobný přehled najdete na https://pyviz.org/tools.html. Na interaktivní vizualizace jsou to především holoviews nebo altair. Na "dashboarding" pak dash, streamlit, voila nebo justpy.
Každý z těchto nástrojů má, jako obvykle, své výhody a nevýhody. Nejrozšířenějším nástrojem je Dash ze stejné dílny jako plotly, který poskytuje i enterprise řešení pro provoz aplikací. Dash je určitě dobrou volbou, jak se můžete dozvědět i na přednášce z pražského PyData Meetupu. Panel (a také Voila) se od Dash liší tím, že je lze použít i v Jupytere notebooku a pak notebook použít přímo jako aplikaci - a proto Panel použijeme my v této lekci.
Pár článků či přednášek, které se tématu týkají:
Je potřeba ale říct, že všechny tyto přístupy mají své výrazné nevýhody a limity a nehodí se pro velké a složité aplikace. Možnosti interakcí v aplikaci jsou omezené a také mohou být pomalé. Robustní škálování pro mnoho uživatelů (velký provoz) je obecně složitější. Kdy tedy především použít co si tady ukážeme?
A co když chceme budovat velkou (webovou) aplikaci?
Pokud nemáte nainstalované knihovny plotly a panel, odkomentujte a spusťe příslušné řádky.
# instalace plotly
# %pip install plotly
# instalace panel
# POZOR: nainstalujte tuto (v době vzniku nejnovější) verzi,
# s některými předešlými verzemi byl problém v násleném provozu na heroku
# %pip install bokeh==2.0.2 panel==0.9.5
Pro plotly express a panel se vžily zkratky px a pn, pod kterými je naimportujeme i my.
Dále je pro použití panelu v notebooku potřeba zavolat pn.extension, v našem případě s argumentem "plotly" aby tyto dvě knihovny správně spolupracovaly.
Je doporučené to udělat hned na začátku notebooku, resp. před použitím plotly nebo panel, jinak může dojít k problémům v zobrazování notebooku.
import plotly.express as px
import panel as pn
pn.extension("plotly")
Z onemocnění COVID-19 je v době vzniku tohoto kurzu většina z nás už dost nešťastná. Poskytuje ale příležitost k analýzám dat a vytváření vizualizací a dashboardů. Jejich přehled a hodnocení přináší např. i článek z MIT: The best, and the worst, of the coronavirus dashboards. Uvidíme, jestli se do příštího vydání dostane a náš dashboard :)
Použijeme data z https://github.com/datasets/covid-19 (lehce přeformátovaná data z Johns Hopkins University: https://github.com/CSSEGISandData/COVID-19).
import pandas as pd
covid_data_raw = pd.read_csv(
"https://raw.githubusercontent.com/datasets/covid-19/master/data/time-series-19-covid-combined.csv",
parse_dates=["Date"],
).rename(columns={"Province/State": "State", "Country/Region": "Country"})
covid_data_raw
Pro některé země je v datech více regionů. My si ale data agregujeme podle zemí dohromady.
covid_data = (
covid_data_raw
.groupby(["Country", "Date"])[["Confirmed", "Recovered", "Deaths"]]
.agg("sum")
.reset_index()
)
covid_data
Zajímá nás průběh jedné konkrétní země - třeba Česka :)
# uložíme si to do proměnné, abychom to pak nespletli
country = "Czechia"
covid_selected_country = covid_data.query(f'Country == "{country}"')
covid_selected_country.tail()
Určitě bude zajímavé si data vykreslit v grafu. Zatím jsme používali hlavně knihovnu matplotlib. Ta toho umí opravdu hodně, navíc jde používat přímo pomocí DataFrame.plot. Chybí jí ale vlastnost, která je pro datovou analýzu a hlavně pak pro webové aplikace nesmírně užitečná: interaktivita. (Ona tedy nechybí úplně, ale je velmi omezená.)
Interaktivita nám umožňuje bohatší práci s vizualizacemi. Můžeme si zvětšit nějakou podoblast grafu. Můžeme zvětšovat / zmenšovat měřítko aby byly vidět třeba i malé rozdíly v hodnotách. V lekci a PCA jsme použili interakticní popisky jednotlivých symbolů v grafu na identifikaci příslušného záznamu v datech. A mnoho dalšího.
S plotly, resp. plotly-express, už jsme trochu pracovali. Pojďme tedy tuto knihovnu rovnou použít!
px.bar(
covid_selected_country,
x="Date",
y="Confirmed",
title=f"Confirmed cases in {country}",
)
Teď byste měli v notebooku vidět graf - vývoj případů v Česku. Pojďme si s grafem chvilku hrát :)
Vyzkoušejte:
Úkol:
color). Na filtrování dat si vzpomeňte na .isin. Dokázali jsme si vytvořit celkem pěknou vizualizaci základních veličin, popisujích průběh pandemie COVID-19. Museli jsme si ale ručně vybírat a přepínat parametry vizualizace, např. výběr zemí nebo vykreslované veličiny.
Praktičtější by určitě bylo mít nějaké "klikátko" - "vybírávátko", které by nám parametry umožnilo nastavit.
V uživatelských grafických rozhraních (GUI), zejména těch používajících webové technologie, se právě pro tyto přiležitosti hodí widgety (český výraz se nepoužívá a ani pořádně neexistuje).
A jelikož máme to štěstí, že notebook má webové grafické rozhraní, můžeme widgety přidat přímo do něj. Jednou z možností je použít knihovnu panel.
Vytvoříme si rovnou úplně jednoduchý widget na výběr zěmě:
country_selection = pn.widgets.Select(options=sorted(covid_data["Country"].unique()), name="Country")
A teď si ho zobrazíme přího v notebooku:
country_selection
V tuto chvíli můžete vybírat se zeznamu všech zemí, které jsou v našich datech. To je pohled vás jako uživatele. Ale co se stane z pohledu programátora, tedy co se stane v Pythonu?
Objekt country_selection nám nabízí několik atributů a metod, které nám umožňují zjistit, co uživatel udělal. V tomto případě se nejvíc hodí zjistit, jakou zemi uživatel vybral. A na to je .value.
country_selection.value
Úkol: Vyberte v buňce nahoře svou (ne)oblíbenou zemi a podívejte se, jestli se změnila hodnota country_selection.value. Je potřeba spouště znovu buňku, která zobrazuje country_selection widget? Co se stane, když jí spustíte znovu (třeba v jiné buňce)?
country_selection.value už je něco, co můžeme použít pro vykreslení grafu podobně jako před chvilkou:
px.bar(
covid_data.query(f'Country == "{country_selection.value}"'),
x="Date",
y="Confirmed",
title=f"Confirmed cases in {country_selection.value}",
)
Teď jsme mohli vybrat jeden parametr. Hodilo by se nám ale vybírat více parametrů různých typů: výběr více zemí, vykreslená veličina, přepínač logaritmické škály nebo třeba typ zobrazení (bar nebo line plot). S volbou vhodných widgetů nám pomůže dokumentace panel (pozor, některé widgety nejsou v naší starší verzi dostupné). Abychom nemuseli každý widget zobrazovat zvlášť, použijeme komponenty z kategorie Layouts, nyní konkrétně Column.
# widget pro výběr více možností ze seznamu
countries_selection = pn.widgets.CrossSelector(
name="Countries", options=sorted(covid_data["Country"].unique()), value=["Czechia"]
)
# výběr vykreslené veličiny
plotted_variable = pn.widgets.Select(
name="Plotted variable", options=["Confirmed", "Recovered", "Deaths"]
)
# přepínač logaritmické škály
use_log_scale = pn.widgets.Checkbox(name="Use log scale", value=False)
# výběr typu grafu
plot_type = pn.widgets.Select(
name="Plot type", options={"bar": px.bar, "line": px.line}
)
A teď to dáme vše dohromady pro zobrazení nad sebou, tj. do sloupce, a rovnou zobrazíme.
selections = pn.Column(countries_selection, plotted_variable, use_log_scale, plot_type)
selections
Pokud chceme dát dvě komponenty vedle sebe, dáme je do jedné řady nebo Row:
selections = pn.Column(
countries_selection, pn.Row(plotted_variable, plot_type), use_log_scale
)
selections
A teď už můžeme vybrané možnosti použít:
plot_type.value(
covid_data.loc[covid_data["Country"].isin(countries_selection.value)],
x="Date",
y=plotted_variable.value,
color="Country",
log_y=use_log_scale.value,
)
Naší aplikaci teď chybí už jen "maličkost" - provázat uživatelské vstupy s výstupem tak, aby se výstup automaticky aktualizoval. Aby se nám to podařilo, budeme muset náš kód zabalit do funkce, která aplikaci (dashboard) vytváří.
# argumenty funkce NEJSOU widgety
def create_dashboard(countries, plot_variable, plot_function, log_y):
return plot_type.value(
covid_data.loc[covid_data["Country"].isin(countries)],
x="Date",
y=plot_variable,
color="Country",
log_y=log_y,
)
Funkci můžeme vyzkoušet a předat jí aktuální hodnoty z widgetů. Tím ale stále ještě nemáme interaktivní aplikaci.
create_dashboard(
countries=countries_selection.value,
plot_variable=plotted_variable.value,
plot_function=plot_type.value,
log_y=use_log_scale.value,
)
Tím zbývajícím kouskem skládačky k interaktivní aplikaci je funkce interact. Ta nám "obalí" naši funkci, v tomto případě create_dashboard, a sváže hodnoty widgetů se vstupními argumenty naší funkce (která generuje grafický výstup na základě hodnot vstupních parametrů).
# nejprve interaktivní dashboard vytvoříme
interactive_dashboard = pn.interact(
create_dashboard,
countries=countries_selection,
plot_variable=plotted_variable,
plot_function=plot_type,
log_y=use_log_scale,
)
# a poté zobrazíme
interactive_dashboard
Teď si zkuste měnit hodnoty pomocí widgetů - výstup se bude hned měnit (tedy skoro hned - takto vytvořená aplikace není nejsvižnější - to je drobá daň za jednoduchust implementace).
Zatím jsi si vše zprovoznil(a) ve svém notebooku. To je výborné, ale má to pořád ještě drobnou nevýhodu - poslat takový notebook někomu, kdo si pod pojmem Python vybaví pouze 🐍, je riskantní. Když totiž jako nápovědu uslyší, že si toho hada má pustit, nejspíš se lekne a uteče. Místo toho bychom raději předali jen odkaz na webovou "stránku", tedy na náš dashboard.
Začneme tím, že si aplikaci spustíme na svém počítači. To jde naštěstí velice jednoduše, dokonce můžeme použít přímo tento notebook. Jen musíme nějak vysvětlit, co přesně v té aplikaci má být. Na to slouží metoda servable.
interactive_dashboard.servable(title="Můj COVID-19 dashboard")
V notebooku se nic nezměnilo, můžeme ale spustit notebook jako samostatnou aplikaci. V příkazové řádce to zajistí
bokeh serve dashboards.ipynbZobrazí se nám něco jako
2020-04-13 09:31:13,787 Starting Bokeh server version 1.4.0 (running on Tornado 6.0.4)
2020-04-13 09:31:13,799 User authentication hooks NOT provided (default user enabled)
2020-04-13 09:31:13,802 Bokeh app running at: http://localhost:5006/dashboards
2020-04-13 09:31:13,802 Starting Bokeh server with process id: 9220Na třetím řádku jistě rozeznáte webový odkaz. Pravděpodobně tam bude http://localhost:5006/dashboards. Pokud tuto adresu otevřeš v prohlížeči, zobrazí se poslední verze našeho COVID dashboardu - ta, u které jsme zavolal metodu .servable().
V principu bychom mohli spustit aplikaci u sebe na počítači tak, aby ji mohli používat i další uživatelé. Na vnitřní síti (domácí, pracovní) by to bylo snadné (i když na pracovní síti a pracovním počítači by tomu mohla bránit bezpečnostní nastavení), přístup z vnějšího internetu by už byl komplikovanější.
Naštěstí nejsme v podobné situaci sami :) Takže existují více či méně složité a sofistikované způsoby, jak aplikaci spustit na nějakém serveru (v cloudu) a zpřístupnit z internetu. My si ukážeme, jak to funguje na Heroku. Podobné služby nabízí třeba AWS (Elastic Beanstalk), Google App Engine nebo Dokku on Digital Ocean. Výhodou Heroku je jednoduchost a možnost bezplatných služeb, nevýhodou pak rychle rostoucí cena a omezené možnosti.
Budeme postupovat v podstatě podle průvodce Getting started with Python.
Než začneme, je potřeba:
git config --global user.name "Moje Jméno"
git config --global user.email "muj@email.com"Instalaci ověříme v příkazové řádce pomocí:
Git:
git config --listMělo by se objevit něco na způsob
user.name=Moje Jméno
user.email=muj@email.comHeroku:
heroku --versionTady by mělo být výstupem zhruba
heroku/7.39.2 darwin-x64 node-v12.13.0Teď budeme chvilku pracovat v příkazové řádce. Než začnete psát příkazy, ujistěte se, že jste ve složce s tímto netebookem. Ideálně by v této složce měl být (zatím) jen tento notebook. Pokud to tak není, můžete si vytvořit složku novou a notebook tam přesunout nebo zkopírovat.
A můžeme začít:
Musíme vytvořit Git repozitář:
git initPro Heroku potřebuje vytvořit soubor s názvem Procfile. Ten velice jednoduše říká, co že to vlastně chceme spustit. Bude tam příkaz bokeh serve (tak jako jsme spouštěli aplikaci lokálně) s pár přepínači navíc. Konkrétně soubor Procfile musí obsahovat tento řádek:
web: bokeh serve --port=$PORT --allow-websocket-origin="*" --address=0.0.0.0 dashboards.ipynbDalším souborem, který potřebujeme, je requirements.txt. O tom jste už možná slyšeli(y) - obsahuje seznam Python balíčků, které potřebuje daný Python projekt. Heroku tento soubor použije, aby před spuštěním aplikace nainstaloval vše potřebné. Pro náš dashboard musí býv v requirements.txt toto:
bokeh==2.0.2
panel==0.9.5
pandas==1.0.3
notebook==6.0.3
plotly==4.5.4Soubory už máme připravené, potřebujeme je teď přidat do Git repozitáře. Na to použij tyto dva příkazy:
git add dashboards.ipynb Procfile requirements.txt
git commit -v -m "první verze dashboardu"A teď už můžeme publikovat. Tedy nejdříve se přihlásit pomocí
heroku login(Postupujte dle pokynů - otevře se přihlašovací stránka ve webovém prohlížeči, která vás vyzve k zadání přihlašovacích údajů.)
Pak ještě vytvořit Heroku aplikaci pomocí
heroku createA nakonec už opravdu vypustit aplikaci na internet pomocí
git push heroku masterPokud vše půjde dobře, tento krok bude chvíli trvat. Postupně se bude vypisovat, co pro nás Heroku dělá:
Enumerating objects: 7, done.
Counting objects: 100% (7/7), done.
Delta compression using up to 4 threads
Compressing objects: 100% (4/4), done.
Writing objects: 100% (4/4), 940.72 KiB | 2.40 MiB/s, done.
Total 4 (delta 2), reused 0 (delta 0)
remote: Compressing source files... done.
remote: Building source:
remote:
remote: -----> Python app detected
remote: -----> Clearing cached dependencies
remote: -----> Installing python-3.8.2
remote: -----> Installing pip
remote: -----> Installing SQLite3
remote: Sqlite3 successfully installed.
remote: -----> Installing requirements with pip
remote: Collecting bokeh==1.4.0
remote: Downloading bokeh-1.4.0.tar.gz (32.4 MB)
remote: Collecting panel==0.8.3
...Nakonec by se mělo objevit něco jako
remote: -----> Launching...
remote: Released v20
remote: https://banana-sundae-72768.herokuapp.com/ deployed to Heroku
remote:
remote: Verifying deploy... done.
To https://git.heroku.com/banana-sundae-72768.git
2652f01..8d65612 master -> masterDůležitý je odkaz pod řádkem "Released v20". To je totiž adresa, na které je náš dashboard dostupný "odkudkoli z internetu". Buď si ji zkopírujte do prohlížeče nebo použijte příkaz heroku open.