You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
clerie 2adef5aa10 Update readme 1 year ago
scraper Initial commit 1 year ago
sql Initial commit 1 year ago
.gitignore Initial commit 1 year ago
LICENSE Create LICENSE 1 year ago
README.md Update readme 1 year ago
requirements.txt Initial commit 1 year ago

README.md

DWD Scraper

Importiert Messdaten aus dem OpenData Programm des DWD in eine Datenbank.

Quellen

Der Datenbestand von Wetter stammt vollständig aus dem Open-Data Programm des Deutschen Wetterdienstes. Dort laden wir regelmäßig direkt die Messergebnisse herunter und pflegen diese in unser System ein. Nach und nach aktualisiert der DWD einige Messergenisse duch Fehlerkorrekturverfahren. Auch diese pflegen wir im Laufe der Zeit nach.

Alles zu diesem Datensatz findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/

Dieses Projekt benutzt die selben Bezeichner, wie die Datensätze selber. Eine Dokumentation der Bezichner findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/BESCHREIBUNG_obsgermany_climate_daily_kl_recent_de.pdf

Datenbank

Als Datenbank wird PostgreSQL verwendet und das Datenbankschema liegt unter sql/wetter.sql.

Zugangsdaten für die Datenbank müssen unter scraper/config/db.py abgelegt werden, das entsprechende Format ist unter scraper/config/db.py.example hinterlegt.

Scraper

Als erstes müssen die Stationen importiert werden.

./scraper/daily_import_stations.py

Anschließend können darauf die Messergebnisse für die importierten Stationen eingelesen werden.

./scraper/daily_import_climate.py