You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
clerie 2adef5aa10 Update readme 7 months ago
scraper Initial commit 7 months ago
sql Initial commit 7 months ago
.gitignore Initial commit 7 months ago
LICENSE Create LICENSE 7 months ago
README.md Update readme 7 months ago
requirements.txt Initial commit 7 months ago

README.md

DWD Scraper

Importiert Messdaten aus dem OpenData Programm des DWD in eine Datenbank.

Quellen

Der Datenbestand von Wetter stammt vollständig aus dem Open-Data Programm des Deutschen Wetterdienstes. Dort laden wir regelmäßig direkt die Messergebnisse herunter und pflegen diese in unser System ein. Nach und nach aktualisiert der DWD einige Messergenisse duch Fehlerkorrekturverfahren. Auch diese pflegen wir im Laufe der Zeit nach.

Alles zu diesem Datensatz findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/

Dieses Projekt benutzt die selben Bezeichner, wie die Datensätze selber. Eine Dokumentation der Bezichner findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/BESCHREIBUNG_obsgermany_climate_daily_kl_recent_de.pdf

Datenbank

Als Datenbank wird PostgreSQL verwendet und das Datenbankschema liegt unter sql/wetter.sql.

Zugangsdaten für die Datenbank müssen unter scraper/config/db.py abgelegt werden, das entsprechende Format ist unter scraper/config/db.py.example hinterlegt.

Scraper

Als erstes müssen die Stationen importiert werden.

./scraper/daily_import_stations.py

Anschließend können darauf die Messergebnisse für die importierten Stationen eingelesen werden.

./scraper/daily_import_climate.py