# DWD Scraper
Importiert Messdaten aus dem OpenData Programm des DWD in eine Datenbank.

## Quellen
Der Datenbestand von Wetter stammt vollständig aus dem Open-Data Programm des Deutschen Wetterdienstes. Dort laden wir regelmäßig direkt die Messergebnisse herunter und pflegen diese in unser System ein. Nach und nach aktualisiert der DWD einige Messergenisse duch Fehlerkorrekturverfahren. Auch diese pflegen wir im Laufe der Zeit nach.

Alles zu diesem Datensatz findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/

Dieses Projekt benutzt die selben Bezeichner, wie die Datensätze selber. Eine Dokumentation der Bezichner findet sich unter https://opendata.dwd.de/climate_environment/CDC/observations_germany/climate/daily/kl/recent/BESCHREIBUNG_obsgermany_climate_daily_kl_recent_de.pdf

## Datenbank
Als Datenbank wird PostgreSQL verwendet und das Datenbankschema liegt unter `sql/wetter.sql`.

Zugangsdaten für die Datenbank müssen unter `scraper/config/db.py` abgelegt werden, das entsprechende Format ist unter `scraper/config/db.py.example` hinterlegt.

## Scraper
Als erstes müssen die Stationen importiert werden.
```
./scraper/daily_import_stations.py
```

Anschließend können darauf die Messergebnisse für die importierten Stationen eingelesen werden.
```
./scraper/daily_import_climate.py
```