data science and bicycle touring
Offensichtlich geht es direkt von der Hitze- in die Heizperiode: 5°C morgens, Nebel, der Herbst ist also da. Perfekt jedenfalls, um morgens mit dem Velo durch den Flughafen zu fahren und von dort die 10km ins Büro zu pedalieren.
Auch wenn kein Nebel da ist, muss man immerhin nicht so früh aufstehen, um den Sonnenaufgang mitzubekommen.
Der Titel klingt ähnlich wie Schwerter zu Pflugscharen, aber technisch geht’s nur darum, die knapp 340’000 Hektarrasterzellen vom BfS (mit Bevölkerung/Haushalten) bestimmten Postleitzahlen zuzuordnen. Sicher gibt’s die Zuordnung schon irgendwo, aber man kann sie ja auch berechnen. Ein Anwendungsfall wäre, dass man pro Postleitzahl die Bevölkerung ausrechnen möchte, aber nur die Zählung pro Hektarrasterzelle hat. Ein weiterer Anwendungsfall, etwas allgemeiner: ich möchte für einen beliebigen Flächenumriss wissen, wieviele Leute dort wohnen, das könnten also auch Gemeindegrenzen, Kantonsgrenzen, Verkaufsgebiete o.ä. sein.
Erstmal brauchen wir wieder Daten:
Damit lässt sich schon mal eine Karte der PLZ erstellen. Im QGIS sind das drei Layer: PLZ-Polygone, Wasserwege und Bahnlinien, bisschen Transparenz, passende Farben, fertig.
Dazu kommen dann die BfS-Hektarrasterzellendaten z.B. aus STATPOP, wie bereits hier schon verlinkt: Grenznäheberechnung mit R. Erstmal gucken wir uns die Hektarrasterzellendaten im GIS an und stellen ein Problem fest:
Die Hektarrasterzellen sind aber Zellen von 100x100m, also geometrische Flächen, keine Punkte. Dementsprechend ungeeignet sind sie für die Berechnung eines Verschnitts von HR-Zellen und Postleitzahl-Polygonen. Eine Umwandlung der Hektarraster-Punkte in Hektarraster-Polygone ist notwendig. “Klingt komisch, is aber so”, um es mal mit der Sendung mit der Maus zu sagen.
Nach ein bisschen Berechnung und Umwandlung (auch in R, kombiniertes Skript s.u.) sieht die Karte schon viel schöner aus:
Ein Kartenausschnitt zeigt es noch deutlicher, dass die Punkte jetzt Polygone mit scharfen Grenzen sind:
Jetzt sind die PLZ-Polygone und die Hektarrasterzellen-Polygone in der Form, die es braucht, um eine Überschneidung zu berechnen. Da treten wieder zwei Fälle auf: einerseits kann eine HR-Zelle vollständig in einer Postleitzahl liegen; andererseits kann sie zu mehreren PLZ gehören. Der Einfachheit halber wird am Ende also eine Tabelle ausgegeben, die zu jeder HR-Zelle eine Postleitzahl aufführt und den Zugehörigkeitsgrad zu dieser PLZ. Den flächenmässigen Verschnitt habe ich nicht weiter berücksichtigt. D.h. wenn eine HR-Zelle sich mit drei PLZ überschneidet, dann bekommt sie einen Zugehörigkeitsgrad von jeweils 1/3 zu jeder der PLZ.
Für die Berechnung des Verschnitts gibt es die R-Funktion “over” aus dem allseits bekannten sp-package. Die scheint nicht besonders effizient zu sein oder es dauert einfach ziemlich lange. Aber mit Parallelisierung geht’s wiederum in akzeptabler Zeit und auch hier muss man das ja nicht permanent neu berechnen, sondern macht es nur einmal.
Eine Beispielausgabe des Skripts kann jetzt so aussehen: CSV-File (Sample). RELI der HR-Zelle, PLZ, Zugehörigkeitsgrad und als Zahlenbeispiel die Totalbevölkerung der Zelle (gewichtet und ungewichtet).
Hier die beiden R-Skripte:
Your Mileage May Vary 🙂
Alle reden immer vom Einkaufstourismus und dass ja viele Schweizer grenznah wohnen. Das kommt natürlich drauf an, wie man Grenznähe definiert. Wenn man die Luftlinie verwendet, kann man das relativ einfach in R berechnen, mit frei verfügbaren Daten. Das Ergebnis sieht dann beispielsweise so aus (Darstellung in QGIS):
Jetzt könnte man das Gleiche noch mit Fahrzeiten entlang der Strassen oder Bahnlinien machen, nur dafür ist es nicht so ganz trivial zu berechnen, weil man dann statt einfacher Luftlinien-Entfernungen zwischen Koordinaten ein echtes Routing machen muss.
Die Daten kommen vom Bundesamt für Statistik: STATPOP2013 und von Swisstopo: SwissBoundaries3D.
Die Berechnungsroutine kommt von mir: https://github.com/datacyclist/CH-plz-distance/blob/main/04-hektarraster-distanz-grenze-parallelisiert.R. Hoffe, das ist halbwegs gut kommentiert. Einfach in ein Verzeichnis, dann noch die entsprechenden Dateien vom BfS dazu und die Grenze (shape-File), fertig. Es rechnet eine Weile. Auf einem halbwegs aktuellen PC mit entsprechender Parallelisierung (4 Cores z.B., im Skript anpassbar) etwa eine Stunde. Genug Zeit, um zwischendurch mal die Limmat rauf und runter zu schwimmen 🙂
Mit ein paar Auswertungen kann ich auch dienen:
Mehr als 1.5 Mio Menschen leben in weniger als 5km Entfernung (Luftlinie) zur Grenze.
Anteilig: 20% in weniger als 5km Grenzentfernung. Etwa die Hälfte hat weniger als 20km Entfernung. Da sind sicher noch etliche Sachen, die man bereinigen könnte, beispielsweise den Bodensee oder den Genfersee oder halt auch Täler im Wallis. Die sind zwar schnell an der Grenze, aber auf der anderen Seite sind auch nur Berge. Wenn man jetzt was mit Einkaufstourismus rechnen wollte, käme man da in die Bredouille.
Zu Ehren des Migros-Gründers Gottlieb Duttweiler fand am Montag das zweite Dutti-Schwimmen statt. Der Legende nach ist er damals zu einem Termin auf dem Zürisee zu einem Boot geschwommen, und zwar mit Strohhut:
Heutzutage wurden seltsame und hässliche orange Plastikhüte verteilt, immerhin wasserfest. Mir hat der Hut natürlich nicht gepasst, also hab ich meinen eigenen weissen Hut genommen. Das Schwimmen war dann vom Dynamo (Mattensteg) bis zur Flussbadi Oberer Letten (vor dem Flusskraftwerk) ein gemächliches Treiben mit der Strömung.
Die Wassertemperatur war ungefähr gleich wie die Lufttemperatur, immerhin ohne Regen. Schon praktisch, so ein gratis schwimmbarer Fluss direkt neben dem Büroturm.
Frühes Aufstehen lohnt sich, da ist man oben auf den Bergen noch recht alleine und hat das Wetter mit guter Sicht auch für sich. Morgens ging’s heute via Stoosbahn (Standseilbahn) nach Stoos, dann von dort der Spur der Geocaches folgend mit der Sesselbahn auf den Klingenstock und danach etwa zwei Stunden lang auf und ab um 1’900 Höhenmeter auf dem schmalen Grat Richtung Fronalpstock. Die Kühe standen bis an den Weg, von einer talwärts gelegenen Alp verkaufte eine Älplerin leckeren Alpkäse und pünktlich zum Mittagessen waren wir am Bergrestaurant Fronalpstock angekommen. Dort hatte es sich dann auch mächtig zugezogen, es war null Sicht übrig und auf der Sesselbahn abwärts hat man grad noch so einen Sesselabstand weit schauen können. Jetzt regnet’s und gewittert’s, also alle Geräte mal besser vom Netz trennen 🙂
Mit der Bahn kam dann auch mein Hut hochgefahren, den ich an der Talstation verloren / vergessen hatte.
Es zog sich schon mächtig zu in Richtung Luzern, der Pilatus müsste oben rechts im Bild zu sehen sein und war bald recht einsam über den Wolken.
Nein, der Berg hat nicht zuviel getrunken. Aber die Flagge für den morgigen Nationalfeiertag hängt schon und ist aus meinem Wohnzimmer mit blossem Auge (sogar ohne Brille) sichtbar. Laut Säntisfahne sind es 80x80m Stoff, die da hängen.
Noch kurz vor dem Urlaub hab ich es geschafft, mich auf meinen ebook-Reader (Pocketbook 626) draufzusetzen. Kurz “knack” und kaputt war das E-Ink-Display. Auf der Suche nach einem Ersatzgerät bin ich auf das Pocketbook Aqua gestossen. Es hat zwar eine niedrigere Auflösung als das Pocketbook Touch Lux 2 (= Pocketbook 626 laut Innenseite des Geräts, genaue Bezeichnung PB626-Y-WW) und auch keine Hintergrundbeleuchtung, aber beides hat mich nie sonderlich interessiert. Der Lieferant war diesmal nicht digitec, sondern brack.ch, die Daten und Bücher waren eh alle in der Dropbox, also war nach einer längeren Synchronisier-Session alles wieder auf dem Stand von vorher, aber eben mit dem neuen Gerät.
Wie entsorge ich die Daten vom alten Gerät? Das Gerät selbst ist ja kein Problem. Also aufgeknipst: das geht ganz einfach und eigentlich auch zerstörungsfrei, einfach oben neben den Löchern mit einem Sackmesser in den Spalt zwischen Deckel und Rückseite und die Klips-Verriegelung lockern und dann rundherum weitermachen. Praktischerweise stellte sich dann heraus, dass sich die Daten vom Gerät ganz einfach entfernen lassen: der sogenannte “interne Speicher” ist auch nur eine fest eingebaute Micro-SD-Karte, die ich herausgelöst habe. Der Li-Ion-Akku kommt ins Recycling, der Rest in den Elektroschrott.
Auch wenn Thurcom mit den neuen Bandbreiten für die Abos dem Markt preis-leistungs-mässig hinterherhängt, sind 50% mehr Geschwindigkeit für mein Abo zum gleichen Preis doch ganz in Ordnung. Der Upload hat dann aber immer noch nur 3MBit/s, während ich mit LTE auf etwa 20MBit/s komme. Mein Beitrag vom September 2013 gilt immer noch.
Aussentemperatur 12 Uhr 33°C, Innentemperatur 27°C. Aalborg hat mir da deutlich besser gefallen.
Der zweite Tag fing gleich wieder mit einem fast schon historisch zu nennenden Vortrag an, der sich um die interaktiven Grafikfähigkeiten von R drehte. Sehr interessant, was da alles gelaufen ist und wie was zusammenhängt.
Ansonsten war auch der Vortrag von Matt Dowle zu Fast, stable and scalable true radix sorting sehr interessant, vor allem (mal wieder) die Performance-Gewinne im data.table-Package, die aber dann (zum Beispiel beim Sortieren) auch Eingang in base R finden.
Um 18 Uhr ging’s dann für fast die gesamte Mannschaft in acht Reisebussen etwa 25km gen Süden in den Rebild Bakker, eine Art Naturpark, wo dann das Konferenzessen stattfand. Erst gab’s noch eine kleine Wanderung durch den Wald, wo wir (zum Spass) von so urtümlichen Strolchen überfallen wurden, aber irgendwie war von den vielen Data Scientists da niemand so richtig zu begeistern. Die hätten lieber ein paar Datenwürfel zum Spielen mitgebracht.
Nach dem Konferenzessen war ich dann noch im menschenleeren Park unterwegs zum Geocachen, was sich ja nun wirklich als Verdauungsspaziergang anbot, bevor nach 22 Uhr die Rückfahrt startete. Das gab dann wider Erwarten doch reichlich Höhenmeter. Nach Rückankunft in Aalborg war es immer noch hell.
Die Konferenz ist doch recht spannend, hab schon einige bekannte Gesichter von der EARL-Konferenz im letzten Jahr in London wiedergesehen und spannende Vorträge gehört.
Mit Jeans und T-Shirt bin ich perfekt an den Dresscode angepasst, kurze Hose ginge eigentlich auch noch, weil die Hälfte der Leute eh so rumläuft, dazu noch mit dem Konferenz-T-Shirt. Hab noch keinen einzigen Anzugträger gesehen; teilweise sind die Bediensteten im Konferenzzentrum besser gekleidet. Aber ist ja egal, es geht um Inhalte. Einige Sponsoren haben das kapiert (und sind dementsprechend genauso locker unterwegs), andere Sponsoren haben das nicht kapiert, vielleicht sind deren Stände drum auch so verwaist.
Einen Stadtrundgang hab ich auch schon geschafft: sehr schön hier, nicht so heiss wie daheim, allerdings alles flach, irgendwie recht leer (alle in den Sommerferien?) und halt wirklich viel Sonne.
Am Abend nach der Konferenz folgte noch ein Spaziergang entlang alter Bahnstrecken, immer den Geocaches folgend. Im Schriftlichen versteh ich doch noch relativ viel vom Dänisch und es ist dem Norwegischen wirklich sehr ähnlich. Nur gesprochen kapier ich nix. Der Sonnenuntergang dauert aber wirklich ewig, egal in welcher Sprache.
