[Toulon7559]

In vervolg op de WU_uitlezing verder rondkijkend naar meer ‘alternatieve, indirecte’ databronnen.
WeatherCloud is ook een groot netwerk met veel stations die we bij HetWeerActueel nog niet kennen.
.
Heeft iemand ervaring met download uit Weathercloud van data van uitgekozen stations?
Voortborduren = minder risico & minder tijd dan opnieuw uitvinden:
voorbeeldscripts beschikbaar voor download en data-extractie?
[een goedwerkend, kort script in Python of PHP is altijd welkom!]

01Juni2022:
Weathercloud-aspect afgesplitst

[Toulon7559]

CWOP (= Citizen Weather Observer Program) hanteert voor data-invoer een eenvoudige datafile die voor inhoudelijke invulling lijkt op de basis-upload met actuele waarden naar o.a. WUnderground, WOW en PWSWeather. In dat opzicht beperkt bruikbaar voor HWA als databron.
Voor publiek (her)gebruik wordt echter per station de data samengevat weer beschikbaar gesteld na een url-call geadresseerd met het CWOP-CallSign van het betreffende weerstation.
Die data komt dan via een webpagina in een datafile met waarden van de laatste 24 uur in diverse layouts:
'publiek-vriendelijke' HTML-webpagina , of via
'technische', fixed_format HTML-webtabel

Uit die 24uur-datafile kan via webscraping een collectie actuele en historische meteodata uitgelezen worden als databron gericht op maken van een HWA-file.
In de basis-versie van de applicatie met een invulling van de HWA-file nog steeds vergelijkbaar met basis-upload naar WU, maar m.b.v. het 24uur-overzicht ook met invulling van afgeleide en extreme waarden via extra software voor generatie van die waarden.
De feasability van de applicatie is aangetoond:
zoals vereist, nu robuust maken via testen & aanpassen m.b.t. grenswaarden-effecten en m.b.t. absentie van waarden.

Voor HWA-toepassing is dit een aanvulling op de interface-mogelijkheden voor de HWA-server, vergelijkbaar met een uitlezing van WUnderground of (misschien) WeatherCloud.
Data via andere APIs uiteraard ook interessant als databron voor HWA, zolang kosteloos ......
Is een oplossing voor stations waarvan de stationsconfiguratie niet direct zelf een HWA-file kan maken cq die geen eigen webruimte hebben, maar die wel data kunnen uploaden naar CWOP.
Aanmelden & realisatie voor HWA-aansluiting via CWOP-uitlezing is zoals voor WU-uitlezing, maar dan nog eenvoudiger met CWOP-CallSign ipv WU-StationsID&WU_APIkey:
zie deze Handleiding

08Juni2022:
Bijgewerkt n.a.v. ontwikkeling van de interface, en opmerkingen over PWSW toegevoegd.

[Toulon7559]

Als eerste HWA-station draait Appelscha 'operationeel' met een CWOP-datatabel als databron.
Het interface-script nu verder uitbreiden t.o.v. de CWOP-basisdata in de richting van de gewenste HWA-functionaliteit.

‘Direct afgeleide waarden’ (zoals Dauwpunt, WindChill en HeatIndex) zijn inmiddels aangehangen.
Berekeningen voor neerslagmaandwaarde en voor extreme dagwaarden voor temperatuur en windstoten zorgen voor verdere invulling.
Bartrend kun je vinden door in de CWOP-datatabel 3 uur achteruit te kijken naar de drukwaarde die toen geldig was en te vergelijken met de huidige waarde,
maar de praktijk blijkt daar nog even weerbarstiger dan de theorie ……

Wie volgt als nieuw HWA-station met deze databron?
Aanmelden en ‘bedrijf’ is eenvoudig genoeg: zie deze Handleiding

[Toulon7559]

Deze week 2 stations in Vlaanderen toegevoegd aan de stationslijst, die gebruik maken van upload naar de HWA-server vanuit CWOP-uitlezing.
De CWOP-interface is in opzet de eenvoud zelve, zoals uitgelegd in het voorgaande bericht:
- de betreffende stationsbeheerder hoeft alleen het CWOP-callsign door te geven
- de HWA-server leest daarna de CWOP-outputfile en compileert de HWA-file.
Een paar ToDo-dingetjes m.b.t. afgeleide waarden zijn reden om het CWOP-uitleesscript nog even buiten de HWA-server te houden, maar stations met CWOP-account als databron van harte welkom ......

Kanttekeningen daarbij (na doorlopen van de CWOP-ledenlijsten en bekijken van de bijbehorende files):
- de meeste CWOP-files hebben min of meer een standaardformat, maar er zijn uitschieters die heel wisselende, variabele formattering hebben.
Die laatste soort files zijn helaas 'te moeilijk' voor toepassing als HWA-databron.
- voor HWA-toepassing zien we graag in de CWOP-data een update-interval <30minuten,
want anders spreekt aan de HWA-kant de timeout-melding te vaak aan.
- afgeleide waarden voor o.a. neerslag/maand moeten initieel per station handmatig een startwaarde krijgen, dus eerst zoekwerk voordat 'echte' waarden kunnen worden vertoond.
- Voorkeur blijft voor de uitleesmanieren die naast actuele waarden direct afgeleide waarden meeleveren:
CWOP-uitlezing in die zin vooral als snelle, eenvoudige aanzet voor stations die nu nog niet naar HWA uploaden.

Aanpassing 19Mei2024:
tekst geheel herzien

[wvdkuil]

- de HWA-server leest daarna de CWOP-outputfile en compileert de HWA-file.
. . .
in die zin vooral als snelle aanzet voor stations die nu nog niet naar HWA uploaden.[/size]

Voor alle duidelijkheid: helemaal NIEMAND kan opladen naar HWA.
De server heeft geen publiek FTP verkeer.
Nog ondersteunt het de meer moderne http-upload.
Men heeft dus

• of een eigen website nodig om het bestand neer te zetten of
• men moet deelnemer zijn van een andere organisatie zoals CWOP e.d.

De HWA-server leest op een bepaald moment (iedere x minuten) de bestanden op van de deelnemers websites om in de HWA database te verwerken.

Er zijn een paar programmetjes die iedere 5 minuten de data van die andere organisaties lezen en dan omvormen tot een soort HWA-bestand die dan ook klaar gezet worden om door de HWA-server gelezen te worden.

[Toulon7559]

Inderdaad is in mijn voorgaande bericht het gebruik van de HWA-server iets te eenvoudig geformuleerd.
Voor een aantal 'vertaalklussen' is (vooral in testfase) een hulpserver in bedrijf als frontend/schild/tussenstation voor de HWA-server:
de HWA-server kun je op die manier (bewust) niet benaderen voor een directe upload.
Zelfs als een directe upload zou worden opgetuigd, dan zal vermoedelijk die opzet van toepassing blijven ter afscherming van de HWA-server.

[Toulon7559]

Achter de ledenlijsten van CWOP voor Nederland en voor België ligt een hele wereld met APRS-stations.
APRS-stations met de combinatie van amateur-radiocommunicatie en meteo-waarneming zijn de originele doelgroep van CWOP.
Voor weerwaarneming zie je heel vaak dezelfde configuraties toepassen incl. software, die de HWA-forumleden ook gebruiken, dus zeker op dat gebied herkenning en begrip.
Als je 'Lat/Lon/Map' aanklikt voor een willekeurig CWOP-station en daarna in het menu de keuze 'Nearby APRS-activity',
dan sta je soms verbaasd hoeveel van zulke stations rondom nog meer aanwezig zijn buiten de CWOP-stationslijst.
Wat ik steeds meer waardeer bij CWOP, is dat je onder 'Location/Meta' voor een weerstation in hun lijst achtergrondinfo incl. kwaliteitsrapportage kunt inzien, zoals bijv. op deze pagina.
In die zin heeft aankoppelen van een CWOP-station aan de HWA-stationslijst zeker meerwaarde.