donatieknop english

Morgenmiddag debatteert de Tweede Kamer met staatssecretaris Dijkhoff (Veiligheid en Justitie) over het wetsvoorstel Computercriminaliteit III. Onder dit wetsvoorstel krijgen Nederlandse opsporingsdiensten (waaronder de politie) de bevoegdheid om computersystemen van verdachten op afstand te hacken. Vandaag verstuurde Privacy First hierover onderstaande brief aan Tweede Kamerleden. Klik HIER voor de eerdere brief over dit wetsvoorstel die Privacy First reeds begin dit jaar aan de Tweede Kamer verzond.

Geachte Kamerleden,

Morgen debatteert u met staatssecretaris Dijkhoff over diens controversiële wetsvoorstel Computercriminaliteit III. Voorafgaand aan de kritische hoorzitting over dit wetsvoorstel op 11 februari 2016 ontving u van Privacy First een brief met ons commentaar op dit wetsvoorstel.[1] De inhoud van deze brief geldt immer onverkort. Naar aanleiding van de recente Nota[2] van de staatssecretaris bij het wetsvoorstel zenden wij u hierbij ons aanvullend commentaar.

Noodzaak en proportionaliteit immer onaangetoond

In zijn poging tot beargumentering van de vereiste noodzaak en proportionaliteit van het wetsvoorstel blijft de staatssecretaris opnieuw hangen in een vaag verhaal dat riekt naar technologisch determinisme. De staatssecretaris laat zich immers vooral leiden door technologische mogelijkheden i.p.v. de klassieke verworvenheden van onze vrije democratische rechtsstaat. In de huidige fase van de parlementaire behandeling zijn de noodzaak en proportionaliteit van het wetsvoorstel door de staatssecretaris immer slechts gesteld, maar nimmer aangetoond. Iedere kwantificering ontbreekt nog steeds of duidt op de introductie van volstrekt disproportionele bevoegdheden. Het wetsvoorstel dient daarom te worden verworpen wegens strijd met de internationaalrechtelijk vereiste noodzaak en proportionaliteit onder artikel 8 van het Europees Verdrag voor de Rechten van de Mens (EVRM).

Geen misbruik van kwetsbaarheden in software

Mocht uw Kamer onverhoopt besluiten tot goedkeuring van het wetsvoorstel, dan acht Privacy First het onbestaanbaar dat de Nederlandse overheid nieuwe of onbekende kwetsbaarheden in software zou willen gebruiken (en dus misbruiken) om heimelijk toegang tot gegevens te kunnen verkrijgen. Dergelijk beleid brengt de integriteit en veiligheid van de gehele Nederlandse informatiesamenleving actief in gevaar. Privacy First roept uw Kamer hierbij dan ook op om het actuele amendement terzake van D66, GroenLinks en SP[3] unaniem te ondersteunen en er actief op toe te zien dat de Nederlandse overheid geen gebruik zal maken van kwetsbaarheden in software t.b.v. hacking.

Function creep

De bevoegdheden in het wetsvoorstel lijken nu weliswaar primair beperkt tot apparatuur van verdachten van ernstige misdrijven (en dus in principe geen apparatuur van onschuldige burgers met wie verdachten in contact staan). De geschiedenis leert echter dat dit type bevoegdheden in de loop der tijd altijd wordt uitgebreid. Door sluipende doelverschuiving (function creep) zal het dan ook slechts een kwestie van tijd zijn voordat de hack-bevoegdheden in het huidige wetsvoorstel voor de opsporing en vervolging van allerhande strafbare feiten zullen worden ingezet. Het huidige wetsvoorstel biedt hier reeds alle ruimte toe, aangezien de lijst misdrijven waarvoor de nieuwe bevoegdheden zal gelden eenvoudig zal kunnen worden uitgebreid bij Algemene Maatregel van Bestuur i.p.v. bij formele wetswijziging. In die zin is dit wetsvoorstel een typisch voorbeeld van function creep by legal design. De beste manier om deze function creep te voorkomen is door het huidige wetsvoorstel te verwerpen of het amendement terzake van D66[4] unaniem te steunen en wettelijke maatregelen te treffen om iedere vorm van buitenparlementaire function creep in te dammen.

Auto’s hacken en stopzetten

Begin dit jaar veroorzaakte dit wetsvoorstel grote maatschappelijke onrust[5] omdat het alle ruimte laat voor het hacken en stilzetten van auto’s op afstand. In politiekringen wordt deze mogelijkheid actief beoogd, zo weet Privacy First uit betrouwbare bron. De risico’s hiervan voor de verkeersveiligheid (ook van onschuldige inzittenden en omstanders) zijn enorm. Hetzelfde geldt voor het al dan niet opzettelijk hacken van computers in ziekenhuizen, industrie, vitale infrastructuur, pacemakers, medische wearables, etc. Het wetsvoorstel legt in dit opzicht geen enkele beperking op en de staatssecretaris laat deze heikele kwesties vrijwel onbesproken. Het is dan ook aan uw Kamer om alsnog orde op zaken te stellen door dergelijke inzet van hack-bevoegdheden eenvoudigweg te verbieden.

Framing van verdachten

Privacy First is zeer verontrust door de volgende bekentenis van de staatssecretaris:

“In theorie is het mogelijk dat een opsporingsambtenaar gegevens op een apparaat zet die de verdachte niet zelf op het apparaat heeft gezet. Op dit punt wijkt de situatie in de digitale wereld niet af van het analoge domein. Tijdens een huiszoeking kunnen verdovende middelen in een kast worden gelegd en tijdens de doorzoeking van een voertuig kunnen wapens in de kofferbak worden gelegd.”[6]

Hierbij verzoekt Privacy First uw Kamer om ervoor te zorgen dat burgers de best mogelijke wettelijke, organisatorische en technische bescherming tegen dergelijke framing-praktijken zullen krijgen, voorzover dit niet reeds het geval is onder bestaande strafbepalingen, beleid en techniek.

Grondige toetsing door rechter-commissaris

Privacy First verzoekt uw Kamer om er bij de staatssecretaris op aan te dringen dat de voorafgaande machtiging voor de inzet van bevoegdheden door de rechter-commissaris altijd met de grootst mogelijke zorgvuldigheid en grondigheid zal kunnen geschieden. In geen geval mag sprake blijken van oppervlakkige rubber-stamping wegens operationele druk of gebrek aan tijd en kennis bij de rechterlijke macht. De staatssecretaris dient er daartoe zorg voor te dragen dat de rechterlijke macht deze taken altijd naar beste vermogen zal kunnen uitvoeren.

Mogelijke rechtszaak Privacy First

Mocht het huidige wetsvoorstel ongewijzigd worden aangenomen, dan behoudt Privacy First zich het recht voor om dit wetsvoorstel, zodra van kracht, door de rechter te laten toetsen en onrechtmatig te laten verklaren.

Voor nadere informatie of vragen met betrekking tot bovenstaande is Privacy First te allen tijde bereikbaar op telefoonnummer 020-8100279 of per email: Dit e-mailadres wordt beveiligd tegen spambots. JavaScript dient ingeschakeld te zijn om het te bekijken..

Hoogachtend,


Stichting Privacy First

 

[1] Zie https://www.privacyfirst.nl/aandachtsvelden/online-privacy/item/1025-politie-wil-alle-computers-kunnen-hacken.html.

[2] Nota naar aanleiding van het verslag, Kamerstukken II, 2016-2017, 34372, nr. 6.

[3] Kamerstukken II, 2016-2017, 34372, nr. 11.

[4] Kamerstukken II, 2016-2017, 34372, nr. 9.

[5] Zie bijvoorbeeld 'Vrees voor hacken auto op snelweg', Telegraaf 11 februari 2016, p. 10.

[6] Nota naar aanleiding van het verslag, Kamerstukken II, 2016-2017, 34372, nr. 6, p. 52.

 

Update 14 december 2016: tijdens het Kamerdebat gisteren (dat tot laat in de avond duurde) passeerden veel van bovenstaande issues op kritische wijze de revue. Klik HIER om het hele debat te bekijken, klik HIER voor het woordelijk verslag en HIER voor de actuele lijst met voorgestelde amendementen. De stemming over het wetsvoorstel staat vooralsnog gepland op dinsdagmiddag 20 december as.

Update 20 december 2016: vandaag heeft de Tweede Kamer het wetsvoorstel helaas in vrijwel ongewijzigde vorm aangenomen. VVD, CDA, PvdA, SGP en ChristenUnie stemden voor. D66, GroenLinks, SP, PvdD en PVV stemden tegen. Klik HIER voor het stemmingsverslag. De amendementen om geen gebruik te maken van kwetsbaarheden in software (nr. 13), om function creep in te dammen (nr. 21), om bepaalde apparatuur uit te sluiten van de werking van het wetsvoorstel (nr. 20) en een motie inzake hack-software (nr. 22) werden helaas allemaal verworpen. Opvallend daarbij was dat PvdA-Kamerlid Oosenbrug enkele keren zelfstandig (en volkomen terecht) vóór privacyvriendelijke wets- en beleidswijzigingen stemde, tégen het standpunt van haar eigen PvdA-fractie in. In de optiek van Privacy First verdient het goede voorbeeld van dit Kamerlid brede navolging. Overigens diende de PvdA-fractie wel een 'compromis-motie' in die in grote meerderheid werd aangenomen:

"De Kamer,
gehoord de beraadslaging,
constaterende dat op grond van het voorliggend wetsvoorstel opsporingsinstanties gebruik mogen maken van kwetsbaarheden in geautomatiseerde werken;
van mening dat de overheid de veiligheid en integriteit van geautomatiseerde werken moet stimuleren, zoals door het bevorderen van responsible disclosure en door het stimuleren van derden om op uitnodiging van soft- of hardwarefabrikanten te zoeken naar kwetsbaarheden;
verzoekt de regering, te bewerkstelligen dat opsporingsinstanties onbekende kwetsbaarheden of software die daarvan gebruikmaakt alleen in het uiterste geval zullen inzetten,
en gaat over tot de orde van de dag."

Het is nu aan de Eerste Kamer om het wetsvoorstel binnenkort alsnog te verwerpen of de Tweede Kamer op bovenstaande punten te corrigeren.

Gepubliceerd in Wetgeving

"De Tweede Kamer heeft vandaag ingestemd met een omstreden wet waarmee de kentekens van auto's worden geregistreerd en voor vier weken worden opgeslagen. Burgerrechtenorganisatie Privacy First vindt het een 'massale privacyschending'.

Camera's langs wegen registeren kentekens van passerende voertuigen. De kentekens worden vervolgens in een database van de opsporingsdiensten ingevoerd, waarmee mensen die worden gezocht sneller kunnen worden opgespoord.

Vier weken

Het zogeheten Automatic NumberPlate Recognition (ANPR)-systeem wordt al jaren ingezet, maar de kentekens van onschuldige burgers moeten wel binnen 24 uur worden gewist. Met de nieuwe wet wordt die bewaartermijn verlengd naar vier weken.

De conceptwet is omstreden. Zo oordeelde de privacywaakhond Autoriteit Persoonsgegevens al in 2011 dat de bewaartermijn van vier weken veel te lang is: er zou een 'hooiberg van politiegegevens' worden gecreëerd.

'Volstrekt disproportioneel'

Door de nieuwe wet wordt iedereen die met de auto reist een verdachte, zo stelt Privacy First. "Dit is totaal niet noodzakelijk, volstrekt disproportioneel en bovendien ook ineffectief. Het wetsvoorstel is daarom in strijd met het recht op privacy en daarmee onrechtmatig", aldus Vincent Böhre van Privacy First.

Böhre zegt dat als het wetsvoorstel ook door de Eerste Kamer wordt aangenomen, Privacy First de Nederlandse Staat voor de Europese rechter gaat slepen om de wet ongedaan te maken.

Het amendement van de VVD om de bewaartermijn te verlengen naar zes maanden werd verworpen."


Bron: http://www.rtlz.nl/algemeen/binnenland/tweede-kamer-stemt-in-met-wet-om-kentekens-te-verzamelen
Zie ook http://nos.nl/artikel/2142103-met-camera-geregistreerde-kentekens-voortaan-een-maand-bewaard.html 
http://www.nu.nl/algemeen/4347919/tweede-kamer-akkoord-met-wetsvoorstel-kentekenregistratie.html 
http://www.autoweek.nl/nieuws/tweede-kamer-akkoord-met-kentekenregistratie/
http://www.ravage-webzine.nl/2016/11/08/kamer-breidt-privacyschending-automobilist-uit/

 

 

Gepubliceerd in Privacy First in de media

"De Stichting Privacy First wil niet dat de overheid geregistreerde kentekens langer bewaart dan 24 uur. Minister Van der Steur (Justitie) is van plan om deze termijn verlengen. Privacy First overweegt een gang naar de rechter, zei privacyjurist Vincent Böhre in De Ochtend.

Vanavond debatteert de Tweede Kamer over kentekenregistratie, wat ook wel Automatic Number Plate Recognition (ANPR) wordt genoemd.

Camera's langs de weg filmen constant kentekens, maar deze gegevens moeten nu binnen 24 uur worden verwijderd. Van der Steur wil deze termijn uitbreiden naar vier weken. Vanavond wordt er ook een voorstel van de VVD besproken waarin zelfs gerept wordt over zes maanden.

Iedereen verdacht

Volgens Böhre maakt de uitbreiding van ANPR van elke automobilist "een potentiële verdachte". De overheid bewaart dan eigenlijk je reisbewegingen om opsporing en vervolging makkelijker te maken, zegt Böhre. Volgens de jurist is dat in strijd met de privacy.
(...)

Per ongeluk getekend

In het verleden was een gang naar de rechter al vaker succesvol bij privacyonderwerpen, zoals het bewaren van vingerafdrukken.

Of het VVD-voorstel voor de uitbreiding naar zes maanden het gaat redden is niet duidelijk. De PvdA stond in eerste instantie achter het voorstel, maar de steun is inmiddels ingetrokken. PvdA-Kamerlid Astrid Oosenbrug laat aan De Ochtend weten dat haar handtekening per abuis onder het voorstel stond."


Bron: http://www.nporadio1.nl/homepage/1911-privacy-first-wil-staat-dagen-voor-kentekenregistratie , 2 november 2016. Klik HIER voor het volledige radio-interview.

Gepubliceerd in Privacy First in de media

"De zwarte doos in auto's slaat het rijgedrag minutieus op. De politie wil die gegevens graag hebben, want die zeggen veel meer dan sporen op het wegdek.

In 2009 maakte de Rotterdamse politie voor het eerst gebruik van de Event Data Recorder, de zwarte doos. (...) Na een proef in Rotterdam gaan zeven van de tien politieregio's nog dit jaar aan de slag met de techniek. In moderne auto's zit een Event Data Recorder (EDR) ingebouwd, vergelijkbaar met een zwarte doos van een vliegtuig. (...)

De EDR registreert tijd, locatie, remgedrag, snelheid, stand van de pedalen, werking van de airbags enzovoorts. Bij de ernstige ongevallen waarbij de afdeling Verkeers Ongevallen Analyse van de politie onderzoek doet, kunnen de laatste vijf seconden voor het ongeluk in de EDR geraadpleegd worden. (...)

Resultaten
De techniek is er al, maar werd nog maar mondjesmaat gebruikt. De politie Rotterdam heeft de afgelopen drie jaar bij 21 ongevallen de EDR geraadpleegd. (...) De politieregio's Oost-Nederland, Midden-Nederland, Amsterdam, Limburg , Oost-Brabant, Den Haag en Rotterdam zijn nu in het bezit van de EDR-apparatuur en hun mensen bij de dienst Verkeers Ongevallen Analyse worden opgeleid om er gebruik van te maken.

Zwarte doos
De verwachting is dat het gebruik van de EDR als getuige een grote vlucht gaat nemen. In de Verenigde Staten is de zwarte doos sinds 2014 verplicht in alle nieuwe auto's. (...) EDR is, in tegenstelling tot in de VS, nog niet verplicht in Nederland en de rest van Europa. Branchevereniging RAI weet niet welke auto's data opslaan. Volgens schattingen beschikt 70 procent van de nieuw verkochte auto's over een soort zwarte doos. Van een uniforme opslag is nog geen sprake. Vaak is de data alleen door de autofabrikant uit te lezen. Niet alle autofabrikanten staan toe dat de EDR door derden wordt uitgelezen. Als de fabrikant wordt gevraagd om de zwarte doos uit te lezen worden er bovendien hoge kosten gemaakt. Bij de proef in Rotterdam, waarbij de hulp van de fabrikant of importeur werd ingeroepen, varieerden de kosten tussen de 800 en 2000 euro. (...)

Privacy
Er zijn ook zorgen. Wat wel en niet mag met de data die een auto verzamelt is nog schimmig terrein. Autobrancheorganisatie Bovag en de ANWB pleiten al langer voor betere wetgeving om te bepalen hoe er met de data moet worden omgegaan. Privacyorganisatie Privacy First vindt het prima als mensen data wíllen delen. ,,Maar er moet encryptie zijn van de data en het moet mogelijk zijn om de zwarte doos uit te zetten. Jij als automobilist moet kunnen bepalen wat er wordt opgeslagen. Want het gaat niemand wat aan hoe jij je beweegt in de openbare ruimte'', zegt directeur Vincent Böhre van Privacy First.
(...)
De volgende toepassing waarbij data uit de auto wordt aangewend is eCall, een verplicht Europees systeem waarbij de auto zélf 112 belt als de computer in de auto berekent dat snelheid en impact dusdanig waren dat er wel een ernstig ongeluk met gewonden móet hebben plaatsgevonden. Naar verwachting wordt eCall in 2018 verplicht voor nieuwe auto's."

Bron: Algemeen Dagblad 9 augustus 2016, voorpagina en pp. 8-9. Volledige artikelen online: http://www.ad.nl/binnenland/zwarte-doos-helpt-politie-na-autocrash~a4456e34/ & http://www.ad.nl/nieuws/digitaal-remspoor-beter-dan-verbrand-rubber-op-de-weg~ab81ca38/ . Tevens gepubliceerd in AD/Rotterdams Dagblad, AD/De Dordtenaar, AD/Haagsche Courant, AD/Groene Hart, AD/Utrechts Nieuwsblad, AD/Rivierenland, AD/Amersfoortse Courant, BN/DeStem, Brabants Dagblad, Dagblad de Limburger, Limburgs Dagblad, Twentsche Courant Tubantia, De Gelderlander, De Stentor, Eindhovens Dagblad, Leeuwarder Courant & Provinciale Zeeuwse Courant (9 augustus 2016) en geciteerd in de Volkskrant (10 augustus 2016, p. 8) en Nederlands Dagblad (13 augustus 2016, pp. 18-19).

Lees hieronder de eerdere reactie van Privacy First voorzitter Bas Filippini in dagblad Spits op plannen voor invoering van de zogeheten "Crashcube" (zwarte doos/EDR) in 2011: 

"Privacywaakhonden maken zich zorgen over de introductie van een 'zwarte doos' in personenauto's. De politie Rotterdam-Rijnmond presenteert vanmiddag deze zogeheten Crashcube in de hoop dat deze technologie een bijdrage gaat leveren aan de afwikkeling van verkeersongevallen. Maar de Stichting Privacy First waarschuwt voor mogelijk misbruik.

Naast vliegtuigen krijgen nu ook auto's een zwarte doos. Het apparaat heet de Crashcube en moet de politie helpen bij het analyseren van ongevallen.

Met de Crashcube kunnen forensisch experts ter plekke informatie uitlezen over ongevallen, zoals de snelheid en de g-kracht van de betrokken auto, meldt de politie Rotterdam Rijnmond in een persverklaring.

De data uit de box is onomstotelijk en zal dus in de rechtszaal sterk bewijs leveren van wie schuldig is aan het ongeluk, zegt de Rotterdamse politie die samen met het Nederlands Forensisch Instituut (NFI), Rijksdienst voor Wegverkeer (RDW) en Rijkswaterstaat de Crashcube heeft ontwikkeld.

Voorzitter Bas Filippini van Stichting Privacy First ziet het nut niet van een cube in de rechtspraak. „Het is in de rechtszaal vrijwel altijd duidelijk wie de schuldige is, en om nou voor die paar gevallen dat het niet zo is je privacy op te geven. Dat gaat mij veel te ver." Volgens de stichting tast het apparaat de persoonlijke vrijheid aan. „Een bestuurder moet zelf kunnen beslissen of hij een Crashcube in zijn auto wil, maar je zult altijd zien dat dit soort dingen op een gegeven moment verplicht worden. Dit past niet bij onze grondwettelijke vrijheid om vrij en blij te zijn in de openbare ruimte." Filippini vreest dat de Cube misbruikt gaat worden. „Het begint bij ongevalanalyse, maar al snel zet de politie je aan de kant en lezen ze je Crashcube af waarop ze je een boete geven omdat je gisteren 150 hebt gereden.""

Bron: Spits 30 november 2011, https://www.privacyfirst.nl/in-de-media/item/477-spits-30-nov-2011-twijfel-over-zwarte-doos-in-auto.html.

Lees HIER ook de eerdere reactie van Privacy First op de Europese invoering van eCall.

Bij verplichte Nederlandse invoering van zowel zwarte dozen/EDR als eCall in auto's zal Privacy First dit bij de rechter aanvechten met als doel vrijwillige i.p.v. verplichte invoering en eigen regie van de automobilist over zijn/haar data. 

Update 10 augustus 2016: zie ook het bericht vandaag bij RTL Nieuws, Politie wil zwarte doos in auto's kunnen uitlezen: http://www.rtlnieuws.nl/nederland/politie-wil-zwarte-doos-autos-kunnen-uitlezen-zit-die-jouw-auto.

Update 13 augustus 2016: vandaag publiceerde het Reformatorisch Dagblad enig nader commentaar door Privacy First, zie http://www.rd.nl/vandaag/binnenland/auto-kan-straks-een-rijdende-spion-worden-1.1117073 (tevens gepubliceerd in papieren editie, p. 9). Hieronder enkele fragmenten:

"Privacy First zegt niet per se tegen de invoering van een zwarte doos te zijn, maar dan wel op vrijwillige basis en met wettelijk gereguleerde toepassingen. Want volgens directeur Vincent Böhre van de stichting die de anonimiteit van mensen in het publieke domein wil beschermen, liggen de gevaarlijke toepassingen op de loer. Hij verwijst naar leasemaatschappijen, verzekeraars en andere belanghebbenden die graag meer willen weten over rijgedrag, slijtage en schaderisico.

„Het lijken onschuldige gegevens te zijn, maar uit het rijgedrag van iemand kun je zelfs een persoonlijkheidsanalyse halen, die interessant kan zijn voor een werkgever of voor de overheid”, zegt Böhre. „Het moet duidelijk zijn dat de autogegevens eigendom zijn van de automobilist.”

(...) Volgens een deze week vrijgegeven document van de nationale politie is tot dusver in 21 gevallen in de periode 2013-2015 onderzoek uitgevoerd met behulp van de zwarte dozen. Aangezien de officier van justitie in die gevallen beslag had gelegd op de auto, kon de eigenaar dit niet weigeren. De onderzoeken zijn wel kostbaar: tussen de 800 en 2000 euro per keer.

In dat beperkte aantal gevallen waarin gegevens zijn uitgelezen, ziet de stichting Privacy First nog een reden om voorlopig van een verplichte invoering van de zwarte doos af te zien. „Het is met 21 onderzoeken in drie jaar tijd in feite schieten met een kanon op een mug”, zegt directeur Böhre. „Het is werkelijk de vraag of het inbouwen van zo’n zwarte doos wel proportioneel en maatschappelijk noodzakelijk is.”

Hij voorspelt daarnaast dat die ene toepassing van de zwarte doos omwille van ongevallenonderzoek leidt tot misschien wel twintig ongewenste bijproducten, zoals hogere premies voor automobilisten die vaak hard remmen en te snel rijden of extra toeslagen voor leaserijders met een agressieve rijstijl. Böhre: „Het is zaak om nu goed na te denken over de negatieve gevolgen, want dit gaat straks in heel Europa spelen.”"

Update 25 augustus 2016: lees ook http://www.rd.nl/opinie/zwarte-doos-in-auto-wapen-tegen-wegpiraat-1.1119248. Privacy First juicht dit maatschappelijke debat van harte toe en hoopt dat het tot een uitkomst zal leiden die zowel recht doet aan ieders privacy als aan andere relevante belangen.

Gepubliceerd in Mobiliteit

"Boordcomputers gemakkelijk te kraken. Tweede Kamer bespreekt wetsvoorstel.

Auto's dreigen speelbal te worden van cybercriminelen en de politie. Dat komt omdat de computersystemen aan boord kinderlijk eenvoudig te kraken zijn. De ANWB en verschillende privacyorganisaties maken zich daar grote zorgen over.

De auto- en privacyorganisaties vrezen dat agenten auto's op de snelweg van afstand kunnen stopzetten, met alle gevaren voor de overige weggebruikers van dien.

Vandaag wordt in de Tweede Kamer gesproken over het wetsvoorstel Computercriminaliteit, waarin is opgenomen dat de politie de mogelijkheid krijgt om vrijwel alle computers die op internet aangesloten zijn, te kunnen hacken. De ANWB vreest dat de politie door het hacken van boordcomputers auto's op afstand staande kan houden.

„Dat kan bijvoorbeeld als alternatief voor het creëren van een filefuik gebeuren", zegt directeur Frits van Bruggen van de ANWB. „De ANWB vindt dit zowel vanuit het oogpunt van verkeersveiligheid als privacybescherming zeer zorgelijk. Daarnaast werkt brede toegankelijkheid van genoemde systemen voertuigcriminaliteit in de hand."

Het ministerie van Veiligheid en Justitie erkent dat navigatiesystemen en boordcomputers gehackt kunnen worden. (...) Hoewel het hacken van auto's voor velen als sciencefiction klinkt, is het dichterbij dan ooit, juist omdat er steeds meer geavanceerde apparatuur in auto's wordt geplaatst. „Technisch is het absoluut mogelijk om een auto tot stilstand te brengen via een hack", zegt privacyonderzoeker Jaap-Henk Hoepman van de Radboud Universiteit. „In Amerika is dat recentelijk al gebeurd."

Volgens deskundigen als Wim van Campen is hacken van auto's bijzonder gemakkelijk, omdat de meeste autofabrikanten geen of nauwelijks aandacht hebben voor de beveiliging van de systemen aan boord. (...)

Privacyorganisaties Bits of Freedom en Privacy First zijn eveneens fel gekant tegen het wetsvoorstel. Volgens de belangenclubs zijn de maatschappelijke noodzaak en proportionaliteit ver te zoeken. „De hackbevoegdheid in het wetsvoorstel beperkt zich immers niet tot apparaten van verdachten, maar ook tot daarmee in verbinding staande apparatuur van onschuldige, nietsvermoedende burgers. De minister sluit in de memorie van toelichting zelfs niet uit dat pacemakers worden gehackt.""

 

Bron: Telegraaf 11 februari 2016, sectie Binnenland, p. 10. Tevens online beschikbaar, klik HIER.

Gepubliceerd in Privacy First in de media
donderdag, 11 februari 2016 08:11

Politie wil alle computers kunnen hacken

Vandaag vindt in de Tweede Kamer een belangrijke hoorzitting plaats over het wetsvoorstel Computercriminaliteit III. In dit kader leverde Privacy First gisteren kritische inbreng aan relevante Kamerleden. Enkele passages uit onze brief verschenen vanochtend in De Telegraaf, klik HIER. Hieronder de volledige tekst van onze brief (klik HIER voor de originele versie in pdf):

Geachte leden van de Tweede Kamer,

Morgen vindt een hoorzitting plaats over het wetsvoorstel Computercriminaliteit III. Door dit wetsvoorstel dreigt de overheid zelf de grootste cybercrimineel te worden. Privacy First zet hieronder kort uiteen waarom.

Pacemakers hacken

Onder het wetsvoorstel krijgt de politie de bevoegdheid om vrijwel alle computers die op internet aangesloten zijn te kunnen hacken, inclusief smartphones, televisies, fototoestellen, autonavigatie, boordcomputers, medische systemen, etc. etc. De politie wil zelfs pacemakers kunnen hacken, zo blijkt uit p. 86 van de Memorie van Toelichting bij het wetsvoorstel. Geen enkel apparaat wordt uitgesloten. Enige voorwaarde lijkt slechts te zijn dat het betreffende apparaat in verbinding staat met het internet. Met het 'Internet of Things' in zicht (waarbij vrijwel de hele maatschappij op internet aangesloten kan worden, tot en met sportschoenen en koelkasten aan toe) is deze bevoegdheid ronduit totalitair. Het zal dan ook slechts een kwestie van tijd zijn voordat de hackbevoegdheden in dit wetsvoorstel voor allerlei onvoorziene doelen worden gebruikt en misbruikt. Het huidige wetsvoorstel beperkt dit totaal niet en laat er juist alle ruimte toe. Reeds op basis hiervan dient het wetsvoorstel verworpen te worden.

Disaster by legal design

In politiekringen wordt de doelverschuiving (function creep) die in dit wetsvoorstel ingebakken zit juist beoogd, zo weet Privacy First uit betrouwbare bron. Bijvoorbeeld om auto’s op afstand te kunnen hacken en stilzetten (politiefuik op afstand). Technisch is dit prima mogelijk te maken en het wetsvoorstel verbiedt dit ook niet. De risico’s hiervan voor de verkeersveiligheid (met name ook van onschuldige inzittenden en omstanders) zijn echter enorm. Hetzelfde geldt voor computers in ziekenhuizen, industrie, vitale infrastructuur, etc. Waarom legt het wetsvoorstel in dit opzicht geen enkele beperking op?

Noodzaak ontbreekt

De internationaalrechtelijk vereiste “maatschappelijke noodzaak” en proportionaliteit van dit wetsvoorstel zijn ver te zoeken, zo heeft zelfs het doorgaans coulante College Bescherming Persoonsgegevens (nu Autoriteit Persoonsgegevens) begin 2014 terecht gesteld. Vervolgens lag dit controversiële wetsvoorstel enkele jaren stil, maar lijkt nu alsnog opeens door de Tweede Kamer heen te worden gejaagd. Vanwaar opeens deze haast?

Iedere burger vogelvrij

Door dit wetsvoorstel lijkt ieders computer, tablet, smartphone etc. (zelfs in het buitenland!) vogelvrij te worden verklaard. De hackbevoegdheid in het wetsvoorstel beperkt zich immers niet tot de apparatuur van verdachten, maar ook tot daarmee in verbinding staande apparatuur van onschuldige, nietsvermoedende burgers. Iedere burger als potentieel target van de overheid. Hadden we de laatste jaren nu juist niet geleerd dat dit geen heilzame weg is voor een democratische rechtsstaat?

Kruispunt

Nederland staat momenteel op een kruispunt. Welk voorbeeld willen we voor de rest van de wereld zijn? Ons land heeft alle randvoorwaarden om van Nederland een veilig Privacy Gidsland te kunnen maken. Het huidige wetsvoorstel vormt echter een typische bouwsteen voor een politiestaat, niet voor een democratische, op vrijheid en vertrouwen gebaseerde rechtsstaat. Bij de internetconsultatie van een eerdere versie van dit wetsvoorstel in 2013 heeft Privacy First dit ook al gesteld. Afgezien van de latere schrapping van het decryptiebevel uit het wetsvoorstel is het treurig om te moeten constateren dat er sindsdien weinig veranderd is. Privacy First pleit voor privacy by design, niet alleen middels techniek, maar ook middels privacyvriendelijke wetgeving en beleid. Door dit wetsvoorstel raakt de overheid echter gebaat bij suboptimale, door de overheid te kraken ICT-beveiliging. Daarmee zet de overheid koers richting een maatschappij waarin ieders privacy illusoir wordt.

Privacy Impact Assessment ontbreekt

Nog steeds is er bij dit wetsvoorstel geen sprake van een grondige en onafhankelijke Privacy Impact Assessment (PIA). De bijbehorende “PIA” is niet meer dan een oppervlakkig afvinklijstje en is de term PIA niet waard. Ook de privacyparagraaf in de Memorie van Toelichting is flinterdun en slechts bedoeld om het wetsvoorstel te legitimeren. Gezien de veiligheidsrisico’s van dit wetsvoorstel ligt bovendien een Security Impact Assessment voor de hand. Bij deze stand van zaken kan Privacy First dit wetsvoorstel dan ook überhaupt niet serieus nemen.

Tweede Kamer aan zet

Mocht het huidige wetsvoorstel ongewijzigd beide Kamers passeren, dan zal Privacy First niet aarzelen om het door de rechter onrechtmatig te laten verklaren. Het is nu aan de Tweede Kamer om het niet zover te laten komen.

Gepubliceerd in Online Privacy

"Ruim 20.000 mensen hebben vorig jaar in Nederland een boete gekregen omdat ze geen identiteitsbewijs bij zich hadden of zich weigerden te legitimeren. Vooral jongeren (18 – 30 jaar) worden vaak op de bon geslingerd. Zij kregen 4,5 keer vaker een boete dan dertigplussers.

Maar hoe werkt het nou precies met die identificatieplicht?

Wanneer moet je je ID-kaart laten zien en wanneer ga je op de bon?

Je bent formeel niet verplicht om een ID-kaart bij je te dragen. In Nederland hebben we namelijk een toonplicht, geen draagplicht. "Die keuze is bewust gemaakt, omdat er sinds de Tweede Wereldoorlog veel weerstand is tegen het verplicht bij je dragen van een persoonsbewijs", zegt jurist Vincent Böhre van Privacy First. "Tijdens de oorlog was iedereen verplicht zich te kunnen identificeren."

Böhre vroeg zich vanochtend bij het horen van het nieuws over het aantal boetes als eerste af hoeveel mensen protest hadden aangetekend tegen hun bon. "Het gebeurt vaak dat mensen in de buurt wonen en geen identiteitskaart bij zich hebben. Je kunt dan gewoon zeggen: loop maar even mee, dan laat ik 'm thuis zien. Zo werkt de toonplicht namelijk."
(...)"

Bron: http://nos.nl/op3/artikel/2074560-geen-id-kaart-bij-je-vraag-agent-even-mee-te-lopen.html. Zie ook http://nieuws.nl/algemeen/20151211/geen-id-op-zak-laat-hem-dan-thuis-zien-aan-oom-agent/.

Naschrift Privacy First: naast het onderscheid tussen toonplicht en draagplicht had Privacy First de NOS ook gewezen op het feit dat de politie mensen niet zonder reden om hun identiteitsbewijs mag vragen. Hier dient altijd een objectief gerechtvaardigde aanleiding voor te zijn, bijvoorbeeld een redelijke verdenking van een concreet strafbaar feit. In principe heeft iedereen in Nederland immers het recht op anonimiteit in de openbare ruimte. De overheid mag hier niet zomaar inbreuk op maken. Daarnaast blijkt in de praktijk vaak sprake van discriminatie ('etnisch profileren') en willekeur bij de toepassing van de identificatieplicht door (met name) de politie. Dit vormt een schending van het discriminatieverbod en werkt gevoelens van onveiligheid en stigmatisering van bevolkingsgroepen in de hand. Dit nog afgezien van de risico's die iedereen loopt door de op-afstand-uitleesbare RFID-chips in paspoorten en ID-kaarten, identiteitsfraude met verloren of gestolen identiteitsbewijzen, etc. Het advies van Privacy First blijft dan ook: paspoort of ID-kaart thuis laten en een eventuele boete aanvechten bij de rechter!

Gepubliceerd in Privacy First in de media

Wie in Eindhoven een avondje gaat stappen wordt continu in de gaten gehouden door "slim" cameratoezicht met microfoons en monitoring van social media. De gemeente, de politie en ICT-bedrijf Atos denken Eindhoven op deze manier veiliger te kunnen maken. Privacy First zet hier grote vraagtekens bij en overweegt juridische stappen. Hieronder een eerste reactie van Privacy First voorzitter Bas Filippini bij RTL Nieuws en een radio-interview met Filippini bij Omroep Brabant:

RTL 13nov2015 6

© RTL Nieuws

Interview Omroep Brabant, 12 november 2015:



Hieronder enkele eerdere nieuwsberichten over dit Orwelliaanse project:
http://www.nrcq.nl/2015/08/22/hoe-de-politie-misdaad-opspoort-nog-voordat-die-heeft-plaatsgevonden 
http://www.nrc.nl/handelsblad/2015/10/17/de-slimme-stad-kan-een-dom-idee-worden-1546062 
http://www.nrc.nl/nieuws/2015/10/16/techbedrijven-azen-massaal-op-nederlandse-steden-als-potentiele-klant 
http://www.ed.nl/regio/eindhoven/rennen-en-roepen-voor-test-sensorsystemen-op-stratumseind-1.5430984 

Gepubliceerd in Privacy First in de media

Het draconische camerasysteem @MIGO-BORAS van de Koninklijke Marechaussee is Privacy First al jaren een doorn in het oog: miljoenen onschuldige burgers die per auto de Nederlandse landsgrenzen passeren worden door dit systeem ongemerkt gefotografeerd, gescreend en geprofiled. Behalve massale privacyschending is daarbij zeer waarschijnlijk ook sprake van verboden discriminatie naar nationaliteit: auto's met kentekens uit bepaalde (met name Oosteuropese) landen worden door het camerasysteem stelselmatig uit het verkeer geplukt en door motoragenten staande gehouden. Vaak blijkt vervolgens dat de betreffende automobilisten volkomen onschuldig zijn. Deze mensen voelen zich dan echter wel in hun privacy aangetast en ronduit gediscrimineerd. Privacy First ontvangt hierover al jaren kritische signalen, zelfs van buitenlandse ambassademedewerkers waar de betreffende burgers hun beklag doen. Hoog tijd dus om deze kwestie eens serieus aan de orde te stellen.

Deze week (18-19 augustus as.) wordt Nederland in Genève onder de loep genomen door het VN-Comité tegen Rassendiscriminatie. Een breed scala aan onderwerpen zal hierbij door het Comité kritisch beoordeeld worden. Om het Comité van de benodigde informatie te voorzien heeft onlangs een nationale coalitie van maatschappelijke organisaties/NGO's (onder leiding van het Nederlands Juristen Comité voor de Mensenrechten) een zogeheten schaduwrapportage over Nederland bij het Comité ingediend. Op initiatief van Privacy First is in deze rapportage ook het grenscontrole-systeem @MIGO-BORAS onder de aandacht van het Comité gebracht. Klik HIER voor de gehele Engelstalige rapportage in pdf; de passage over @MIGO-BORAS treft u aan op p. 26. De betreffende tekst staat hieronder integraal weergegeven.

Privacy First hoopt dat het Comité in Genève de Nederlandse regeringsdelegatie kritisch zal bevragen en opheldering, openheid en verbetering van haar beleid rond @MIGO-BORAS zal eisen. Daarbij is het uiteindelijke oordeel ("Concluding Observations") van het Comité weliswaar niet bindend, maar wel zeer gezaghebbend voor de mate waarin Nederland het VN-Verdrag tegen Rassendiscriminatie naleeft. Het Comité is immers het toezichthoudende orgaan van dit verdrag en als zodanig de hoogste instantie ter wereld om hierover te oordelen. Meer informatie over de Nederlandse sessie bij het Comité vindt u HIER. De sessie zal te zien zijn via http://www.treatybodywebcast.org (dinsdag 18 augustus, 15.00-18.00u & woensdag 19 augustus, 10.00-13.00u).


Comment with regard to Article 5(D)(I) of the International Convention on the Elimination of all Forms of Racial Discrimination (CERD)

@MIGO-BORAS (automatic border control)

In 2011, it became clear that the Dutch government had been planning to implement a highly privacy-invasive system of border control for years.[134] The new high-tech camera surveillance system, called @MIGO-BORAS, was due to become operational from January 1, 2012.[135] @MIGO-BORAS intended to photograph, screen and profile every vehicle crossing the Dutch-German or Dutch-Belgian border with the help of various (unknown) databases. In October 2011, the European Commission – under German pressure – started an investigation to assess whether @MIGO-BORAS complied with European Schengen and privacy regulations.[136] Consequently, the Dutch government scaled back the planned operational use of the system: instead of @MIGO-BORAS being operational 24/7, it was made operational up to six hours per day or 90 hours per month. After the European Commission provisionally concluded that the system did not contravene the rules that govern the EU's Schengen area in June 2012, @MIGO-BORAS was launched officially on August 1, 2012.[137]

The primary goals of the project are the detection of illegal immigration, human trafficking, identity fraud and narcotics control through camera surveillance and profiling. Critical profiling factors include the type and color of the vehicle, the number plate and country or region of origin.[138] Since April 2013, the @MIGO-BORAS camera system is also being used for law enforcement and criminal investigation purposes (including counter-terrorism) through Automatic Number Plate Recognition (ANPR).[139] However, many details of @MIGO-BORAS still remain confidential. No specific legislation around its implementation has been drafted and the Dutch Parliament has asked relatively few questions about the project. As far as the Dutch NGOs are currently aware, participating organizations include the Royal Military and Border Police (Koninklijke Marechaussee), the Dutch National Police, the Public Prosecution Service, the General Intelligence and Security Service (Algemene Inlichtingen- en Veiligheidsdienst or AIVD) and the Netherlands Organization for Applied Scientific Research ('TNO').

Reports show that the (effect of the) use of @MIGO-BORAS is likely to be discriminatory, as nationality seems to be a primary profiling criterion and most vehicles being stopped and searched originate from Eastern Europe.[140]

The NGOs request the Committee to urge the Netherlands to clarify the mandate, use and effects of the @MIGO-BORAS surveillance system and to introduce adequate legislation or guidelines to prevent the system from being used in a discriminatory manner or having discriminatory effects.

[134] See D. Tokmetzis, Staat bouwt digitale hekken aan de grenzen, Sargasso, 19 January 2011, sargasso.nl/archief/2011/01/19/staat-bouwt-digitale-hekken-aan-de-grenzen/; see also a summary of B. de Konings' subsequent speech at the CPDP Conference in Brussels, 26 January 2011, njcm.nl/site/newsposts/show/273.
[135] The Dutch/English acronym @MIGO-BORAS stands for 'Automatisch Mobiel Informatie Gestuurd Optreden' (Automatic Mobile Information-Driven Action) - Better Operational Results and Advanced Security.
[136] See e.g. 'Nut van nieuw camerasysteem langs de grenzen niet bewezen', NRC Handelsblad, 31 October 2011, nrc.nl/nieuws/2011/10/31/nut-van-nieuw-camerasysteem-langs-de-grenzen-niet-bewezen/; 'Duitsland kwaad over grenscameras', NOS, 30 November 2011, nos.nl/artikel/318196-duitsland-kwaad-over-grenscameras.html.
[137] See Kamerstukken II 2011/12, 32 317, no. 128; Kamerstukken II, 2012/13, 33 400-VII, no. 4, para. 247. See also 'Brussels defends Dutch border control project', EU Observer, 5 July 2012, euobserver.com/justice/116881.
[138] See e.g. Ministry of Security and Justice, Factsheet on the use of the @MIGO-BORAS system, 7 July 2012, government.nl/documents-and-publications/leaflets/2012/07/11/factsheet-on-the-use-of-the-amigo-boras-system.html.
[139] Kamerstukken II 2012/13, 19 637, no. 1647; Kamerstukken II, 2012/13, 29 754, no. 232; Kamerstukken II, 2013/14, 19 637, no. 1760; Kamerstukken II, 2013/14, 28 684, no. 411.
[140] See e.g. 'Een Roemeense Volvo voor jou', Volkskrant, 24 August 2012; volkskrant.nl/vk/nl/2844/Archief/archief/article/detail/3305474/2012/08/24/Een-Roemeense-Volvo-voor-jou.dhtml; 'Leers: grensbewaking voorbeeld voor Europa', Telegraaf, 23 August 2012, telegraaf.nl/binnenland/article20960146.ece; 'Geen grensbewaking, maar toezicht', Stentor, 24 August 2012, destentor.nl/2.2545/binnenland/geen-grensbewaking-maartoezicht-1.900394; 'Camerasysteem @migoboras maakt controles efficiënter', Gelderlander,16 March 2013; 'Grenzpolizei!', Reformatorisch Dagblad, 30 August 2014. See also Meijers Committee (standing committee of experts on international immigration, refugee and criminal law), Note on the Dutch surveillance system @migoboras (CM1208), 2 April 2012, p. 4, commissie-meijers.nl/commissiemeijers/pagina.asp?pagkey=149205, also available at http://www.statewatch.org/news/2012/apr/netherlands-meijers-cttee-surveiilance-system.pdf.

Update 28 augustus 2015: mede naar aanleiding van bovenstaande inbreng vaardigde het Comité vandaag de volgende algemene aanbeveling uit aan de Nederlandse regering: "The Committee recommends that the State party adopt the necessary measures to ensure that stop and search powers are not exercised in a discriminatory manner, and monitor compliance with such measures." Klik HIER voor het hele document in pdf (Concluding Observations, par. 14b.) Privacy First vertrouwt erop dat dit advies door de Nederlandse overheid (inclusief Koninklijke Marechaussee) zal worden nageleefd en dat de werking van het camerasysteem @MIGO-BORAS hierop zal worden aangepast.

Gepubliceerd in Profiling

Fragmenten uit wekelijkse column "De Rechtsstaat" door Folkert Jensma:

"Begin deze maand sprak ik iemand uit de leiding van de Nationale Politie. Op niet al te lange termijn komt 80 procent van alle opsporingsinformatie van ,,sensoren", meent hij. Is de politieman daar wel op voorbereid? Zou die datagolf uit camera's, ontvangers, zenders, voelers en toetsenborden rechtstatelijk geborgd zijn? Hoe lang het bewaard mag worden, wie er bij mag, wanneer precies, hoe lang en met welk doel het mag worden verzameld? En hoe serieus moet de bedreiging zijn om ze überhaupt te mogen verzamelen? Hij was er eerlijk over. Hij dacht niet dat de politie er klaar voor is. Daarvoor gaat de techniek te hard. En de politie te langzaam.

Ziedaar de digitale rechtsstaat waarin iedere burger een wolk van informatie produceert waar de staat een schepnet doorheen haalt. Of er continu op aangesloten is, zodat de overtreder er gericht uit kan worden gevist. Kijk naar het vrachtvervoer. Er zijn al systemen die met detectielussen, laser, camera en warmtemeting gewicht, belading, banden (profiel èn spanning) en remmen controleren. Pas als er iets mis is, gaat de motoragent op pad. Weg met de steekproef dus - welkom honderd procent handhaving. Die motoragent is binnenkort trouwens ook vervangen door een camera.

We maken de laatste restjes mee van de tijd waarin een burger zich anoniem kon bewegen. Al het digitale is kwetsbaar voor meekijken, -luisteren, -lezen en -voelen. Alles wordt digitaal. Alles raakt aan internet gekoppeld, dankzij snellere chips, onbeperkte dataopslag en snellere zoekmachines. Het toezicht gaat mee en zoekt zich voorzichtig een weg.

Eind mei presenteerde het NOS Journaal de RFID-chip voor het kenteken. Op geringe afstand uitleesbaar en dus een full proof garantie dat auto en kenteken echt bij elkaar horen. Gestolen en gekloonde kentekenplaten zouden dan geschiedenis zijn. Op een kleine 8 miljoen auto's zou dat zo'n 40.000 keer voorkomen. Het nieuws-item sloot af met de zin dat de overheid volgend jaar de chip zal invoeren. Dat moet nog wel zo worden beslist, liet de minister de Kamer weten. Maar sinds 2011 pleiten de branche en de handhavers al voor gechipte kentekenplaten. Die komen er dus wel, lijkt me.

Sindsdien kwam er een golfje privacyprotest op gang, met De Telegraaf voorop, die voor de gelegenheid criminaliteit wat minder belangrijk vond. Die krant ziet in het gechipte kenteken een enkelband voor iedere Nederlander. De kernvraag is of we inderdaad aan alle 8 miljoen auto's zwakke zendertjes moeten hangen omdat er met 40.000 kentekens misdrijven worden gepleegd. Zegt u het maar. De belangengroep Privacy First, dat in deze kwesties als schrikdraad functioneert, meent dat de kentekenchip past in een groter overheidsplan om via 'portals' op de snelweg de bewegingen van alle auto's te kunnen volgen. En het systeem zou aanknopen bij een Europese datastructuur waarin lidstaten al hun auto-informatie uitwisselbaar maken. Daarmee is de EU surveillancestaat realiteit en kan niemand zich meer ongezien of anoniem verplaatsen. Of te hard, te dicht op elkaar, te lang of te vervuilend rijden, zonder dat dit gevoeld of gezien wordt.

(...)

Het roept ook de vraag op waarom kentekens überhaupt nog zouden bestaan. Een uitleesbare, gekoppelde chip volstaat; het verkeersnetwerk van lussen, camera's en sensoren doet de rest. Waarom rusten we trouwens auto's net als vliegtuigen niet meteen uit met een transponder, die permanent de locatiegegevens uitzendt? Dan is alles opgelost - centrale verkeersregie en -handhaving liggen voor het grijpen. Zo bezien is een kentekenchip met een zendbereik van slechts 20 meter echt een héle privacyvriendelijke oplossing. Die maar doen dan?"

Bron: NRC Handelsblad, 27 juni 2015. De volledige versie is online beschikbaar via http://www.nrc.nl/handelsblad/van/2015/juni/27/niemand-kan-zich-straks-meer-ongezien-verplaatsen-1510618.

 

Gepubliceerd in Privacy First in de media
Pagina 2 van 15

Onze Partners

logo Voys Privacyfirst
logo greenhost
logo platfrm
logo AKBA
logo boekx
logo brandeis
 
banner ned 1024px1
logo demomedia
 
 
 
 
 
Pro Bono Connect logo 100
IIR banner

Volg ons via Twitter

twitter icon

Volg onze RSS-feed

rss icon

Volg ons op LinkedIn

linked in icon

Volg ons op Facebook

facebook icon