IPv6 Routing issue: Verkeer naar Imperva/Incapsula loopt via Mauritius (METISS netwerk)

Goedemorgen ​@Menno van den Hoek , welkom hier op onze Community en bedankt ook voor jouw bericht, leuk dat je ons via deze weg benadert :)

Eerste waar ik benieuwd naar ben, is welke hops dat zijn op punt 3 en punt 4. Dit is van belang om zo te kunnen weten op welk punt jij ons netwerk verlaat en het algemene internet op gaat. In de praktijk ligt dit vaak wel veelal aan servers buiten ons netwerk.

Maar zolang die hops 3 en 4 niet op pings reageren, kunnen we daar verder inhoudelijk niet echt iets over zeggen. Wel staat alles aan onze kant zo ingesteld dat je in ieder geval altijd via 'Amsterdam' het open internet opgaat. Heb je ook al eens bij de website/server aangeklopt om te vragen of ze daar hun routering op orde hebben?

Normaal zou je de hops wel moeten kunnen zien. Daarbij… routes worden ook bepaald (of beïnvloed) door de providers door juiste uitgaand-punt in te stellen (zie mijn topic over f2x die over London naar Amerika ging om uiteindelijk bij mij om de hoek terecht te komen met een mega ping 🤓 inmiddels overigens opgelost).

Met mtr kan ik in ieder geval zien dat hop 3 een KPN knooppunt is. Hop 4 blijft stug weigeren een antwoord te geven 😉

 Host                                Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. mijnmodem.kpn                     0.0%   263    0.7   1.1   0.5  17.7   1.7
 2. 2001:67c:2502:f100::2:b           0.0%   263    2.8   4.1   2.5  22.8   2.8
 3. kpn-as1136.kpn-asd-dc2.nlsix.net 82.8%   262   78.3  80.2  69.4  92.3   4.2
 4. (waiting for reply)
 5. 2c0f:f748:cafe:1::9               0.0%   262  155.8 156.6 155.5 185.7   2.3
 6. 2c0f:f748:cafe:1::22              0.0%   262  158.2 158.2 157.0 179.4   2.8
 7. 2c0f:f748:106::56                 0.0%   262  157.4 158.1 156.7 201.1   4.4
 8. 2a02:e980:53::13                  0.0%   262  157.5 156.2 155.2 165.8   1.8

Overigens heeft die KPN hop kpn-as1136.kpn-asd-dc2.nlsix.net bij mij ook al een ping van +80ms wat erg hoog lijkt. Elke hop daarna zou ook alleen maar hoger liggen.

​@Jan van KPN Dankjewel! Ik had het ook bij de helpdesk geprobeerd te vertellen, het verteld nogal lastig aan de telefoon.

Precies ​@rvk01 . Dit overigens niet een probleem met 1 site, maar waarschijnlijk het netwerk 2a02:e980::/32 van imperva.

Ik heb een aantal sites die er gebruik van maken van imperva, en het valt daar op dat de ip ranges 2a02:a440::/27, 2a02:a460::/28, 2a02:a420::/32 significant langzamer reageren als alle andere ranges. Los van waar de oorzaak precies zit, zou ik op basis van deze informaite verwachten dat het in ieder geval iets is waar jullie, als kpn, iets aan kunnen doen.

Je had het over naar Mauritius gestuurd te worden i.p.v. Amsterdam. Heb je een voorbeeld van een site welke je in Amsterdam zou moeten blijven. Nu hebben we alleen een IPv6 waarvan ik geen idee heb welke site dat is (Sensys geeft geen site op dat IPv6 adres) dus dan is het testen wat moeilijk.

En de doelserver die jij in je openingspost aangeeft zit in Austin, USA. Niet in Amsterdam. Dus dan is een langere router wel zo logisch.

​@rvk01 Het probleem is veroorzaakt door gebruik van onjuiste Geo-database. In velen databases staat het doel in USA en niet Amsterdam

​@TDN het is een anycast adres en bestaat dus op meerdere plaatsen tegelijkertijd, net als 1.1.1.1. Een geo ip lookup is dan een beetje lastig.

​@rvk01 Om nog een extra concreet voorbeeld te geven als je op https://www.kpnpensioen.nl/login klikt op inloggen als deelnemer, kom je uit op https://loginp.auth.kpnpensioen.nl/deelnemer/login/?sessionOnly=true&goto=https%3A%2F...etc. loginp.auth.kpnpensioen.nl is een cname record dat verwijst naar tv8eah3.ng.impervadns.net. Deze resolved op ipv6 naar 2a02:e980:1c7::6b en neemt dezelfde route naar Mauritius, waar imperva inderdaad ook een point of presence heeft.

[My-MacBook] (IPV6-HIDDEN) -> as-p.auth.kpnpensioen.nl (2a02:e980:1c7::6b)   2026-02-02T16:59:10+0100
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                         Packets               Pings
 Host                                                                  Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. [MODEM/ROUTER-KPN]                                                  0.0%    13    1.0   1.3   0.7   3.2   0.6
 2. 2001:67c:2502:f100::2:5b                                            0.0%    13    3.6   3.6   3.1   6.2   0.8
 3. 2001:7f8:13::a500:1136:2                                           66.7%    13   79.2  82.6  79.2  87.2   3.4
 4. (waiting for reply)
 5. 2c0f:f748:cafe:1::9                                                 0.0%    13  157.1 157.3 156.4 159.1   0.8
 6. 2c0f:f748:cafe:1::22                                                0.0%    13  158.6 160.7 158.0 178.0   5.7
 7. 2c0f:f748:106::56                                                   0.0%    13  156.0 158.4 156.0 174.3   5.0
 8. 2a02:e980:1c7::6b                                                   0.0%    13  157.9 157.8 157.2 158.3   0.3

ipinfo geeft het volgende aan:

Dus dat zou betekenen dat het wel logisch is dat de databases hier een beetje overstuur van raken 😉

Je kunt aan de IPv6 dus niet zien waar je daadwerkelijk terecht komt.

Wel is het zo dat de ping voor IPv6 redelijk hoog is dus dan is het logisch aan te namen dat je naar Amerika gelust wordt (in ieder geval niet Amsterdam).

Ja, daar zit wel een groot verschil tussen IPv4 en IPv6.

pi@space01:~ $ sudo traceroute -I loginp.auth.kpnpensioen.nl
traceroute to loginp.auth.kpnpensioen.nl (2a02:e980:1c7::6b), 30 hops max, 80 byte packets
 1  mijnmodem.kpn (2a02:xxx)  0.665 ms  0.783 ms  0.884 ms
 2  2001:67c:2502:f100::2:b (2001:67c:2502:f100::2:b)  3.145 ms  3.425 ms *
 3  * * *
 4  * * *
 5  2c0f:f748:cafe:1::9 (2c0f:f748:cafe:1::9)  156.528 ms  157.610 ms  157.604 ms
 6  2c0f:f748:cafe:1::22 (2c0f:f748:cafe:1::22)  158.412 ms  156.871 ms  156.981 ms
 7  2c0f:f748:106::56 (2c0f:f748:106::56)  156.587 ms  156.572 ms  156.530 ms
 8  2a02:e980:1c7::6b (2a02:e980:1c7::6b)  155.642 ms  155.217 ms  155.160 ms

pi@space01:~ $ sudo traceroute -I -4 loginp.auth.kpnpensioen.nl
traceroute to loginp.auth.kpnpensioen.nl (45.223.103.107), 30 hops max, 60 byte packets
 1  * * *
 2  static.kpn.net (195.190.228.11)  4.155 ms  4.150 ms  4.180 ms
 3  * * *
 4  * * *
 5  193.251.132.158 (193.251.132.158)  17.106 ms  17.495 ms  17.842 ms
 6  81.52.170.36 (81.52.170.36)  16.758 ms  15.848 ms  16.206 ms
 7  131.125.156.83 (131.125.156.83)  16.199 ms  16.096 ms  15.771 ms
 8  * * *
 9  45.223.103.107 (45.223.103.107)  16.086 ms  16.076 ms  15.896 ms

​@rvk01  Nee niet precies, maar je kunt het aan de hand van de route wel afleiden. Het laatste adres uit de trace, 2c0f:f748:106::56, is een “gewoon” ip adres van West Indian Ocean Cable Company, met als locatie Muaritius. Gezien 2a02:e980:1c7::6b dan binnen een paar milliseconde van het vorige adres zit, dat adres waarschijnlijk daar ook in de buurt (En er is daar nogal veel water).

Maar als ik de v6 trace route zo lees, dan gaat er iets mis bij 2001:7f8:13::a500:1136:2. Als het goed is een router bij NL-ix. Daar kunnen we in de looking glass kijken, https://lg.nl-ix.net/prefix?saved=uxm6kyd1hG. Daar staat dat al het verkeer direct naar imperva gestuurd zou moeten worden, in Amsterdam dus.

Vermoedelijk wordt hier deze route via tata gekozen i.p.v. NL-ix.
 

Tata Communications AS6453 IPv4 and IPv6 Looking Glass
show bgp route 2a02:e980:1c7::/48 | no-more


Router: gin-niam1-qcore1
Site: NL, Nikhef, NIAM1
Command: show bgp route 2a02:e980:1c7::/48 | no-more

BGP IPv6 Unicast routing table entry for 2a02:e980:1c7::/48
Paths: (3 available, best #3, table Default-IP-Routing-Table)
  Advertised best to peers:
  2620:129:1:2::1 2a01:3e0:4600::1 2a01:3e0:4600::3 2a01:3e0:4600::5 2a01:3e0:4600::7 2a01:3e0:4600::b 2a01:3e0:4600::d
 Path #1
  30844 19551
      2001:5a0:d00::426e:43 (metric 16777250) from 2001:5a0:d00::426e:19 (66.110.0.67)
     Origin IGP, valid, internal
     Community: 
     RPKI best-path selection: disabled, allow-invalid: disabled, prefix-validation state: unverified
     Originator: 66.110.0.67
     AddPath ID: RX 0, TX 4
     Last update: 02-Feb-2026 18:17:13 UTC

​@Jan van KPN Sorry, het was hier even aangenaam gezellig 😁

Punt 3 hebben we inderdaad kunnen achterhalen. Deze is soms zichtbaar. Punt 4 kan ik niet achter komen, dit kan alleen in de routering op punt 3, de kpn router, worden bekeken.

Verder heb ik uiteraard ook bij imperva gevraagd of daar alles goed staat, en volgens hun wel. Ik heb geen reden om daaraan te twijfelen, omdat:

• De enige clients die die site bezoeken en langzamer werken komen van 2a02:a440::/27, 2a02:a460::/28, 2a02:a420::/32 
• De looking glass op NL-ix geeft aan dat imperva daar direct bereikbaar is

Kun je hier via deze weg iets mee? Of heb je nog meer informatie van mij nodig?

Alvast bedankt!

(En een correctie op eerder, het imperva netwerk is 2a02:e980:1c7::/48)

Interessant topic, ik heb met plezier meegelezen. Mooi om te zien hoe jullie samen verder troubleshooten.

Ik ben wat minder thuis in de IPv6 routing en ook niet echt bekend met anycast. Dus ik moet zelf verdere antwoorden schuldig blijven. We hebben een dedicated peering office wiens taak het is om te zorgen dat dit soort dingen soepel verlopen. En ik weet uit ervaring dat ze daar goed in zijn. Wil zeggen dat ik in de basis niet denk dat er bij ons per se een probleem zit. Maar ik gooi dit even hun kant op voor een blik.

Als sidenote nog: ons core netwerk is zo ingericht dat het maar heel beperkt op pingverzoeken reageert. Dus dat je daarop in de trace hogere waardes ziet, qua loss en aantal ms, is normaal, en in principe niet iets dat je ervaart bij regulier verkeer. 

Nee, packet loss zegt inderdaad niets bij een traceroute. Maar je kunt wel vaak zien bij welke hop een ping verhoogt. Dat in combinatie met de werkelijke ping naar een eindpunt kun je wel ongeveer zeggen waar de ping problematisch wordt.

Zo gaat de ping bij de kpn-as1136.kpn-asd-dc2.nlsix.net al richting de 80ms. Om uiteindelijk bij dat eindpunt op 160ms uit te komen. De vraag is dus echter of het verkeer al bij die eerste kpn-as1136.kpn-asd-dc2.nlsix.net moet komen of dat dit eigenlijk een foutje in de routing is (omdat het met ipv4 veel en veel beter gaat met 16ms, zie onder). Maar dat weten ze bij het peering office wel uit te vogelen.

pi@space01:~ $ ping loginp.auth.kpnpensioen.nl
PING loginp.auth.kpnpensioen.nl (2a02:e980:1c7::6b) 56 data bytes
64 bytes from 2a02:e980:1c7::6b: icmp_seq=1 ttl=57 time=155 ms
64 bytes from 2a02:e980:1c7::6b: icmp_seq=2 ttl=57 time=156 ms
64 bytes from 2a02:e980:1c7::6b: icmp_seq=3 ttl=57 time=156 ms
64 bytes from 2a02:e980:1c7::6b: icmp_seq=4 ttl=57 time=156 ms
^C
--- loginp.auth.kpnpensioen.nl ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3005ms
rtt min/avg/max/mdev = 155.467/155.656/155.823/0.127 ms
pi@space01:~ $ ping loginp.auth.kpnpensioen.nl -4
PING loginp.auth.kpnpensioen.nl (45.223.103.107) 56(84) bytes of data.
64 bytes from 45.223.103.107: icmp_seq=1 ttl=56 time=16.2 ms
64 bytes from 45.223.103.107: icmp_seq=2 ttl=56 time=16.2 ms
64 bytes from 45.223.103.107: icmp_seq=3 ttl=56 time=16.4 ms
^C
--- loginp.auth.kpnpensioen.nl ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 16.185/16.268/16.416/0.104 ms

Ik heb mijn Hurricane Electric IPv6 tunnel weer eens opgestart. Over de tunnel heb ik bijv. naar de KPN website een ping tijd van 6 msec (dus niet vanaf het KPN netwerk), maar naar bovengenoemde site 270 msec. Helaas verwaardigt zich geen enkele site op de 5 tussenstappen antwoord te geven op een ping.  Het lijkt er dus op dat niet alleen vanaf het KPN netwerk de routing niet optimaal is. 

ping -6 loginp.auth.kpnpensioen.nl
PING loginp.auth.kpnpensioen.nl (2a02:e980:1c7::6b) 56 data bytes
64 bytes from 2a02:e980:1c7::6b: icmp_seq=1 ttl=58 time=272 ms
64 bytes from 2a02:e980:1c7::6b: icmp_seq=2 ttl=58 time=215 ms
64 bytes from 2a02:e980:1c7::6b: icmp_seq=3 ttl=58 time=271 ms

IPv6 ping tijden naar bijv. whitehouse.gov of strato.de zijn normaal.  

Via ProtonVPN NL  AS60068 Datacamp Limited is de ping tijd 69 msec, dus minder extreem.  Een server die antwoordt is 2a02:148:13:46::3 en zou volgens whois aan een Israelisch bedrijf toebehoren. De routing lijkt wel van slag….  De server ligt op stap 14.

​@Erik van KPN Dankjewel en complimenten aan jullie peering team, want zo te zien hebben ze ook al opgelost 😎

Nog een stukje ter lering en vermaak.

Ipv6 voor de routering niet zo heel veel anders als ipv4. Het voornaamste verschil is dat notering. De adressen zijn hexadecimaal, je mag voorloopnullen weg laten en de langste reeks 0000 vervangen door ::. De routering, m.b.t. hoe de volgende hop bepaald wordt, is verder het zelfde als bij ipv4.

Anycast is echt een super leuk concept. 1 ip adres bestaat dan op meerdere plaatsen op de wereld. De routering, waar ik in dit geval tegen aan liep, zou mij naar de dichtstbijzijnde/snelste locatie moeten sturen. (En natuurlijk altijd de zelfde, want de server in Amsterdam weet niet wat die in Mauritius aan het doen is).

En ik snap het inderdaad ook wel van het core netwerk. Ik vind het ook veel belangrijker dat mijn internet goed werkt i.p.v. dat je op mijn ping antwoord.

Haha. Ja, dat hebben ze dan vannacht gedaan (of vanochtend vroeg) want 12 uur geleden was het nog niet opgelost. Ik zie dat ze nu bb.gin.ntt.net gebruiken. IPv6 is nu zelfs sneller dan de IPv4 naar die server.

Bevestigd, het gaat nu wel razendsnel, de meeste tussenliggende servers antwoorden nu.

Hurricane zit nog steeds op 250msec.