AMS-IX met fiber switches aan de slag

Volgende generatie infrastructuur komende maanden operationeel

De Amsterdamse Internet Exchange AMS-IX heeft al jaren te maken met een exponentiële groei van zijn dataverkeer. Dat betekent dat men daar constant bezig is weer een volgende generatie van zijn infrastructuur te bedenken, te testen en te implementeren. De komende maanden stapt de AMS-IX over van een ringvormige architectuur naar een dubbel uitgevoerde ster, waarbij fiber switches worden gebruikt om in geval van problemen razendsnel tussen de twee sterren te kunnen schakelen.

De Amsterdam Internet Exchange (AMS-IX) viert dit jaar zijn tiende verjaardag. Hoewel ze pas in 1997 officieel een vereniging werd, zijn ze al in 1994 van start gegaan. De switch is opgezet vanuit de behoefte aan een neutrale hub waar ISP's onderling verkeer met elkaar konden uitwisselen (peering), het liefst met gesloten beurs. De AMS-IX levert daarbij alleen een faciliterend platform voor zijn leden, en bemoeit zich helemaal niet met eventuele onderlinge verrekeningen tussen de deelnemers; dat is een zaak van henzelf. CEO Job Witteman schat echter dat ongeveer 90 procent van de uitwisseling van verkeer inderdaad met gesloten beurs plaatsvindt. Er wordt echter ook upstream verkeer verkocht op het AMS-IX platform, waarvoor natuurlijk wel betaald moet worden.

Voor de verbinding zelf betalen de deelnemers alleen een vast bedrag per poort per maand, variërend van 200 Euro voor een 10 Mbps Ethernet poort tot 1250 Euro voor een 1 Gbps glasvezelpoort. De besparingen die een dergelijke aansluiting op de AMS-IX voor grote providers op kan leveren, blijken substantieel. CTO Henk Steenman schat de marktprijs van een gemiddelde maandelijkse hoeveelheid verkeer op ongeveer 9000 Euro, terwijl de totale kosten van een AMS-IX aansluiting beperkt blijven tot twee- à drieduizend Euro per maand.

De AMS-IX eist echter van zijn klanten dat zij minstens één extra uplink hebben. Voor de meeste providers geldt echter dat zij naast hun AMS-IX aansluiting sowieso nog twee of drie andere aansluitingen hebben lopen.

Hoewel de Europese Internet Exchanges wel zijn georganiseerd in de European Internet Exchange Association (Euro-IX), wisselen de aangesloten knooppunten zelf onderling geen verkeer uit. Zij zouden daarmee concurreren met de WAN verbindingen die door de carriers worden verkocht, die tegelijkertijd ook hun eigen klanten zijn. Juist omdat de AMS-IX opgericht is door en ten behoeve van zijn leden, kan daar natuurlijk geen sprake van zijn; alle activiteiten van de AMS-IX gebeuren immers in het belang van zijn leden.

Geen winstoogmerk

Op dit moment zet de AMS-IX een kleine 3 miljoen Euro om. Dat gaat op aan personeel, hardware (het afgelopen jaar ruim 1 miljoen Euro) en R&D. Omdat er wat wel wat reserves zijn ingebouwd in de prijzen die de AMS-IX voor zijn poorten rekent, heeft men ook nooit een beroep hoeven doen op een bank.

Hoewel de AMS-IX nog steeds geen winstoogmerk heeft, zijn de activiteiten vier jaar geleden wel in een BV ondergebracht, met de vereniging als enige aandeelhouder. Omdat men ook van de academische sfeer van de AMS-IX af wilde, zijn toen ook de twee bestaande locaties bij het SARA en NIKHEF in Watergraafsmeer uitgebreid met nog twee nieuwe locaties bij de commerciële colocation providers TeleCity en GlobalSwitch. Twee jaar geleden is men ook de techniek die altijd aan Surfnet was uitbesteed zelf gaan doen.

Op dit moment beschikt de AMS-IX dus over vier locaties in Amsterdam. Met in totaal twaalf mensen, waarvan vijf engineers wordt de hele infrastructuur onderhouden. Het beheer vindt plaats vanaf het kantoor op het Westeinde, de aansluitingen zelf worden door de colocators verzorgd.

De grootste

Inmiddels bedient de AMS-IX ongeveer 250 aansluitingen van 175 leden. Tesamen zijn die goed voor een belasting die elke avond piekt op ongeveer 24 Gbits per seconde, en 's ochtends vroeg terugzakt naar 10 Gbps.

Met een bandbreedte verbruik dat ongeveer anderhalf keer zo hoog is, is de Londense Internet Exchange (LINX) de "dikste" van Europa. Volgens Steenman heeft dat te maken met het feit dat de ISP's in het Verenigd Koninkrijk veel meer klanten bedienen.

In de Verenigde Staten heeft men volgens hem juist weer veel minder behoefte aan Internet Exchanges dan hier. Glasvezelaansluitingen zijn daar immers veel goedkoper, en dus zal men eerder kiezen voor een eigen verbinding. Internet Exchanges zijn daar dan ook meestal geen neutrale platforms ten behoeve van de service providers, maar worden veelal gerund door bandbreedte leveranciers. Toch worden er volgens Steenman op dit moment in de Verenigde Staten steeds meer Internet Exchanges gebouwd naar Europees model.

De meeste bandbreedte wordt verstookt door de Internet Exchanges in Azië. Met name in Japan treffen we veel grote switches aan, omdat daar bijvoorbeeld ook ADSL verbindingen met een capaciteit van 20 Gbps aan particuliere klanten worden aangeboden.

Hoewel er voor wat betreft de hoeveelheid verstookte bandbreedte elders dus nog wel grotere Internet Exchanges te vinden zijn, is de AMS-IX in aantal deelnemers en aansluitingen in ieder geval de grootste ter wereld. Bovendien wil men de komende tijd snel doorgroeien naar nog meer aansluitingen. Zojuist heeft de AMS-IX daarvoor een partner programma gelanceerd waarmee ook andere partijen de AMS-IX poorten aan de man kunnen gaan brengen.

Exponentiële groei

Het verkeer op de AMS-IX groeit al vanaf 1998 exponentieel, met een factor twee tot tweeënhalf per jaar. Naast het in de lucht houden van de huidige infrastructuur is de belangrijkste taak van Steenman dan ook te zorgen dat de volgende generatie apparatuur klaarstaat voordat de huidige het verkeer niet meer snel genoeg kan verwerken.

Op dit moment wordt in de kelder proefgedraaid met de nieuwe configuratie die een dezer maanden operationeel moet worden. Daarmee stapt de AMS-IX van een ringvormige structuur over naar een stervormige architectuur.

Figuur 3 laat zien hoe de huidige infrastructuur er uit ziet. De switches op elke locatie zijn steeds met twee andere verbonden via een 10 Gbps lijn. De lijn tussen TeleCity en GlobalSwitch wordt echter alleen gebruikt als een van de andere drie verbindingen uit mocht vallen. Daarvoor wordt gebruik gemaakt van het Rapid Spanning Tree Protocol (RSTP), waarmee onderbroken verbindingen binnen een seconde omgeleid kunnen worden.

Deze halve-ring structuur heeft als belangrijkste beperking dat de lijn tussen de SARA en NIKHEF locaties veel meer belast wordt dan de andere twee lijnen. Deze kan echter niet worden opgewaardeerd zonder ook de andere drie verbindingen gelijk mee te nemen. Deze middenste, meest belaste verbinding komt immers op een andere lijn terecht als een verbinding uitvalt en de lijn tussen TeleCity en GlobalSwitch actief wordt. Bij minder ernstige problemen kunnen tussenliggende switches bovendien nog steeds zorgen voor problemen op verbindingen die alleen maar over deze switch worden gerouteerd. Zo kan de switch bij SARA het verkeer tussen de NIKHEF en TeleCity locaties ontregelen. Hetzelfde geldt voor RSTP dat afhankelijk is van de goede werking van alle vier switches.

Stervorm

De switches zelf, BigIron IronCore's van Foundry, ondersteunen maximaal 8 Gbps van de 10 Gbps kaarten naar de 40 Gbps backplane. Bij uitbreiding daarvan zouden dus modules met een enkele 10 Gbps aansluiting moeten worden gebruikt. Bovendien zijn er inmiddels ook gebruikers die zelf aan een eigen dedicated 10 Gbps verbinding toe zijn.

Dit alles heeft de AMS-IX doen besluiten de huidige vier switches in een stervorm te hergroeperen rond een nieuwe centrale switch. 10 Gbps gebruikers zullen direct daarop worden aangesloten. Op die manier worden grootverbruikers direct met elkaar verbonden. Bovendien wordt het beheer zo vereenvoudigd.

Als nieuwe centrale switch is gekozen voor de BigIron Mucho Grande (MG8). Deze heeft een backplane met acht slots en kan 40 Gbps per kaart verwerken. Daarmee kunnen dus ook de 10 Gbps aansluitingen op volle snelheid worden gebruikt. In totaal kan deze switch 32 10 Gbps aansluitingen verhapstukken. De AMS-IX gaat voorlopig met 4 kaarten (= 16 aansluitingen) beginnen.

Volgens Steenman waren er vorig jaar nog helemaal geen switches te krijgen die meer dan 10 Gbps naar de backplane aankonden. Bijna gelijk na Force 10 kwam echter ook Foundry met dergelijke systemen, nog wat later gevolgd door Cisco en andere leveranciers. Hoewel de producten en aanbiedingen van Foundry en Force 10 vergelijkbaar waren, heeft men toch weer voor Foundry gekozen omdat men daar al een goede relatie mee had.

Hoewel de AMS-IX geen grote klant is in die zin dat zij grote aantallen switches afnemen (maximaal tien), zijn leveranciers desondanks toch erg blij zijn met hun klandizie. De toepassing van hun apparatuur bij de AMS-IX heeft immers een mooie uitstraling naar de markt.

Verder zullen tegelijkertijd de vier huidige op de oude IronCore ASIC gebaseerde switches worden vervangen door de nieuwere JetCores. Op die manier kunnen ook trunks van meerdere 1 Gbps verbindingen worden aangeboden (trunking wordt niet ondersteund door de IronCore technologie). Bovendien kunnen op die manier bestaande klanten geleidelijk naar de nieuwe systemen worden overgezet.

Single point of failure

Omdat met de stervorm gelijk ook een single point of failure wordt geïntroduceerd, zal de hele kern dubbel worden uitgevoerd. Wat deze configuratie bijzonder maakt, is dat daarbij gebruik gemaakt zal worden van twee fiber switches van Glimmerglass Networks. Deze bevatten een grid van minuscule spiegeltjes waarmee 64 glasvezelverbindingen binnen 30 milliseconden omgeschakeld kunnen worden.

De fiber switches worden ingezet als front-end voor de nieuwe core switches, en bevatten niet alleen de 10 Gbps aansluitingen van de bestaande switches maar ook die van klanten. In geval van problemen kan zo razendsnel worden overgeschakeld naar de tweede ster. Bij problemen in beide sterren kunnen (handmatig) zelfs nog andere combinaties gemaakt worden om alle verbindingen toch nog in de lucht te houden. Figuur 4 laat zien hoe een en ander er uit zal gaan zien.

Voor het overschakelen tussen de twee sterren wordt gebruik gemaakt van het Virtual Switch Redundancy Protocol (VSRP). Op dit moment werken de engineers van de AMS-IX aan het koppelen van VSRP aan de TL1 besturingstaal van de fiber switch.

Volgende generatie

Het is de bedoeling dat de proefopstelling waarmee nu wordt getest binnen enkele maanden operationeel zal zijn. Steenman moet dan alweer op zoek naar de volgende generatie switches voor de volgende upgrade. Dat betekent in dit geval vooral praten met de grote leveranciers over wat zijn in hun laboratoria aan het ontwikkelen zijn. De hiervoor benodigde apparatuur is op dit moment immers nog niet op de markt beschikbaar.