Linux maakt zich klaar voor de uitrol van “Sheaves”: een nieuwe cachelaag gebaseerd op arrays per CPU.

De Linux-gemeenschap bereidt zich voor op de integratie van een belangrijke innovatie in de kern van haar geheugenplanner: “sheaves”. Deze nieuwe cachelaag, specifiek ontworpen om het geheugenbeheer op CPU-niveau te optimaliseren, is bedoeld om de prestaties van de kerneltoewijzing aanzienlijk te verbeteren door een fijnmaziger beheer dat beter geschikt is voor multi-core architecturen. In een context waarin grote distributies zoals Red Hat, SUSE, Canonical (Ubuntu), Debian, Fedora, Mandriva, Mageia en Arch Linux steeds vaker worden ingezet op veeleisende servers, biedt deze technologische vooruitgang veelbelovende perspectieven op het gebied van efficiëntie en schaalbaarheid.

De reeks patches die sheaves introduceren, voornamelijk ontwikkeld door Vlastimil Babka, een engineer bij SUSE die bekendstaat om zijn expertise in de kernel, lijkt klaar om te worden geïntegreerd in de Linux 6.18-kernel. Deze patches wijzigen de SLUB-manager, het geheugenallocatiesysteem in de kernel, ingrijpend door een aanpak te implementeren die gebaseerd is op arrays per CPU (per processor), genaamd sheaves, ter vervanging of aanvulling van de huidige mechanismen.

Deze technologische vooruitgang wordt met name verwacht door ontwikkelaars die de caching en het beheer van Maple-trees, een belangrijk onderdeel voor het beheer van virtuele geheugenruimtes, willen optimaliseren. Laten we deze technische innovatie eens nader bekijken, de werking ervan in detail analyseren, de concrete voordelen ervan bespreken en de uitdagingen die het met zich meebrengt voor Linux-gebruikers, -beheerders en -ontwikkelaars in een steeds complexer wordend landschap met meerdere cores en processors.

Het concept van bundels: een evolutie van caching per CPU voor de SLUB-allocator.

De SLUB-allocator is een dynamische geheugenbeheerder die veelvuldig wordt gebruikt in de Linux-kernel, vanwege zijn eenvoud en efficiëntie op een groot aantal platformen. Tegen 2025, wanneer multi-core architecturen de GNU/Linux-servers en -werkstations domineren, wordt de behoefte aan cachingmethoden die zijn afgestemd op elke processor cruciaal om conflicten te minimaliseren en de toegang te versnellen.

Sheaves vertegenwoordigen een nieuwe vorm van cache in RAM, direct gekoppeld aan elke CPU, die functioneert als arrays met toegewezen geheugenobjecten. Deze opstelling verbetert de snelheid van toewijzings- en vrijgavebewerkingen zonder overmatige afhankelijkheid van CPU-intensieve atomaire bewerkingen, zoals cmpxchg (compare and exchange) instructiesets.

De schoven bieden in detail het volgende:

• Een aanzienlijke verlaging van de lock-in-periode en de kosten van allocatie-/deallocatieoperaties., dankzij een lokale aanpak die conflicten tussen CPU’s vermijdt.
• Een gedeeltelijke vervanging van “gedeeltelijke platen” door geoptimaliseerde arrays.Geschikt om een ​​pool van wachtende objecten te hosten, die snel toegankelijk zijn voor de betreffende CPU.
• Ondersteuning voor de bestaande werkingsmodi van SLUBinclusief debugmodus (slub_debug) en SLUB_TINY-optimalisatie voor maximale aanpassing aan de hardwarebehoeften en -configuraties.

Deze aanpak is echter geïnspireerd op historische ideeën, zoals het concept van “magazines” voor CPU-gebaseerd cachebeheer in eerdere geheugenallocators, die door Matthew Wilcox opnieuw zijn bekeken en hernoemd tot “sheaves” om hun innovatieve karakter te benadrukken.

Het implementeren van deze structuren als arrays per CPU vergemakkelijkt ook de verwerking van NUMA-topologie (Non-Uniform Memory Access), wat essentieel is voor geheugensystemen met meerdere knooppunten, en biedt een beter gedetailleerd geheugenbeheer in complexe omgevingen. Een laag die deze caches per NUMA-knooppunt groepeert, een zogenaamde “barn”, vult deze architectuur aan door te fungeren als een gedeelde cache voor deze sheaves, waardoor de toewijzing van resources wordt geoptimaliseerd.

Het optimaliseren van snelle paden met behulp van sheaves in de Linux-kernel

De Linux-kernel werkt vaak met intensieve multithreading over meerdere cores. Slecht geoptimaliseerde geheugenallocatieprocessen kunnen aanzienlijke knelpunten veroorzaken, met name door langdurige atomaire locks of kostbare vergelijkings-swaps. De implementatie van sheaves is erop gericht deze kosten drastisch te verlagen.

In de praktijk vervangen sheaves atomaire toewijzingssequenties door zeer lichte bewerkingen, namelijk een eenvoudig lokaal CPU-blok (preëmptie uitgeschakeld) om exclusieve toegang te garanderen en globale of inter-core synchronisatie te vermijden.

Deze optimalisaties transformeren de verwerking van toewijzingen dus in een zeer efficiënt en snel proces:

• De toewijzingen worden rechtstreeks uit de sheaf-array gehaald die aan de CPU is gekoppeld, zonder tussenkomst van complexe vergrendelingen.
• De afvalstoffen worden verzameld in specifieke bundels, waardoor een efficiënter proces voor het reinigen en recyclen van batches mogelijk is.
• Het geoptimaliseerde beheer van kfree_rcu(), een cruciale functie bij het vrijgeven van objecten op een later tijdstip, die optimaal gebruikmaakt van batchverwerking in sheaves, verbetert de prestaties van dedicated caches zoals die van Maple-nodes.

Bovendien maakt deze aanpak een beter beheer van vooraf toegewezen geheugen mogelijk. Tijdens geheugenkritische bewerkingen, waarbij de latentie minimaal moet zijn, voorkomt het lenen van een vooraf gevulde sheaf deadlocks die verband houden met onvoorspelbare dynamische toewijzingen. Dit is met name nuttig bij Maple-bomen, waar het aantal toewijzingen dat nodig is voor een bewerking groter kan zijn dan de daadwerkelijk gebruikte uitvoer.

Compatibiliteit, implementatie en implicaties voor de belangrijkste Linux-distributies

Deze nieuwe cachelaag is niet zomaar een geïsoleerd technisch experiment: ze is volwassen geworden en zal binnenkort worden opgenomen in de hoofdbranch van de Linux 6.18-kernel. Dit heeft aanzienlijke gevolgen voor het gehele GNU/Linux-ecosysteem.

Belangrijke distributies zoals Red Hat Enterprise Linux, SUSE Linux Enterprise, Ubuntu, Debian, Fedora, Mandriva, Mageia en Arch Linux worden allemaal sterk beïnvloed door kernelwijzigingen. Hun prestaties, stabiliteit en aanpasbaarheid aan multiprocessorinfrastructuren zijn grotendeels afhankelijk van geheugenbeheer.

Hieronder volgen de belangrijkste punten om rekening mee te houden bij deze verdelingen:

• Geleidelijke adoptie: De sheaves-laag kan worden uitgeschakeld en de integratie ervan kan optioneel worden ingeschakeld, waardoor een veilige implementatie zonder verstoringen wordt gegarandeerd.
• Volledige compatibiliteit: Volledige ondersteuning voor slub_debug, SLUB_TINY en een verfijnde afhandeling van NUMA-architecturen, waardoor debuggen en geavanceerde geheugenoptimalisaties functioneel blijven.
• Verpakte update: De beheerders van de distributie zijn van plan de codebundels te integreren in hun toekomstige releases waarin kernelversie 6.18 zal worden gebruikt, samen met specifieke optimalisaties.
• Impact op productieomgevingen: Een opmerkelijke prestatieverbetering voor servers, met name bij de verwerking van VMA’s (Virtual Memory Areas), maar ook in systemen met een hoge mate van gelijktijdige geheugentoewijzing.

Voor Linux-beheerders zullen het beheer en de configuratie van de kernel moeten worden aangepast aan de optimalisatieaanbevelingen met betrekking tot deze nieuwe sheaf-laag. Configuratie kan worden gedaan via standaard kernelopties, waardoor deze functie kan worden in- of uitgeschakeld, afhankelijk van de gebruikssituatie en de verwachte belasting.

Tot slot wordt deze verandering bevestigd door demonstraties op toonaangevende open-sourceplatformen, met name die van Red Hat en SUSE, die regelmatig de nieuwste kernelinnovaties integreren in hun bedrijfsoplossingen, waardoor robuustheid en prestaties voor kritieke infrastructuren worden gegarandeerd.

Behoud compatibiliteit met SLUB-debugtools en speciale modi.

Een van de grootste uitdagingen bij de introductie van een nieuwe geheugenarchitectuur is het behoud van de mogelijkheid om gedetailleerde kernelanalyses uit te voeren in geval van problemen. De slub_debug-modus, die met name waardevol is voor het beveiligen van geheugenallocaties, verbiedt over het algemeen elke optimalisatie die fouten zou kunnen maskeren.

Om deze reden omvat het sheave-gedrag een passieve status wanneer `slub_debug` actief is: er wordt geen sheaf aangemaakt voor de betreffende caches, waardoor debug-hooks toegankelijk blijven op de gedeeltelijke lijsten van de slab. Deze co-existentie zorgt voor een zorgvuldige balans tussen prestatie en betrouwbaarheid.

Aan de andere kant volgt het beheer van de geheugenbundels in SLUB_TINY-modi, die prioriteit geven aan geheugenbesparing ten koste van snelheid, een vergelijkbare logica: de per-CPU-laag wordt indien nodig uitgeschakeld om de totale omvang van de caches niet in gevaar te brengen.

Deze dubbele compatibiliteit bevestigt de aandacht die ontwikkelaars besteden aan het behoud van de systeemanalysetools en -besturingstools, die essentieel zijn voor distributies zoals Debian, Ubuntu of Fedora, die waarde hechten aan transparantie en betrouwbaarheid.

Verbeterde prestaties van VMA-managers en esdoornbomen dankzij bundels.

Virtuele geheugenbeheerders (VMA’s) zijn cruciale componenten in de Linux-kernel, met name vanwege hun rol in het nauwkeurig vergrendelen van geheugensegmenten. Een verhoogde belasting van deze vergrendelingen, vooral tijdens grootschalige bewerkingen op systemen met een hoge mate van gelijktijdigheid, kan een kritiek punt worden en de algehele prestaties beïnvloeden.

Het werk dat het SUSE-team onder leiding van Vlastimil Babka heeft verricht, bestaat uit het optimaliseren van de VMA-cache en, met name, de caches van de Maple-nodes voor sheaves. Maple trees, een relatief recente functie die in de Linux-kernel is geïntroduceerd voor het beheren van geheugenmappings, profiteren met name van de optimalisaties in pre-allocatie en objectrecycling die sheaves bieden.

De concrete voordelen van het inschakelen van katrollen op VMA en Maple:

• Vermindering van atomaire vergrendelingen op geheugenbewerkingenDe wachttijden op multicore-systemen aanzienlijk verkorten.
• Efficiënte batchverwerking van uitgestelde releases via kfree_rcu()waardoor objecten die asynchroon worden vrijgegeven beter beheerd kunnen worden.
• Intelligente pre-allocatie zorgt voor betere resourcegaranties tijdens schrijfbewerkingen op Maple-trees., met een afname van onderbrekingen en blokkades.
• Algehele verbetering van de geheugenrespons en -stabiliteit. bij veeleisende werklasten, zichtbaar in gedistribueerde benchmarks en praktijktests.

Dit werk bouwt voort op een sterke architectuurtrend in de Linux-kernel: het fijn modulariseren van kritieke lagen om geheugen te beheren met maximale prestaties en aanpasbaarheid aan moderne architecturen.

Praktisch voorbeeld van de impact: het geval van een krachtig Linux-cluster.

Stel je een Linux-cluster voor dat bestaat uit fysieke machines met multi-core processoren, waarop Debian of Fedora draait. Zonder deze optimalisatie genereren de frequente geheugentoewijzingen en -vrijgaveaanroepen tijdens VMA-bewerkingen, met name in virtualisatietoepassingen of in-memory databases, een merkbare cumulatieve latentie.

Na de activering van de schoven in deze context blijkt uit de waarnemingen het volgende:

1. Een afname van 20% in atomaire aanroepen op gedeeld geheugen.
2. Een vermindering van deadlocks bij geheugenvergrendelingen doordat lokale preëmptie is uitgeschakeld in plaats van globale vergrendelingen.
3. Een prestatieverhoging bij de snelle implementatie van virtuele machines en bij intensieve parallelle verwerking.
4. Een lager algeheel verbruik van CPU- en geheugenbronnen, wat de levensduur van de hardware verlengt.

Dit zou ervaren Linux-beheerders, evenals degenen die met Red Hat, SUSE of Canonical werken, ervan moeten overtuigen dat deze stap een pragmatische en welkome vooruitgang is voor moderne servers.