Introduction
Cette année, l’édition de KubeCon & CloudNativeCon Europe 2024 fut particulière pour plusieurs raisons. Pour la première fois, l’événement s’est déroulé à Paris et nous fêtons les dix ans de Kubernetes cette année. Plus de 12 000 personnes, venues des quatre coins du monde, ont participé à l’événement.
Côté programme, il y avait beaucoup de sujets et de thèmes différents. Il y en avait pour tous les goûts et tous les niveaux. Bien évidemment, cette édition n’a pas échappé à la tendance de fond qu’est l’intelligence artificielle. Cela s’est fait sentir tant sur la première keynote que dans la suite de la programmation.
Pour ma part, j’ai eu l’occasion de discuter et d’échanger avec énormément de personnes. Je n’ai pas pu suivre tous les talks qu’il y avait dans ma liste. Et parfois les salles étaient bien remplies, donc impossible d’y accéder. Je me rattraperai sur les replays.
Keynotes
Je n’ai pas pu assister aux deux keynotes des deux premiers jours. J’ai suivi une partie sur le livestream et j’ai eu plusieurs échos de personnes ayant pu y assister. J’ai assisté uniquement à celle du dernier jour. Je vous en parle ci-dessous.
La première intervention fut celle de Chris Anisczcyk, CTO de la Cloud Native Computing Foundation, qui nous a présenté la timeline de la fondation. Depuis le don du projet Kubernetes par Google à la communauté, plusieurs choses se sont passées. La communauté autour de Kubernetes est une des plus importantes avec plus de 190 000 personnes présentes sur le Slack, et plus de 200 000 personnes certifiées Kubernetes Administrator, par exemple. Chris a notamment rappelé qu’il n’est jamais trop tard pour contribuer aux projets Open source et qu’il y avait plusieurs manières de le faire. Nul besoin d’être un·e grand·e spécialiste du développement.
Il y a eu quelques annonces aussi : Le lancement du site Contribcard.dev pour retrouver sa première contribution au projet Kubernetes et le programme Kubestronaut, qui récompense les personnes ayant passé les cinq certifications Kubernetes.
Autre élément important, Kubernetes fêtera ses dix ans cette année. Pour l’occasion, un nouveau site a été lancé pour recenser toutes les initiatives pour fêter cette date importante : kubertenes.cncf.io.
Place ensuite à l’intervention de Bob Wise, CEO de Heroku, qui nous a parlé des débuts du cloud native et qui a rappelé que le succès n’était pas garanti au départ. Il a rappelé un élément important, qui à mon sens, a contribué au succès de Kubernetes et aux autres projets sous la bannière CNCF : “Open source is not enough. Governance matters”. Et dans le cadre du projet Kubernetes, plusieurs entreprises étaient impliquées dans son développement dès le départ.
À la suite de cela, plusieurs autres interventions ont suivi, dont notamment une table ronde très intéressante sur l’inclusion et la diversité, ainsi que d’autres interventions.
Best Practices for LLM Serving with DRA - Chen Wang & Abhishek Malvankar, IBM
Lors de cette conférence, les deux orateurs nous ont expliqué l’importance d’améliorer l’utilisation des clusters GPU, souvent sous-utilisés (20 à 30% des ressources utilisées), pour le déploiement efficace de grands modèles de langage (LLMs) dans Kubernetes. Ils soulignent l’utilisation de partitions MIG (Multi-Instance GPU) et l’allocation dynamique des ressources (DRA) pour ajuster la taille des partitions GPU en fonction des besoins spécifiques de chaque modèle LLM et de sa charge de travail.
La conférence a abordé le déploiement de vLLM, un framework open source, dans Kubernetes, en mettant l’accent sur l’adaptation des instances vLLM aux charges de travail croissantes et l’optimisation de l’utilisation du GPU.
Unleashing Kubernetes Intelligence - running K8sGPT utilizing your own fine-tuned LLM - Mario Fahlandt, Kubermatic
K8sGPT est un outil qui scanne des clusters Kubernetes pour effectuer des diagnostics. Il trie les informations qu’il collecte et les enrichit avec de l’intelligence artificielle, pour faciliter le maintien en condition opérationnelle de nos clusters Kubernetes.
Comme Mario l’expliquait, la majorité des personnes qui l’utilisent le font avec des ressources payantes, ce qui empêche l’adoption de cet outil par certaines personnes.
Lors de ce talk, nous avons vu comment, avec KubeFlow et LocalAI, il était possible de disposer de son propre LLMs, configuré selon ses besoins, pour l’utiliser comme interface locale à K8sGPT. Ce qui ouvre des perspectives dans le cas de cloud privé, par exemple.
Revolutionizing Mesh Layers: Transitioning from Istio to Cilium at The New York Times - Ahmed Bebars & Pete Saia, The New York Times
Retour d’expérience très intéressant de The New York Times sur l’utilisation de Cilium comme Service Mesh en remplacement d’Istio.
Il rappelle, à juste titre, que le réseau n’est pas un sujet simple, surtout dans un contexte à fort trafic, comme c’est le cas pour eux.
Ce qui a motivé leur décision : la recherche de performance et d’efficacité et l’évolution de Cilium. Aujourd’hui, Cilium qui était initialement utilisé uniquement comme CNI (Container Network Interface) a remplacé Istio comme service mesh dans un contexte multi-régions.
Telemetry Showdown: Fluent Bit Vs. OpenTelemetry Collector - a Comprehensive Benchmark Analysis - Henrik Rexed, Dynatrace
Durant ce talk, Henrick a effectué un comparatif de Fluent Bit et OpenTelemetry Collector selon plusieurs axes : le design, les logs, les métriques, les traces et bien évidemment les performances.
J’ai vraiment apprécié ce talk, qui permet, selon ses besoins, de savoir quel outil choisir.
Hands-On Cloud-Native Security Workshop Hosted by Sysdig
Après un rappel des concepts clés en termes de sécurité des conteneurs, de Kubernetes et des workloads sur le cloud, nous avons pu effectuer une série d’exercices, qui nous a mis dans la peau d’attaquants et qui nous ont permis de comprendre la puissance de Falco et de Falcosidekick.
De plus, nous avons eu droit à l’intervention de Loris Degioanni, CTO et fondateur de Sysdig, entreprise derrière ce projet, qui nous a parlé de la genèse du projet.
Crossplane Intro and Deep Dive - the Cloud Native Control Plane Framework - Jared Watts & Philippe Scorsolini, Upbound
Ce talk donné par deux mainteneurs de Crossplane s’adresse aussi bien aux personnes qui ne connaissent pas bien la solution, qu’aux autres.
Après une introduction et une présentation de l’outil, nous voilà embarqué·es dans une présentation de fonctionnalités poussées de Crossplane et de sa roadmap.
OCI as a Standard for ML Artifact Storage and Retrieval - Peyman Norouzi & Eric Koepfle, Bloomberg
Talk intéressant sur l’utilisation des registres d’images de conteneurs pour stocker et partager les modèles de machine learning et les datasets au sein de l’équipe interne Data Science Platform de Bloomberg.
Les spécifications de l’Open Container Initiative (OCI) permettent de répondre aux attentes et aux exigences de cette équipe, telles que la consistance des données, l’efficience et la gouvernance en s’appuyant sur des concepts et des fonctionnalités tels que le versioning et les métadonnées associées aux artefacts.
Un des points intéressants de ce talk est de voir comment les avancées du cloud computing et les outils servent dans le domaine de l’intelligence artificielle plus généralement, et du machine learning, plus particulièrement dans le cadre de ce talk.
Tutorial: Exploring the Power of Distributed Tracing with OpenTelemetry on Kubernetes - Pavol Loffay & Benedikt Bongartz, Red Hat; Matej Gera, Coralogix; Anthony Mirabella, AWS; Anusha Reddy Narapureddy, Apple
Atelier d’une heure et demie durant lequel nous avons déployé une stack distribuée de tracing grâce à OpenTelemetry.
Nous avons vu aussi bien l’instrumentation automatique que manuelle. Comment collecter des données et les enrichir, le sampling, la dérivation de métriques depuis les traces et bien d’autres choses.
Je recommande cet atelier pour toutes les personnes qui veulent découvrir la puissance d’OpenTelemetry pour exploiter des traces.
Le lien vers les sources utilisées durant cet atelier sont ici : https://github.com/pavolloffay/kubecon-eu-2024-opentelemetry-kubernetes-tracing-tutorial
We Tested and Compared 6 Database Operators. The Results are In! - Jérôme Petazzoni, Tiny Shell Script LLC & Alexandre Buisine, Enix
Dans certains contextes, nous avons besoin de déployer des bases de données dans des clusters Kubernetes. Et lorsqu’il faut le faire, nous nous posons la question de savoir quel opérateur choisir, face à la multitude d’options possibles.
C’est la question à laquelle Jérôme et Alexandre ont voulu répondre en nous présentant une comparaison de 6 opérateurs Kubernetes différents pour déployer des bases de données dans Kubernetes.
J’ai déjà vu une première version de ce talk au Kubernetes Community Days 2023 et j’avais beaucoup apprécié ce talk. Je ne pouvais pas rater cette version mise à jour avec Jérôme en co-speaker. Super talk.
Keep Hackers Out of Your Cluster with These 5 Simple Tricks - Christophe Tafani-Dereeper & Frederic Baguelin, Datadog
Christophe et Frederic nous ont d’abord présenté les différentes attaques subies dans un de leurs clusters Kubernetes, exposé volontairement sur Internet, pour comprendre les différentes techniques utilisées par les attaquants. Ils nous ont également présenté certaines vulnérabilités connues pour s’échapper d’un conteneur et compromettre son environnement. À la fin du talk, ils nous ont présenté quelques techniques pour sécuriser ses workloads et ses clusters.
Un de mes talks préférés lors de cet événement, tant en termes de fond que de forme.
Conclusion
Comme vous l’aurez compris, cette édition de KubeCon EU est une édition spéciale, car non seulement elle s’est déroulée en France, mais aussi, c’était l’édition des 10 ans de Kubernetes.
Beaucoup de sujets traitaient de l’intelligence artificielle, ce qui est normal, à mon sens, car c’est LE sujet qui anime aujourd’hui le monde de la tech, et surtout dont nous allons beaucoup entendre parler encore lors des prochaines années. Comme l’a d’ailleurs rappelé Taylor Dolezal, Head of Ecosystem, The Linux Foundation (CNCF), lors de la keynote de jeudi, la KubeCon est aussi là pour parler des sujets tendances du futur.
Il y avait beaucoup de sujets, tous ne s’adressaient pas à un public expert, mais il en faut pour tous les goûts et tous les niveaux. C’est en partie ce qui rend l’événement accessible même aux profils juniors.
Quant à moi, n’ayant pas pu suivre tous les talks que j’aurais voulu, faute de places ou de temps, je vais me rattraper lors des prochaines semaines sur les replays.