Google は最近、Google Kubernetes Engine (GKE)、Private Service Connect、Linux カーネル間で相互作用する 3 つのバグが断続的な Kubernetes API 接続障害を引き起こし、約 800 人の開発者が本番環境へのデプロイを妨げた経緯を詳しく説明しました。
1 月、プライベート コントロール プレーン アクセスのために Private Service Connect(PSC)を使用して複数の GKE クラスタを実行しているお客様は、ポッドが Kubernetes API サーバーにアクセスしようとしたときに断続的なタイムアウトを経験しました。
パケット キャプチャにより、コントロール プレーンが、以前に閉じられた接続に属する古い ACK パケットを使用して新しい TCP 接続要求に応答していることが明らかになりました。根本原因には、異なるネットワーク層にわたる 3 つの個別のバグが関係していました。 Google Cloud のシニア テクニカル ソリューション エンジニアである Akash Thakur は、複数の Google チームのエンジニアが 3 つの根本原因を特定し、最終的にそれらに対処した方法を次のように説明しています。
問題を解決するための競争では、Google Kubernetes Engine (GKE)、Private Service Connect、ネットワーキング、ホストネット、カーネル、Linux アップストリーム コミュニティのエンジニアが参加し、1 つではなく 3 つの異なる根本原因を一緒に追跡しました。そして最終的な修正は、構成変更や機能フラグとしてではなく、Linux カーネル自体へのパッチとして適用されました。
調査の結果、PSC でのパケットの並べ替え、TCP 接続が適切に閉じられない Envoy のハーフクローズ動作、並べ替えられた特定の FIN パケットを破棄する Linux カーネルのバグという 3 つの相互作用の原因が特定されました。
![]()
出典: Google Cloud ブログ
Thakur 氏は、Private Service Connect、仮想ネットワーク インターフェイス、および Linux TCP ステート マシン全体にわたる I/O タイムアウトを含む複雑なトラブルシューティング ケースについて説明しています。これにより、最終的にソケットが永久にスタックされたままになるカーネルの問題が明らかになりました。 FIN_WAIT_2 州。 タクールは次のように説明します。
ほとんどのネットワーキング ケースは 1 つのレイヤーで解決されます。ファイアウォール ルールの構成が間違っていること、接続プールが枯渇していること、MTU の計算が間違っていることがわかります。それを修正して次に進みます。これは、症状 (完了しない接続での I/O タイムアウト) が、Private Service Connect レイヤー、カーネルの TCP ステート マシン、または Envoy の接続管理のいずれを見ても同じだったため、異なりました。どの層にももっともらしい説明があったが、どの説明も不完全だった。
この問題は、数週間にわたる 3 つの調整された修正によって解決されました。Google はまず、Private Service Connect の変更をロールバックして接続を復元し、次にプロキシ プロトコルの処理を修正し、回帰テストを追加しました。最後に、元 Google のソフトウェア エンジニアである Eric Dumazet が作成した Linux カーネル パッチにより、根本的な TCP 問題が修正されました。 Google Cloud のマネージング ディレクターである Rohan Karne 氏は次のようにコメントしています。
これがミッション クリティカルなプラットフォーム エンジニアリングの地味な現実です。明らかな疑わしいものを系統的に除外し、カーネルの根本原因が見つかるまでパケット キャプチャを徹底的に調査します。
Thakur 氏は、ネットワーキング、プロキシ、オペレーティング システム全体で個別に合理的な動作がどのように組み合わさって複雑なインフラストラクチャ障害を引き起こす可能性があるかを強調しています。複数のネットワーク層でのパケット キャプチャは問題を特定するために不可欠であり、ネットワークの症状とインフラストラクチャの変更を関連付けることは、3 つのバグ間の関連性を確立するのに役立ちました。香港中文大学の博士研究員Guangba Yu氏は次のように強調する。
AIOps とカオス エンジニアリングの場合、移行可能な方法は、症状の回復とステート マシンの修正を区別しながら、同時にパスの観察、プロトコルの状態、ロールアウト イベントを組織化することです。この匿名化されたケースでは、作成の失敗率は示されず、すべての API タイムアウトが説明されるわけではありません。
Sidero のフィールド CTO である Justin Garrison 氏は次のように述べています。
最初は、いつも楽しいカーネル パッチにつながるこの記事を読んで興奮しました。 GKE は 3 年前(6.1)のカーネルを実行しているだけで、バグはすでに上流で修正されているため、バックポートする必要があったことが判明しました。
カーネル修正は Linux 6.9.7 にマージされ、6.6 および 6.1 LTS ブランチにバックポートされ、バージョン 1.33.5 以降の GKE 顧客に届けられました。







/origin-imgresizer.eurosport.com/2026/11/20/image-8f762c66-819e-40e2-8aae-6b8a6efedd0a-85-2560-1440.jpeg)


Leave a Reply