Uber は Go ベースの翻訳キャッシュを再設計し、p99 キャッシュ ミス レイテンシを 1 ミリ秒未満に保ちながら、初期メモリ フットプリントを 90% 以上削減しました。ハイブリッド アーキテクチャでは、変換キーと頻繁にアクセスされる値をメモリに保持し、残りの値をディスクに保存します。このシステムは 1 秒あたり数百万件の翻訳を処理し、99.9% 以上のキャッシュ ヒット率を維持します。
この最適化では、Uber の Go サービス全体のメモリ プロファイリングを通じて特定された 2 つの問題に対処します。一部のサービスではガベージ コレクション (GC) が CPU 使用率の 20% 以上を消費し、割り当てられたオブジェクトの約 70% を変換が占めていました。
Uber Engineering は次のように指摘しました。
Uber の規模では、メモリ管理における小さな非効率さえも積み重なる可能性があります。
最初の最適化では、Go の sync.Map を従来のマップに置き換えました。[string]RWMutex によって保護された文字列。ワークロードは主に読み取りが多く、更新頻度は低く、個別の削除はありませんでした。以前の実装では、変換エントリごとに複数のオブジェクトとポインタが作成され、GC オーバーヘッドが増加していました。値ベースのマップに移行すると、オブジェクトの割り当てが削減され、影響を受けるサービスの CPU 使用率が 30% 以上改善されました。
ただし、オブジェクトの割り当てを減らしても、全体的なメモリ消費の問題は解決されませんでした。翻訳データセットには 200 万から 300 万のキーが含まれる可能性がありますが、個々のサービスは通常、小さなサブセットにしかアクセスしません。キャッシュの更新によって別の問題が発生しました。サービスは、既存のキャッシュとアトミックに交換する前に、バックグラウンドで代替キャッシュを構築しました。したがって、両方のコピーが同時にメモリを占有し、一部のサービスが更新中にメモリ不足を引き起こします。
Uber は外部キャッシュとサービス固有の翻訳サブセットの生成を検討しましたが、どちらも追加の運用コストや保守コストが発生します。チームは代わりに、既存の Get() および Put() API を保持するハイブリッド ストレージ設計を採用しました。すべてのキーは高速検索のためにメモリ内で利用可能なままですが、変換値はディスクにバックアップされたファイルに保存されます。

Uber のハイブリッド翻訳キャッシュ (出典: Uber ブログ投稿)
この実装では 256 個のシャードが使用され、それぞれに独自の読み取り/書き込みミューテックス、メモリ内エントリ、およびディスク ファイルがあります。 6 バイトのハッシュベースのキーは、衝突を処理するために元のキー形式にフォールバックすることで、メタデータのオーバーヘッドを削減します。時間ベースのグローバルな最も最近使用されていない (LRU) ポリシーにより、メモリ内のエントリが管理されます。キャッシュの更新中、システムはアクセス履歴を使用して、過去 15 分以内にアクセスされた翻訳をプリロードし、スワップ後のコールド キャッシュを回避します。
一例では、以前にメモリで約 800 MB を消費していた翻訳データセットは、再設計後にメタデータ用に約 40 MB を必要としました。メモリ内エントリの制限が 50,000 に設定されているため、実際のメモリ消費量は通常 80 MB ~ 120 MB の範囲でした。報告された別のワークロードでは、400 万を超えるエントリのうち約 30,000 がメモリにロードされましたが、キャッシュ ヒット率は 99.9% 以上を維持しました。ディスクバックアップ キャッシュ ミスの p99 遅延は 100 マイクロ秒未満にとどまりました。

メモリ使用量が約 2.7 GB から 750 MB に減少 (出典: Uber ブログ投稿)
Uber の経験は、大規模なメモリ内キャッシュのコストへの影響を浮き彫りにしています。チームは、オブジェクト参照を最小限に抑えて GC オーバーヘッドを削減し、キャッシュされた値がアクセスされる頻度を測定することを推奨しています。キャッシュされたデータのごく一部のみがアクティブに使用されている場合、ハイブリッド アプローチにより、頻繁にアクセスされる値をメモリに保持し、残りをディスクに移動できます。









Leave a Reply