Bloom filters: the niche trick behind a 16× faster API | Blog | incident.ioIncident.io は、顧客の監視システムから受信する大量のインシデント通知を処理する際に、P95 レーテンシーを 5 秒から 0.3 秒に劇的に改善したと発表した。

• Incident.io は、顧客の監視システムから受信する大量のインシデント通知を処理する際に、P95 レーテンシーを 5 秒から 0.3 秒に劇的に改善したと発表した。
• 従来の PostgreSQL の B-ツリーインデックスや GIN インデックスによるフィルタリングでは、大規模なデータセットでのスキャンとデシリアル化がボトルネックとなっていたことが判明した。
• 構造化データと動的な属性マッピング処理を高速化するために、確率的なデータ構造であるブーム・フィルタを活用したという技術的なアプローチが紹介された。

インシデント管理システムにおいて、大規模データへのリアルタイムクエリ応答時間の遅延は運用効率を劇的に低下させるため、この最適化手法は多くの SRE とインフラエンジニアにとって高度に有益である。