那么，如果您开始在组织中构建数据可观察性框架，您应该考虑哪些工具？虽然有很多选择，但根据我的经验，最好的选择是从以下工具开始。
在构建数据基础设施时，我们专注于充分利用开源平台。下面列出的工具可确保处理大量数据时的透明度和可扩展性。虽然它们中的大多数除了数据可观察性之外还有其他用途，但结合起来，它们提供了一种确保数据管道可见性的好方法。
以下是我建议大家查看的五个必要平台的列表：
Prometheus 和 Grafana平台相辅相成，帮助工程师实时 Viber数据 收集和可视化大量数据。Prometheus 是一个开源监控系统，非常适合数据存储和观察，而可观察性平台 Grafana 则 通过易于导航的可视化仪表板帮助跟踪新趋势。
Apache Iceberg表格式提供了数据库元数据的概览，包括跟踪表列的统计信息。跟踪元数据有助于更好地了解整个数据库，而无需对其进行不必要的处理。它不完全是一个可观察性平台，但它的功能可以让工程师更好地了解他们的数据。
Apache Superset是另一个开源数据探索和可视化工具，可以帮助呈现大量数据、构建仪表板和生成警报。
Great Expectations是一个帮助测试和验证数据的 Python 包。例如，它可以使用预定义规则扫描样本数据集并创建稍后用于整个数据集的数据质量条件。我们的团队使用 Great Expectations 对新数据集进行质量测试。
Dagster数据管道编排工具可以帮助确保数据沿袭并运行资产检查。虽然它不是作为数据可观察性平台创建的，但它使用现有的数据工程工具和表格格式提供可见性。该工具有助于找出数据异常的根本原因。该平台的付费版本还包含 AI 生成的见解。此应用程序提供自助可观察性，并附带用于跟踪数据资产的内置资产目录。
请记住，这些只是众多可用选项中的一部分。请务必进行研究并找到适合您组织的工具