2023年3月30日 · Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。 Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。 Paimon 以湖存储的方式基于 分布式文件系统 管理元数据，并采用开放的 ORC、Parquet、Avro 文件格式，支持各大主流计算引擎，包括 Flink、Spark …

2024年2月22日 · 本文对比了ApacheIceberg、ApacheHudi和ApachePaimon这三个开源数据湖项目在社区发展、功能特性、ACID支持和性能方面的差异，强调了实际业务场景中选择合适方案的重要性。 （以上数据为2024年2月21日） 可见 Apache iceberg和Apache hudi 不相伯仲，Apache Paimon成立时间较晚。 Uber的工程师分享了大量Hudi的技术细节和内部方案落地，研究官网的近10个PPT已经能较为轻松理解内部细节，此外国内的小伙伴们也在积极地推进社区建设，提供 …

这是一篇较为完整的介绍Apache Paimon和Flink进阶应用的文章。 北京时间 2024 年 4 月 16日，开源软件基金会 Apache Software Foundation （以下简称 ASF）正式宣布 Apache Paimon 毕业成为 Apache 顶 级项目 (TLP, Top Level Project)。 经过社区的共同努力和持续创新，Apache Paimon 在构建 实时数据湖 与 流批处理技术领域 取得了重大突破，数据湖步入实时新篇章！

Apache Paimon 是一个专门为 CDC 处理、流计算而生的数据湖。 希望带来你舒服、自动的湖上流处理体验。 从官网上也可以看到，Apache Paimon 支持高速的数据写入，Changelog 的生成以及高效的实时查询。 Paimon 的整体架构是一个数据湖 build 在 Data Lake (HDFS/OSS/S3)，它的所有 Meta 和数据都存储在这些数据湖上，它是一个数据湖格式。 这个数据湖的 Meta 也可以同步到 Hive Metastore 和阿里云的 Data Lake Formation 上，做一个统一的、数据的、表格式的管理。 …

前段时间 Flink table store 更名为 Apache Pimon ，并重新进入Apache incubator。 截止目前，incubator-paimon项目已经在github上收获了600+ Star（ https:// github.com/apache/incub ator-paimon ）：

2023年11月8日 · 使用Flink SQL操作Paimon的时候，可以在 Flink SQL 代码中操作，也可以在 sql-client.sh 中操作。 下面我们首先来看一下如何在 sql-client.sh 中操作Paimon。 （1）将这个Paimon jar包下载下来之后，上传到flink客户端节点中flink的lib目录里面。 （2）确认这个Flink客户端节点中是否有 Hadoop 的相关环境，有没有配置 HADOOP_CLASSPATH 环境变量。 在工作中，基本上Flink客户端节点上面也会有Hadoop的相关环境， HADOOP_CLASSPATH 我们之前 …

2024年7月25日 · Apache Paimon 是一种数据湖格式，并创新性地将数据湖格式和 LSM 结构的优势相结合，成功将高效的实时流更新能力引入数据湖架构中，这使得 Paimon 能够实现数据的高效管理和实时分析，为构建实时湖仓架构提供了强大的支撑。 为了充分发挥 Paimon 的能力，提高对 Paimon 数据的查询效率，Apache Doris 对 Paimon 的多项最新特性提供了原生支持： 支持 Hive Metastore、FileSystem 等多种类型的 Paimon Catalog。 原生支持 Paimon 0.6 版本发布的 …

Paimon 即“派蒙”，是一款帮助玩家规划原神内各类资源进度的工具，正如其名在游戏中的含义——大家旅途中的好伴侣。 它是由一位来自印度尼西亚的前端攻城狮 Made Baruna 独立开发完成。 （二）界面预览. 只需要在浏览器内访问 `paimon.moe` ，无需额外的下载、配置，就可以开箱使用。 Web 页面拥有现代化的 UI 样式、合理的信息流布局，目前大部分内容支持中文。 Paimon 首页. 二、特性. （一）全球祈愿统计. 敲黑板：全球祈愿数据统计。 在这里你可以看到所有玩 …

2024年8月31日 · Apache Paimon是一种湖格式，可以使用Flink和Spark构建实时湖屋架构，用于流式和批处理操作。 Paimon创新性地将lake格式和LSM（日志结构合并树）结构相结合，将实时流式更新引入lake架构。 Paimon提供以下核心功能： *主键表支持写入大规模更新，具有很高的更新性能，通常通过Flink Streaming。 *支持定义合并引擎，以您喜欢的方式更新记录。 重复数据删除以保留最后一行、部分更新、聚合记录或第一行，由您决定。 *支持定义变更日志生成器， …

2024年6月17日 · Apache Paimon 已明确为阿里巴巴统一 数据湖 格式. 莫问老师站在大局观的角度阐述了LakeHouse的发展思路，非常值得借鉴。 另外一方面，湖仓架构在实际落地中要解决的问题和目前的限制非常多；作为一个新兴的快速发展的方向，无论从思考方式还是实际落地，的确对传统的 数据架构 提出了很大挑战。 后续我个人会结合自己在开源社区&我所在的团队在实际落地中的应用介绍更多的实战经验。 欢迎持续关注。 01. Data Lake + Data Warehouse = Data …