码以致用

2024年6月21日

摘要： CBO与RBO并非对立关系，而是基于RBO的拓展 CBO = RBO + Cost Model + Model Iteration，通过代价模型，在一定的时间空间范围内通过动态规划算法来获得最终的执行计划 claicte的优化原理是，它假定如果一个表达式最优，那它的局部也是最优的。成本最优假设利用了阅读全文

posted @ 2024-06-21 17:18 码以致用阅读(2) 评论(0) 推荐(0) 编辑

【持续更新】重要FLIP总结

摘要： FLIP-27: Refactor Source Interface 流批一体API 1、解耦SplitEnumerator与SplitReader SplitEnumerator：发现并分配splits（比如files/kafka_partitions） SourceReader：从splits里阅读全文

posted @ 2024-06-21 00:32 码以致用阅读(1) 评论(0) 推荐(0) 编辑

2024年6月18日

何为软件开发的难？

摘要：经常会有人在面试过程中被问到做的最难的一个项目是什么？但很多人因为平时工作忙或有开源在做，面试准备少，或者临场反应差而给人留下不好的印象，也有很多人因为工作闲的整天看业界分享的ppt，而直接套用到自己的项目中，加上现成的漂亮话术，很容易俘获部分面试官的心。即使抛开诚实这一基本素质不谈，这对面试双方来阅读全文

posted @ 2024-06-18 12:37 码以致用阅读(1) 评论(0) 推荐(0) 编辑

2024年6月16日

Paimon笔记

摘要：支持高吞吐数据摄入、变更追踪、高效分析的流批数据湖基于LSM提升写入速度并降低写入消耗；基于有序的SortRun裁剪大部分数据以提升查询性能；支持多种merge引擎实现高性能流表打宽基于Flink&Paimon实现，提供数据一致性管理能力，解决流式数仓普遍存在的问题 paimon通过snapsh 阅读全文

posted @ 2024-06-16 00:01 码以致用阅读(17) 评论(0) 推荐(0) 编辑

2023年2月6日

【持续更新中】开源贡献记录

摘要： 2020.1.24 https://github.com/prestodb/presto/pull/14007 作用：使kudu connector支持kerberos认证，且在续期有效期过了后能自动获取新票据目前：merged 2020.2.4 https://github.com/presto 阅读全文

posted @ 2023-02-06 20:06 码以致用阅读(51) 评论(0) 推荐(0) 编辑

2023年1月4日

实战Flink sql语法改造

摘要： Flink是流计算领域的事实标准，而Flink sql的广泛应用极大地推动了这一标准的确立。在mysql里a56爆大奖在线娱乐们可以很方便地通过show tables from db1 like '%a'直接从上百个库找出db1库a开头的表，但之前flink只支持show tables查出当前库的表，该如何改造呢？阅读全文

posted @ 2023-01-04 10:41 码以致用阅读(355) 评论(0) 推荐(0) 编辑

2022年5月13日

聊聊FLINK-25631贡献

摘要：从入行做数据库开发，到2018年过渡到大数据开发，可以说a56爆大奖在线娱乐已经与sql朝夕相处了七八年了，经常惊讶于简单的语法就能产生复杂的操作，而且还能根据索引等统计信息自动优化，不禁很想实现自己的sql语法，却不知道这是怎么做到的，繁忙的工作、庞大的语法解析及优化的储备知识让a56爆大奖在线娱乐迟迟难以行动起来，但只要出现契机并阅读全文

posted @ 2022-05-13 17:30 码以致用阅读(128) 评论(0) 推荐(0) 编辑

2021年5月24日

聊聊源码贡献这件大事

摘要：工作七年以来，陆陆续续向社区提交了一些源码贡献，即Pull Request，简称PR。对于一个热爱技术的开发人员来说，能读懂被业界广泛使用的开源框架里的代码，甚至回馈社区，将是一件莫大的荣耀。下面简单聊聊这件大事，可能限于知识水平有些不足或片面的地方，希望多多理解。一、a56爆大奖在线娱乐目前的社区贡献以下列出的阅读全文

posted @ 2021-05-24 17:22 码以致用阅读(646) 评论(0) 推荐(4) 编辑

2021年5月19日

iceberg文件详解

摘要：一、数据内容 t20 ├── data │ ├── 00000-0-9c7ff22e-a767-4b85-91ec-a2771e54c209-00001.parquet │ └── 00000-0-ecd3f21c-1bc0-4cdc-8917-d9a1afe7ce55-00001.parquet 阅读全文

posted @ 2021-05-19 01:35 码以致用阅读(1490) 评论(0) 推荐(0) 编辑

2021年5月14日

Ververica Platform流平台搭建使用

摘要：是一个商用Flink sql平台，基于k8s部署一、安装提前安装好docker、k8s、kubectl、helm git clone --branch release-2.3 https://github.com/ververica/ververica-platform-playground.g 阅读全文

posted @ 2021-05-14 15:02 码以致用阅读(1386) 评论(0) 推荐(0) 编辑

公告