Flinkcdc原理一、CDC 概述CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛： 数据同步：用于备份，容灾； 数据分发：一个数据源分发给多个下游系统； 数据采集：面向数据仓库 /

数据质量治理 数据质量是数据治理的核心，也是基础工作。数据质量通常会从及时性、真实性、唯一性、完整性、有效性、一致性等六个维度来衡量。 对于数据质量的监控，主要包括三个环节： 第一，结合数据质量衡量的六个维度以及日常工作中发现的数据质量问题，配置相关规则。 第二，在数据加工的各个环节设置检查点，比如从ODS到DW，从DW到DM等环节。如在ODS检查点设置中，可能会包括数据源抽取记录的检查；在基础层

问题1:Exceeded checkpoint tolerable failure thresholdFlink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold. 最近实时平台flink任务频繁失败，报检查点方面的错误，初步排查是因为flinkcdc在同步mysql数据的时候，mysql表存有大json的数据，并且数据量达到2千万

windows系统excel转换成图片用python仅仅限于windows平台的包 12345678910111213141516import win32com.clientfrom PIL import ImageGrabimport logginglogging.basicConfig(level=logging.DEBUG,format=LOG_FORMAT,datefmt=DATE_FOR

1.卡尔曼滤波入门卡尔曼滤波的引入： 滤波就是将测量得到的波形中的的噪声过滤掉，使得到的数据更趋于真实情况，也更加平滑，方便使用。 卡尔曼滤波适用的系统： 卡尔曼滤波适用线性高斯系统 1.线性系统：满足叠加性和齐次性 叠加性： 齐次性： 2.高斯系统 高斯：噪声满足正态分布 2.卡尔曼滤波2.1.卡尔曼公式理解实现过程：使用上一时刻的最优结果预测这一时刻的预测值，同时使用这一时刻观测值（传感器测

🥦 1.学习前言🍑 1.1 学习前提 熟练使用SpringBoot 微服务快速开发框架 了解过Dubbo + Zookeeper 分布式基础 🍑 1.2 文章大纲| Spring Cloud 五大组件 服务注册与发现——Netflix Eureka 负载均衡： ​ 客户端负载均衡——Netflix Ribbon ​ 服务端负载均衡：——Feign(其也是依赖

JAVA前后端分离开源项目1.开源项目下载github上clone或者码云上下载 加载完解压，先不要急着运行！ 观察： 1.用到了哪些技术（SpringBoot，Vue等） 2.是否有数据库 3.你的环境是否匹配（Java，Maven，npm，nodejs，redis….） 然后再想办法运行 2.跑起来是第一步1.安装数据库，执行SQL 2.后端项目导入跑起来！ ​ 1）后端需要的数据库需要

创建对象的12345678910@Controller：放在类的上面，创建控制器对象，注入到容器中@RestController：放在类的上面，创建控制对象，注入到容器中，使用这个注解类的，里面的控制器方法的返回值都是数据 是@Controller和@ResponseBody的复合注解@Service：放在业务层的实现上面，创建Service对象，注入到容器中@Repos

Leveldb (总共两万行代码，很值得做系统的去学) 做系统需要考虑到： 性能 一致性（事务，副本，） 容错 kvs的数据结构（B+树，log-structure是顺序写（ 例如LSM tree），） B link tree 是B+树的升级版 在并发上会有好处 缓冲区的需求 1.块是否空-bitmap 2.-hash表 3.淘汰策略-LRU，FIFO —>second change 写放大

第一章 概述1.什么是计算机视觉采集来的图像或者视频，对场景进行识别和表达，理解感知分析的能力 2. 人类感知与计算机视觉人脑解析 计算机视觉算法推断景物含义 图像处理 计算机视觉 图形学(3D重建) 第二章 图像处理相关基础查阅文献关键词 inpainting 图像修复 Multi-level Multi-scale 多尺度 image pyramid 图像金字塔 Super-resolu