EchoYu's blog
  • 首页
  • 归档
  • 分类
  • 标签
  • books
  • 关于
  •   
  •   

数据库系统原理与实现-华东师大课程笔记

Leveldb (总共两万行代码,很值得做系统的去学) 做系统需要考虑到: 性能 一致性(事务,副本,) 容错 kvs的数据结构(B+树,log-structure是顺序写( 例如LSM tree),) B link tree 是B+树的升级版 在并发上会有好处 缓冲区的需求 1.块是否空-bitmap 2.-hash表 3.淘汰策略-LRU,FIFO —>second change 写放大
2022-09-29
#DB

计算机视觉-华东师大课程笔记

第一章 概述1.什么是计算机视觉采集来的图像或者视频,对场景进行识别和表达,理解感知分析的能力 2. 人类感知与计算机视觉人脑解析 计算机视觉算法推断景物含义 图像处理 计算机视觉 图形学(3D重建) 第二章 图像处理相关基础查阅文献关键词 inpainting 图像修复 Multi-level Multi-scale 多尺度 image pyramid 图像金字塔 Super-resolu
2022-09-23
#CV

IDEA里运行代码没问题but生成jar运行报java.lang.NoClassDefFoundError错误

问题描述在IDEA中运行程序成功,但是通过maven的打包package生成jar包后调用报错如下: 12345Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerFactory at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.
2022-09-22
Java
#Java

spring框架-AOP切面编程

AOP(Aspect Orient Programming),面向切面编程切面:公共的,通用的,重复的功能成为切面,面向切面编程就是将切面提取出来,单独开发,在需要的时候织入。 手写AOP框架​ 业务:图书购买业务 ​ 切面:事物 1)第一个版本:业务和切面紧耦合在一起,没有拆分 2)第二个版本:使用子类代理的方式拆分业务和切面 3)第三个版本:使用静态代理拆分业务和
2022-09-16
Java
#Java

spring框架-IOC注入

Spring框架1.是什么:它是一个容器,是整合其他框架的框架,它的核心是IOC和AOP,它由20个模块构成,在很多领域都提供优秀的解决方案 2.特性:轻量级 由20多个模块构成,每个jar包都很小,小于1M,核心包也就3M左右 AOP(面向切面编程) 将公共的,通用的,重复的代码单独开发,在需要的时候反织回去,底层的原理是动态代理(例如持久层,业务逻辑层,view层都需要输出打印日志,日志就可
2022-09-15
Java
#Java

Flink作业读取mysql-binlog写入kafka报错

问题描述flinkcdc读取mysql-binlog日志写到kafka时出现不能获取kafka metadata的问题 遇到获取不到获取不到metadata的情况,检查kafka集群是否有节点挂了。我们kafka集群为3节点,排查发现其中一个节点由于磁盘写满挂了。 var isMobile = navigator.userAgent.match(/(p
2022-08-31
Flink
#Flink

Flink使用之SQL Client

前言Flink提供了SQL Client端,有了它我们可以像Hive的beeline一样直接在控制台编写SQL并提交作业。这里与FlinkSQL不同的是,虽然FlinkSQL实现了可以在Flink程序中写SQL,但还是需要写一些java和scala代码,Flink提供了SQL Client可以帮助不会写java和scala的程序员快速上手。 如何使用Flink SQL client支持运行在sta
2022-08-20
Flink
#Flink

ETL算法

ETL算法 1.全删全插 应用场景 适合源表是全量数据表,该数据表业务逻辑只需保存当前最新全量数据,不需跟踪过往历史信息。主要应用在维表、参数表 算法实现逻辑 1.清空目标表; 2.源表全量插入; ETL代码原型 123456789-- 1. 清理目标表TRUNCATE TABLE <目标表>; -- 2. 全量插入INSERT INTO <目标表> (字段*
2022-08-16
数据仓库
#ETL

Doris索引

BloomFilter索引BloomFilter索引原理布隆过滤器实际上是由一个超长的二进制位数组和一系列的哈希函数组成。二进制位数组初始全部为0,当给定一个待查询的元素时,这个元素会被一系列哈希函数计算映射出一系列的值,所有的值在位数组的偏移量处置为1。 下图所示出一个 m=18, k=3 (m是该Bit数组的大小,k是Hash函数的个数)的Bloom Filter示例。集合
2022-08-15
Doris
#Doris

deep_learning_7.数值稳定性和模型初始化

到目前为止,我们实现的每个模型都是根据某个预先指定的分布来初始化模型的参数。这样比较容易忽略模型初始值对训练的影响。 选择哪个函数以及如何初始化参数可以决定优化算法收敛的速度有多快。 糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。 梯度消失和梯度爆炸当初始值选取的点不一样时,就会造成梯度消失或者是梯度爆炸的情况 所谓梯度消失是指,梯度的值在很小的范围内变化,导数接近于平滑的直线。 梯度爆炸
2022-08-14
Deep Learning
#Deep Learning
1…45678…14

搜索

Hexo Fluid
总访问量 次 总访客数 人