Doris性能优化实战技巧 为什么选择Doris1.开源 Doris 和 Clickhouse 之间的优势和劣势是什么? Doris 是 MPP 架构的数据库,这点是和 Clickhouse 从架构上有本质的不同。Doris 在 多表 Join 和分布式管理上更有优势,Clickhouse 单机性能突出。不过我们的向量化引擎也马上就能和大家见面了,性能上可以期待一下。 2.Doris 入门门槛高吗?超过多大的数据量比较合适使 2022-08-10 Doris #Doris
deep_learning_5.过拟合-权重衰减法 出现过拟合的现象,是数据集的大小不能够支撑现有的模型。除了收集更多的数据外(大多数情况耗时短期内不可能做到),可以引入正则化来处理过拟合的问题。 正则化正则化一般分为两种,一种是L1范数,一种是L2范数。L2正则化线性模型构成经典的岭回归(ridge regression)算法, L1正则化线性回归是统计学中类似的基本模型, 通常被称为套索回归(lasso regression)。 为什么我们首 2022-08-07 Deep Learning #Deep Learning
deep_learning_4.模型选择&欠拟合和过拟合 模型选择在机器学习中,我们通常在评估几个候选模型后选择最终的模型。 这个过程叫做模型选择。 有时,需要进行比较的模型在本质上是完全不同的(比如,决策树与线性模型)。 又有时,我们需要比较不同的超参数设置下的同一类模型。 例如,训练多层感知机模型时,我们可能希望比较具有 不同数量的隐藏层、不同数量的隐藏单元以及不同的激活函数组合的模型。 为了确定候选模型中的最佳模型,我们通常会使用验证集。 验证集 2022-08-06 Deep Learning #Deep Learning
deep_learning_3.多层感知机的从零实现 单层感知机模型,给定输入x,权重w,和偏移b,感知机输出: o = O(<w,x> + b ) O(i) = {1, if x>0; -1 otherwise} 感知机模型为二分类:-1或1 vs 回归 输出实数 vs Softmax回归 输出概率 单层感知机不能划分XOR数据(亦或),对于这一点,我们可以使用多层感知机模型。我们可以通过在网络中加入一 2022-07-31 Deep Learning #Deep Learning
deep_learning-2.softmax回归的从零实现 softmax回归回归可以用于预测多少的问题。 比如预测房屋被售出价格,或者棒球队可能获得的胜场数,又或者患者住院的天数。 事实上,我们也对分类问题感兴趣:不是问“多少”,而是问“哪一个”: 某个电子邮件是否属于垃圾邮件文件夹? 某个用户可能注册或不注册订阅服务? 某个图像描绘的是驴、狗、猫、还是鸡? 某人接下来最有可能看哪部电影? 通常,机器学习实践者用分类这个词来描述两个有微妙差别的问题: 2022-07-30 Deep Learning #Deep Learning
PyTorch框架-TensorDataset 在学习深度学习前有必要先学习下当下深度学习的主流框架PyTorch、tensorflow、MXnet,但本篇文章主要介绍PyTorch的TensorDataset和DataLoader。我目前接触的框架也只有PyTorch,其他框架自己按需学习吧 :) 先看下面的代码,就能大致知道TensorDataset和DataLoader是干什么的了 TensorDataset123456789101112 2022-07-27 Deep Learning #PyTorch
deep_learning_1.线性回归的从零实现 线性回归回归(regression)是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域,回归经常用来表示输入和输出之间的关系。 在机器学习领域中的大多数任务通常都与预测(prediction)有关。 当我们想预测一个数值时,就会涉及到回归问题。 常见的例子包括:预测价格(房屋、股票等)、预测住院时间(针对住院病人等)、 预测需求(零售销量等)。 但不是所有的预测都是回 2022-07-25 Deep Learning #Deep Learning
Apache Doris在橙联的应用实践 1. 背景1.1 公司介绍橙联(Orange Connex)是一家服务全球跨境电商的科技公司,致力于通过市场分析、系统研发及资源整合,为客户提供物流、金融、大数据等多方面的服务产品,为全球跨境电商提供高品质、全方位的服务解决方案。橙联股份由中信产业基金和 eBAY 联合成立,拥有非常丰富的物流服务经验和客户市场资源,旨在为卖家客户提供快捷 、稳定 、成本领先 、可视及可持续的物流服务,让买家客户享 2022-07-24 #Doris
python导入模块和包 python导入模块模块就是 Python 程序。换句话说,任何 Python 程序都可以作为模块 python导入模块的2种方式 import 导入模块的语法: 1.import 模块名1 [as 别名1], 模块名2 [as 别名2],… 使用这种语法格式的 import 语句,会导入指定模块中的所有成员(包括变量、函数、类等)。 不仅如此,当需要使用模块中的成员时,需用该模块名(或别名)作为 2022-07-23 Python #Python
python包源码安装 比如我们在要用numpy这个库的时候,我们通常的下载方法是pip install numpy 但本文提供另外一种下载python包的方法,下载源码安装。 一般使用的场景是pip在线下载很慢,或者在GitHub上看到好玩的程序,拿到源码来安装。 python包源码安装方法一:pip install .下载到源码包后,进入包内,例如我们下载了requests的源码包,cd包内,然后进行pip inst 2022-07-23 Python #Python