深度学习GPU和CUDA配置 预备知识😊Anaconda管理python环境,可以做到环境隔离,避免依赖冲突等问题 创建一个虚拟环境(比如叫tuduipytorch) conda create –n 虚拟环境名字 python=版本 添加镜像加速 conda create –n 虚拟环境名字 python=版本 –c 镜像地址 删除虚拟环境 conda remove 2023-07-11 #深度学习
postman传入复杂参数 一、五种类型参数传递1.普通参数 2.POJO类型参数 3.嵌套POJO类型参数 4.数组类型参数 1.1普通参数普通参数:url地址传参,地址参数名与形参变量名相同,定义形参即可接收参数。 如果形参与地址参数名不一致该如何解决? 发送请求与参数: http://localhost/commonParamDifferentName?name=张三&age=18 后台接收参数: 12345 2023-06-25 #JAVA
Flink程序从checkpoint点启动-广播流修改问题 原本的processBroadcastElement函数逻辑如下: 12345678910111213public void processBroadcastElement(Tuple2<String, String> value, Context ctx, Collector<Tuple2<String, String>> out) throws Except 2023-04-14 #Flink
Flinkcdc同步mysql数据到Doris-streamload出错跳过数据问题 问题描述Flinkcdc实时同步mysql数据到doris,原始修改表结构需要停任务,自己手工同步修改更新表结构,再重启任务,比较麻烦,基于此自定义Dorissink,刚开始没implements CheckpointedFunction类,会出现,这个checkpoint失败的时候,直接跳过这个checkpoint的数据,这样就会导致漏数据。 引起checkpoint失败的原因举例:Doris表 2023-04-14 Flink #Flink
构建大数据知识网络 01|学习方法:建立你的大数据知识网络在了解了大数据论文之间的脉络后,接下来,我们就要进入精读论文的学习当中了。不过,在具体解读一篇篇的论文之前,我想先带你来一起看一看,这些大数据论文到底涵盖了哪些知识点,这些知识点又是来自于大数据系统中的哪一个组件。通过梳理这些组件涵盖了什么知识点,你就能更好地理解和掌握大数据领域相关的知识全貌。 毕竟,相比于某一门计算机课程、某一门编程语言或者某一个开源框架, 2023-04-02 大数据 #大数据
Hive编写UDF函数 Hive的内置函数无法满足业务需求时,就可以考虑使用用户自定义函数(UDF:user-defined function) 根据用户自定义的函数类别可以分为以下三种: 1.UDF(User-Defined-Function) 一进一出 UDF操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。 2.UDAF(User-Defined Aggregat 2023-03-06 Hive #Hive
基于Doris的数据血缘设计方案和实现 Here's something encrypted, password is required to continue reading. 2023-03-03 数据血缘 #Doris
dolphinscheduler dolphinscheduler的内部可分为四个模块: MasterServer、WorkerServer、AlertServer、ApiServer 1.架构说明MasterServerMasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交监控,并同时监听其它MasterServer和WorkerServer的健康状态。 MasterSer 2023-03-01 调度 #dolphinscheduler
Flink MULTI JDBC CONNECTOR 提供分库分表的jdbc链接方法,目前只提供批模式。 参数 参数名称 是否必填 说明 connector 是 填写multi-jdbc url 是 jdbc的链接串,用分号分割。jdbc:mysql://${connection1};jdbc:mysql://${connection2} table-name 是 可用正则匹配 schem 2023-01-16 Flink #FlinkCDC
hexo d部署网站时出现错误Error: Spawn failed(生成失败) 关于博客使用过程中,进行远端部署时使用hexo d指令后可能会遇到的错误有很多,其中最常见的就是类似于下面Error: Spawn failed的错误。 12345678910111213ssh: connect to host github.com port 22: Connection refusedfatal: Could not read from remote repository.Pl 2023-01-16 博客 #hexo