HarrisonWu42-CSDN博客

原创【联邦学习FATE框架实战】（四）用FATE从零开始实现纵向线性回归

目录1. 制作数据集2. 通过DSL Conf运行训练和预测任务2.1 数据输入2.2 模型训练2.2.1 配置DSL文件2.2.2 运行配置Submit Runtime Conf2.2.3 提交任务，训练模型2.3 模型评估2.3.1 修改DSL2.3.2 修改conf2.3.3 提交任务1. 制作数据集数据集：波士顿房价预测数据集，样本数506，13个特征，标签是房屋得均价from sklearn.datasets import load_bostonimport pandas as pd

2022-03-23 16:11:23 5260 4

原创【联邦学习FATE框架实战】（三）MNIST神经网络（Keras）

目录1. 环境2. 获取数据集3. FATE任务3.1 上传数据1. 环境本文实验内容是前几篇文章的延续，同样在FATE1.6.0版本下进行。实际开发和研究过程中，总是需要自定义实现模型的，这里查看了一下FATE1.6.0带的版本FATE1.6.0Python 3.6.5pytorch 1.4.0tensorflow 2.3.4keras 2.4.02. 获取数据集本文使用的数据集是AI入门的手写数字识别数据集MNIST，从kaggle上下载csv格式的数据集，拷贝到虚

2022-03-12 18:48:22 2510

原创【联邦学习FATE框架实战】（二）用FATE从零开始实现横向逻辑回归

目录1. 获取数据集1.1 下载数据集1.2 横向数据集切分2. 通过DSL Conf运行训练和预测任务2.1 数据输入2.2 模型训练2.2.1 配置DSL文件2.2.2 运行配置Submit Runtime Conf2.2.3 提交任务，训练模型2.3 模型评估2.3.1 修改DSL2.3.2 修改conf2.3.3 提交任务1. 获取数据集1.1 下载数据集数据集：乳腺癌肿瘤数据集（内置在sklearn库）from sklearn.datasets import load_breast_c

2022-02-18 09:42:30 5551 7

原创【联邦学习FATE框架实战】（一）FATE1.6单机部署教程

目录1. 说明2. 安装前3. 在主机中安装FATE(使用已编译的安装包)3.1 端口检查3.2 获取安装包3.3 安装3.4 启动3.5 测试3.6 FATE Board4. 安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook4.1 FATE-Client、FATE-Test4.2 FATE-Flow4.3 FATE中的Jupyter Notebook1. 说明使用虚拟机VMware进行实验，实验过程中随时拍摄快照，节约重装时间。项目Val

2022-02-14 22:00:47 7579 6

原创 Ubantu16.04 安装 Xgboost GPU版

＃　Ubantu16.04 安装 Xgboost GPU版从源码安装方法一：从git安装源码注意要加上–recursive，递归下载其中的内容，因为直接clone的话cub, dmlc-core, gputreeshap不会被下载$git clone --recursive https://github.com/dmlc/xgboost方法二：将源码下载到本地安装直接进入https://github.com/dmlc/xgboost下载所有源码，注意，要额外下载以下三个包，并且解压到x

2021-01-22 16:50:43 300

原创【图神经网络】表示学习

引言本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理，最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。目录表示学习需要回答的3个问题离散表示和分布式表示离散表示分布式表示端到端学习基于重构损失的方法：自编码器自编码器正则自编码器变分自编码器基于对比损失的方法：Word2vec关于深度学习关于深度学习中的特征参考文献表示学习表示通俗理解为特征表示学习自动地从数据中学习有效特征，并直接用于后续具体任务需要回答的3个问题如何判断.

2020-09-19 23:17:26 776 2

原创【图神经网络】卷积神经网络

引言本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理，最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。目录卷积神经网络卷积和池化卷积池化参考文献卷积神经网络卷积神经网络（）卷积和池化卷积池化参考文献刘忠雨，李彦霖，周洋. 深入浅出图神经网络:GNN原理解析[M]. 北京:机械工业出版社，2020：39-63...

2020-09-19 01:14:30 561

原创【图神经网络】神经网络基础

引言本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理，最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。目录神经网络基础机器学习分类损失函数平方损失函数交叉熵函数激活函数S型激活函数SigmoidTanhReLU及其变种ReLULeakyReLUPReLUELU优化困境梯度消失局部最优鞍点参考文献神经网络基础机器学习分类是否有标签监督学习训练数据中每个样本都有标签，通过标签可以指导模型进行学习，学到具有判别性的特征。无监督学习训.

2020-06-15 10:43:46 419

原创【图神经网络】图数据和图数据相关任务

引言本文是学习刘忠雨老师所著的《深入浅出图神经网络》过程中的笔记和记录整理，最后会有参考文献标注对应章节和内容中可能出现的参考文献、博文出处。目录概述图的基本类型图数据同构图（Homogeneous Graph）异构图（Heterogeneous Graph）属性图（Property Graph）非显式图（Graph Constructed from Non-relational Data）误区解释图数据相关任务节点层面的任务（Node Level）边层面的任务（Link Level）图层面的.

2020-06-14 20:22:28 1900 1

转载【Spring】SpringData Elasticsearch 基本分页查询

Entitypackage cn.edu.zucc.syx.rec.demo;import org.springframework.data.annotation.Id;import org.springframework.data.elasticsearch.annotations.Document;import org.springframework.data.elasticsearch.annotations.Field;import org.springframework.data..

2020-05-17 15:40:33 2431

原创【Spring】SpringData通用分页查询

通常情况下，SpringData是有提供相应的分页查询接口的，比如在我的另一篇博文中SpringData ES中提到的那样。但是这种方式，一般仅限于最直接的分页查询，不适用于更深层次的嵌套。比如ES中嵌在其他实体中的nested实体，本文也是为了解决这个问题才做的学习。思路一个最直接的想法就是查询出所需要的数据，一般是一个List，然后将List转成Page.实现List转Page的分页接口package cn.edu.zucc.syx.rec.util;import org.sp.

2020-05-17 15:28:50 752

原创【Exception】org.antlr.runtime.ANTLRInputStream cannotbe cast to org.antlr.v4.runtime.CharStream

Exceptionanltr规则/** 语法文件通常以grammar关键字开头 * 这是一个名为ArrayInit的语法，它必须和文件名ArrayInit.g4相匹配 */grammar ArrayInit;/** 一条名为 init 的规则，它匹配一对花括号中的逗号分隔的 value */init: '{' value (',' value)* '}' ; // 必须匹配至...

2020-05-07 17:48:38 2503 3

原创【ANTLR】IDEA中ANTLR插件的安装和示例

安装idea-antlr插件安装plugin,并重启IDEA示例Hello.g4新建一个项目，并创建ANTLR的grammer文件Hello.g4//Define a grammar called Hellogrammar Hello;r : 'hello' ID; // match keyword hello followed by an identifierID : [...

2020-04-14 19:07:13 1574

原创【ANTLR】Windows下安装antlr

1. 安装javaantlr需要java版本1.6+2. 下载配置Antlr4Antlr4下载地址：https://www.antlr.org/download/antlr-4.8-complete.jar，将文件放到某一个文件夹(比如我的选择D:\Software\antlr)添加环境变量CLASSPATH写入antlr4.bat和grun.bat，并放在文件夹中(D:\...

2020-04-14 18:03:51 1348 3

原创【Ambari】爬坑指南：Yarn错误汇总

目录大数据集群错误汇总Yarn错误汇总大数据集群错误汇总大数据集群错误汇总：linkZooKeeper错误汇总：linkHDFS错误汇总：linkYarn错误汇总

2020-04-12 21:11:58 1504

原创【Ambari】爬坑指南：ZooKeeper错误汇总

目录大数据集群错误汇总ZooKeeper错误汇总心脏丢失大数据集群错误汇总大数据集群错误汇总：linkZooKeeper错误汇总：[link]()HDFS错误汇总：link.ZooKeeper错误汇总心脏丢失解决方案很有可能是server或者agent更换ip或者域名导致的，vim /etc/hosts检查各个主机的ip，确保正确后重启错误的主机的ambari-agent服...

2020-04-11 14:40:03 947

原创【Ambari】爬坑指南：大数据集群错误汇总

大数据集群错误汇总大数据集群错误汇总：linkHDFS错误汇总：link.

2020-04-11 11:35:36 495

原创【Ambari】爬坑指南：HDFS错误汇总

错误汇总HDFS启动namenode失败stderr: /var/lib/ambari-agent/data/errors-580.txtTraceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/HDFS/package/scripts/nameno...

2020-04-11 11:29:31 3162 1

原创【Ambari】Ambari搭建Hadoop集群

【Ambari】Ambari搭建Hadoop集群配置说明基础环境修改主机名和hosts文件关闭防火墙和selinuxjdk下载配置yum 离线安装 mysql免密操作：使 ambari-server 节点免密操作 ambari-agent 节点hadoop 各节点主机保持始终同步主节点从节点安装配置 ambari-server搭建 yum 本地源mysql 用户设置使用 yum 安装 ambari...

2020-04-09 18:11:36 1306