最新文章泊松回归（Poisson Regression）
泊松回归（Poisson Regression）是一种统计建模方法，主要用于处理计数数据的回归分析。它是一种广义线性模型（GLM），特别适用于目标变量为非负整数（即计数数据）的情况。泊松回归的基础是泊松分布，适用于事件在固定时间或空间内发生的次数的建模。以下是泊松回归的关键特点和使用场景：
泊松分布
泊松回归假设目标变量 $ Y $ 服从泊松分布，其概率质量函数为： \[ P(Y = y) = \frac{\lambda^y e^{-\lambda}}{y!} \] 其中， $ $ 是泊松分布的参数，即事件发生的平均次数。
模型形式
泊松回归模型假设目标变量的对数期望值与解释变量 $ X $ 的线性组合有关： \[ \log(\lambda) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p \] 其中， $ $ 是目标变量的期望值， $ _0, _1, _2, , _p $ 是待估计的回归系数。
链接函数
泊松回归使用对数链接函数（log link function）将线性预测器 $ = _0 + _1 X_1 ...
STAT313 chap1&2 Nonparametric Regression
image.png
image.png
好的，我们来谈谈非参数回归。在统计学中，非参数回归是一种不依赖于参数假设的回归分析方法。在普通的参数回归，比如线性回归中，我们假设因变量Y和自变量X之间有一个明确的参数化形式，例如，我们假设Y等于X乘以系数加上一个常数项。但在非参数回归中，我们不做这样的假设。 你给出的PPT截图中给出了非参数回归的模型， $ Y = f(X) + $ ，其中:
$ Y $ 是因变量，或者说是我们想要预测或估计的变量。
$ f(X) $ 是一个未知函数，它描述了X和Y之间的关系。在非参数回归中，这个函数的形式不是预先设定的。
$ $ 是误差项，表示除了X影响Y之外的随机扰动。这个误差项有一个重要的属性，即条件期望 $ E[| X] = 0 $ ，这意味着误差项在给定X的条件下，它的平均值是0，即误差是随机的，不会系统地偏离某一个值。
非参数回归的目的是估计函数 $ f $ ，即找到一个函数 $ $ ，这个函数可以很好地拟合数据中的Y和X之间的关系，而不需要指定 $ f $ 的具体形式。例如，我们不需要假设 $ f $ 是线性的，或者是任何特定的数学形式。 ...
R语言的向量
最简单的访问元素的方法是使用 []
123> x <- c(2.1, 1.5, 6.7, 3.8, 4.2)> x[3] [1] 6.7
比如上面的代码，访问的是第三个元素。
同样使用上面的 x，可以使用下面的代码单独将第三个和第五个元素单独拿出来。
12> x[c(3, 5)] [1] 6.7 4.2
也可以用逻辑组成的向量，
12> x[c(FALSE, FALSE, TRUE, FALSE, TRUE)][1] 6.7 4.2
可以通过使用负数来“反选”，-1 就是不选择第一个元素，所以下面的代码不会选择第 1、2、4个元素。
12> x[c(-1, -2, -4)] [1] 6.7 4.2
还有一种访问向量中元素的方式：
12345> x <- c(4,7,2,9,7)> print(x)[1] 4 7 2 9 7> x[c(3,5,1)][1] 2 7 4
x[c(3,5,1)] 会按顺序访问 x 中的第三、五、一个元素。
1234> x <- c(a=1,b=2,c=3)> x[x<=2] ...
R语言 data.frames 学习笔记
R语言的矩阵只能包含数值类或逻辑类元素；相反，我们可能对一个对象感兴趣，该对象在其列中有多种类型的变量。具有不同类的多个向量可以组合成类 data.frame 的对象。
123456789> dfr <- data.frame(x = c(5, 2, 7, 4),+ y = c(TRUE, FALSE, FALSE, TRUE),+ z = factor(c("A", "B", "A", "B")))> print(dfr) x y z1 5 TRUE A2 2 FALSE B3 7 FALSE A4 4 TRUE B
Authentication 与 Authorisation 的区别是什么？
Authentication（身份验证）和 Authorization（授权）是安全领域中两个相关但不同的概念。
Authentication（身份验证）是确认用户或实体是否是其所声称的身份的过程。在身份验证中，用户提供一些凭据（例如用户名和密码）来验证其身份。系统会验证这些凭据是否有效，并决定是否允许用户访问特定资源或执行某些操作。身份验证的目标是确保用户是谁他们所声称的，并且具有访问系统的权限。
Authorization（授权）是确定用户或实体是否有权访问特定资源或执行某些操作的过程。一旦用户通过身份验证，系统会基于用户的身份和角色进行授权决策。授权确定了用户能够执行的操作范围和可访问的资源。通过授权，系统确保只有授权的用户能够执行特定操作，从而保护系统的安全性和数据的完整性。
简而言之，身份验证用于确认用户是谁，而授权用于确定用户可以做什么。身份验证是在用户登录或访问系统时进行的验证过程，而授权是在用户通过身份验证后确定其权限和访问级别的过程。这两个概念通常在安全系统和应用程序中一起使用，以确保只有合法用户可以访问和操作所需的资源。
GPT4教你Python上使用mpi4py进行并行计算
MPI，全称为消息传递接口（Message Passing Interface），是一种在并行计算环境中使用的编程模型。通过MPI，不同的进程可以在计算机集群中或者单个机器的多个处理器上进行通信和数据交换。Python中，我们通常使用mpi4py库来进行MPI编程。
首先，你需要安装mpi4py库。可以通过以下命令来安装：
1pip install mpi4py
基本的MPI程序会包含以下要素：
初始化和结束MPI环境
获取进程的个数和进程的排名
进程间的通信
以下是一个基础的mpi4py示例程序，它可以获取MPI环境中进程的数量和当前进程的排名，并在控制台上输出这些信息：
12345678910111213141516from mpi4py import MPIdef main(): # 初始化MPI环境 comm = MPI.COMM_WORLD # 获取当前进程的排名 rank = comm.Get_rank() # 获取进程的总数 size = comm.Get_size() print(f"I am process &# ...
Python MPI Message Passing
分布式内存 MIMD 系统最常用的编程方法是 message passing （消息传递），或消息传递的某些变体。 MPI 是使用最广泛的标准。
在基本消息传递中，进程通过显式发送和接收消息来协调它们的活动。 显式发送和接收消息称为点对点通信。
MPI 的发送和接收调用以下列方式运行：
首先，进程 A 决定要向进程 B 发送消息。
然后，进程 A 将其所有必要数据打包到进程 B 的缓冲区中。
进程A表示应该通过调用Send函数将数据发送给进程B。
在进程 B 可以接收数据之前，它需要确认它想要接收数据。 进程 B 通过调用 Recv 函数来完成此操作。
这样，进程每次发送消息，必然有一个进程也表示要接收消息。即对 Send 和 Recv 的调用总是成对的。
进程如何知道将消息发送到哪里？
当一个 MPI 程序第一次启动时，进程的数量是固定的（有一种方法可以创建更多的进程，但我们暂时忽略它。）每个进程被分配一个从 0 开始的唯一整数。这个整数被称为 进程的等级以及在发送和接收消息时如何识别每个进程。
MPI 进程被安排在逻辑集合中，这些逻辑集合定义允许哪些进程发送和接收消息。 这种 ...
什么是MapReduce
MapReduce是Google提出的一个软件架构，用于大规模数据集的并行运算，是为了解决大规模数据处理的问题。
MapReduce的基本思想是将大规模数据分割成多个小数据块，分发到不同的机器中进行并行处理。
具体来说，MapReduce通过将数据分成多个小块，然后将这些小块分发给多个计算节点进行处理，最后将处理结果汇总起来，从而实现高效的大规模数据处理。
MapReduce 大概可以分为 Map 和 Reduce 过程。Map 就好比拆分数据的过程，Reduce 就是将拆分的数据合并的过程。
【MapReduce 视频讲解】 https://www.bilibili.com/video/BV1rS4y1n7PC/?share_source=copy_web&vd_source=82be819a4e22d622eff6b514b96cb0bc
Spark基础函数指南(python版)
本文主要列出了一些 Apache Spark 的函数的使用，配上了具体的代码示例，更方便初学者的使用（我自己就是初学者hh）
首先，分享一个网站：https://nbviewer.org/github/jkthompson/pyspark-pictures/blob/master/pyspark-pictures.ipynb
里面每个函数都配有图和案例，非常的实用！
RDD转换操作（RDD Transformation）
Spark 转换操作是一个从现有的 RDD 生成新 RDD 的函数。它以 RDD 作为输入参数，生成并输出一个或多个RDD。每当我们使用任何一个转换操作函数的时候，它都会生成新的 RDD。由于 RDD 本质上是不可变的，因此输入的 RDD 也是不可变的。
转换操作本质上是一种懒加载，也就是说不会立即执行转换函数，只有当我们调用执行操作函数的时候才会执行转换操作函数。转换操作最基本最常用的两个函数是：map() 和 fliter() 函数。转换后生成的 RDD 始终与其父 RDD 不同。转换后的RDD 可能变得比小（如：filter(), count(), disti ...
Different tkinter Frame style(relief)
When we use tkinter as a tool for writing our GUI, Frame is a widget that is often used. Unfortunately, the poor documentation doesn't show exactly what each style of Frame looks like, so that's why I write this article.
Here is some of the code that will be used (note: this is not the complete runnable code, just a small part)
1234567891011from tkinter import *from tkinter.ttk import *window = Tk()frame_bot = Frame(window)frame_bot.pack(side=BOTTOM, fill=X, padx=8, pady=6)frame_bot['borde ...
