Update ai-book-ml.md

ai-book-ml.md

@@ -131,3 +131,396 @@ Sklearn适用于各种领域和应用场景，包括但不限于：
 * **教育**：用于学生成绩预测、课程推荐、教育数据挖掘等。
 
 总的来说，sklearn是一个功能强大且易于使用的Python库，它提供了丰富的机器学习算法和工具，适用于各种机器学习和数据挖掘任务。
+
+
+
+
+## 常见算法和demo  基于Scikit-learn介绍
+
+
+
+以下是机器学习中一些常见算法的介绍和实例：
+
+## 一、监督学习算法
+
+### （一）线性回归（Linear Regression）
+- **算法介绍**：
+    - 线性回归是一种用于建立线性关系模型的算法，旨在找到一条最佳拟合直线（或超平面，在高维空间中）来描述自变量和因变量之间的关系。它假设因变量和自变量之间存在线性关系，通过最小化预测值和真实值之间的平方误差来确定模型的参数。
+    - 数学公式为：\(y = w_0 + w_1x_1 + w_2x_2 +... + w_nx_n\)，其中 \(y\) 是预测值，\(x_i\) 是自变量，\(w_i\) 是权重，\(w_0\) 是截距。
+- **应用实例**：
+    - 预测房价：根据房屋的面积、房间数量、房龄等特征预测房屋的价格。
+
+```python
+import numpy as np
+from sklearn.linear_model import LinearRegression
+
+# 输入特征（面积，房间数量）
+X = np.array([[1400, 3], [1600, 3], [1700, 2], [1875, 4], [1100, 2]])
+# 房价
+y = np.array([245000, 312000, 279000, 308000, 199000])
+
+# 创建线性回归模型
+model = LinearRegression()
+# 训练模型
+model.fit(X, y)
+
+# 预测
+new_house = np.array([[1500, 3]])
+predicted_price = model.predict(new_house)
+print(predicted_price)
+```
+
+### （二）逻辑回归（Logistic Regression）
+- **算法介绍**：
+    - 逻辑回归用于二分类问题，它将线性回归的结果通过逻辑函数（如 Sigmoid 函数）映射到 [0, 1] 区间，将线性结果转换为概率。适用于预测概率并进行分类。
+    - Sigmoid 函数：\(P(Y=1) = 1 / (1 + exp(-z))\)，其中 \(z = w_0 + w_1x_1 + w_2x_2 +... + w_nx_n\)。
+- **应用实例**：
+    - 疾病诊断：根据病人的症状、体征、检查结果等特征预测是否患有某种疾病。
+
+```python
+from sklearn.linear_model import LogisticRegression
+from sklearn.datasets import load_breast_cancer
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# 加载乳腺癌数据集
+data = load_breast_cancer()
+X = data.data
+y = data.target
+
+# 分割数据集
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+
+# 创建逻辑回归模型
+model = LogisticRegression()
+# 训练模型
+model.fit(X_train, y_train)
+
+# 预测
+y_pred = model.predict(X_test)
+print(accuracy_score(y_test, y_pred))
+```
+
+### （三）决策树（Decision Tree）
+- **算法介绍**：
+    - 决策树是一种基于树结构的分类和回归方法，通过对特征空间进行划分，将数据分成不同的类别或预测值。它根据不同特征的条件将数据集逐步划分，直到达到某个停止条件，如节点的纯度达到一定标准或达到最大深度。
+    - 常见的划分标准有信息增益（ID3）、信息增益比（C4.5）和基尼指数（CART）。
+- **应用实例**：
+    - 贷款违约预测：根据申请人的收入、债务、信用评分等特征预测是否会违约。
+
+```python
+from sklearn.tree import DecisionTreeClassifier
+from sklearn.datasets import load_iris
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# 加载鸢尾花数据集
+data = load_iris()
+X = data.data
+y = data.target
+
+# 分割数据集
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+
+# 创建决策树分类器
+model = DecisionTreeClassifier()
+# 训练模型
+model.fit(X_train, y_train)
+
+# 预测
+y_pred = model.predict(X_test)
+print(accuracy_score(y_test, y_pred))
+```
+
+### （四）支持向量机（Support Vector Machine，SVM）
+- **算法介绍**：
+    - SVM 是一种强大的分类算法，通过找到一个最优超平面，将不同类别的数据点分隔开。对于线性可分的数据，它寻找使两类数据的间隔最大的超平面；对于非线性可分的数据，可以使用核函数将数据映射到高维空间使其线性可分。
+    - 常用的核函数有线性核、多项式核、径向基核（RBF）等。
+- **应用实例**：
+    - 图像分类：将图像根据不同类别（如人脸、车辆、动物等）进行分类。
+
+```python
+from sklearn.svm import SVC
+from sklearn.datasets import make_classification
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# 生成一个简单的分类数据集
+X, y = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, random_state=42)
+
+# 分割数据集
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+
+# 创建 SVM 分类器
+model = SVC(kernel='rbf')
+# 训练模型
+model.fit(X_train, y_train)
+
+# 预测
+y_pred = model.predict(X_test)
+print(accuracy_score(y_test, y_pred))
+```
+
+### （五）K 近邻（K-Nearest Neighbors，KNN）
+- **算法介绍**：
+    - KNN 是一种基于实例的学习算法，对于一个新的数据点，根据其最近的 \(K\) 个邻居的类别进行分类或预测。对于分类问题，通常采用多数表决的方式；对于回归问题，采用平均值法。
+    - 关键在于选择合适的 \(K\) 值和距离度量（如欧氏距离、曼哈顿距离等）。
+- **应用实例**：
+    - 手写数字识别：根据手写数字的像素特征将其分类为 0-9 中的一个数字。
+
+```python
+from sklearn.neighbors import KNeighborsClassifier
+from sklearn.datasets import load_digits
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# 加载手写数字数据集
+data = load_digits()
+X = data.data
+y = data.target
+
+# 分割数据集
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+
+# 创建 KNN 分类器
+model = KNeighborsClassifier(n_neighbors=3)
+# 训练模型
+model.fit(X_train, y_train)
+
+# 预测
+y_pred = model.predict(X_test)
+print(accuracy_score(y_test, y_pred))
+```
+
+
+## 二、无监督学习算法
+
+### （一）K 均值聚类（K-Means Clustering）
+- **算法介绍**：
+    - K 均值聚类将数据分成 \(K\) 个簇，使得簇内数据点的平方和最小。算法通过迭代的方式更新簇中心，直到簇中心不再变化或达到最大迭代次数。
+    - 步骤包括初始化 \(K\) 个簇中心，将数据点分配到最近的簇中心，更新簇中心。
+- **应用实例**：
+    - 客户细分：根据客户的消费习惯、年龄、收入等特征将客户分成不同的群体。
+
+```python
+from sklearn.cluster import KMeans
+from sklearn.datasets import make_blobs
+import matplotlib.pyplot as plt
+
+# 生成模拟数据
+X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)
+
+# 创建 K 均值聚类模型
+kmeans = KMeans(n_clusters=4)
+# 训练模型
+kmeans.fit(X)
+
+# 预测簇标签
+y_pred = kmeans.predict(X)
+
+# 可视化结果
+plt.scatter(X[:, 0], X[:, 1], c=y_pred)
+plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s=200, c='red')
+plt.show()
+```
+
+### （二）层次聚类（Hierarchical Clustering）
+- **算法介绍**：
+    - 层次聚类将数据逐步合并或分裂成不同的簇，形成一个层次结构。可以是凝聚式（自底向上）或分裂式（自顶向下）。通过计算不同簇之间的相似度，决定合并或分裂的操作。
+    - 相似度的计算方法有单连接、全连接、平均连接等。
+- **应用实例**：
+    - 文档聚类：将相似的文档归为一类，可根据文档的特征向量（如词频）进行聚类。
+
+```python
+from scipy.cluster.hierarchy import dendrogram, linkage
+from sklearn.datasets import make_blobs
+import matplotlib.pyplot as plt
+
+# 生成模拟数据
+X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)
+
+# 计算链接矩阵
+linked = linkage(X, 'ward')
+
+# 绘制树状图
+dendrogram(linked)
+plt.show()
+```
+
+### （三）主成分分析（Principal Component Analysis，PCA）
+- **算法介绍**：
+    - PCA 是一种降维技术，通过线性变换将高维数据投影到低维空间，同时保留数据的最大方差。它找到数据的主要成分，这些主成分是原始数据的线性组合，并且相互正交。
+    - 常用于数据可视化和特征提取，减少数据的维度，同时保留主要信息。
+- **应用实例**：
+    - 高维数据可视化：将高维的数据集（如鸢尾花数据集）投影到二维或三维空间进行可视化。
+
+```python
+from sklearn.decomposition import PCA
+from sklearn.datasets import load_iris
+import matplotlib.pyplot as plt
+
+# 加载鸢尾花数据集
+data = load_iris()
+X = data.data
+y = data.target
+
+# 创建 PCA 模型，将数据降维到 2 维
+pca = PCA(n_components=2)
+X_pca = pca.fit_transform(X)
+
+# 可视化结果
+plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y)
+plt.xlabel('Principal Component 1')
+plt.ylabel('Principal Component 2')
+plt.show()
+```
+
+
+## 三、深度学习算法
+
+### （一）多层感知机（Multilayer Perceptron，MLP）
+- **算法介绍**：
+    - MLP 是一种前馈神经网络，由多个神经元层组成，包括输入层、一个或多个隐藏层和输出层。每个神经元对输入进行加权求和并通过激活函数进行非线性变换。
+    - 激活函数可以是 Sigmoid、ReLU、Tanh 等，通过反向传播算法进行训练。
+- **应用实例**：
+    - 图像分类：使用多层感知机对图像进行分类，例如在 MNIST 手写数字数据集上进行分类。
+
+```python
+from sklearn.neural_network import MLPClassifier
+from sklearn.datasets import load_digits
+from sklearn.model_selection import train_test_split
+from sklearn.metrics import accuracy_score
+
+# 加载手写数字数据集
+data = load_digits()
+X = data.data
+y = data.target
+
+# 分割数据集
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+
+# 创建 MLP 分类器
+model = MLPClassifier(hidden_layer_sizes=(100, 50), max_iter=300)
+# 训练模型
+model.fit(X_train, y_train)
+
+# 预测
+y_pred = model.predict(X_test)
+print(accuracy_score(y_test, y_pred))
+```
+
+### （二）卷积神经网络（Convolutional Neural Network，CNN）
+- **算法介绍**：
+    - CNN 是一种专门用于处理具有网格结构数据（如图像）的神经网络，通过卷积层、池化层和全连接层组成。卷积层通过卷积核提取局部特征，池化层降低数据维度，全连接层进行分类或回归。
+    - 广泛应用于图像识别、计算机视觉领域。
+- **应用实例**：
+    - 人脸识别：从图像中识别出人脸并进行身份识别。
+
+```python
+import torch
+import torch.nn as nn
+import torch.optim as optim
+from torchvision import datasets, transforms
+from torch.utils.data import DataLoader
+
+# 定义简单的 CNN 模型
+class SimpleCNN(nn.Module):
+    def __init__(self):
+        super(SimpleCNN, self).__init__()
+        self.conv1 = nn.Conv2d(1, 32, 3, 1)
+        self.conv2 = nn.Conv2d(32, 64, 3, 1)
+        self.fc1 = nn.Linear(64 * 5 * 5, 128)
+        self.fc2 = nn.Linear(128, 10)
+
+    def forward(self, x):
+        x = torch.relu(self.conv1(x))
+        x = torch.max_pool2d(x, 2)
+        x = torch.relu(self.conv2(x))
+        x = torch.max_pool2d(x, 2)
+        x = torch.flatten(x, 1)
+        x = torch.relu(self.fc1(x))
+        x = self.fc2(x)
+        return x
+
+# 加载 MNIST 数据集
+transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])
+train_dataset = datasets.MNIST('../data', train=True, download=True, transform=transform)
+test_dataset = datasets.MNIST('../data', train=False, transform=transform)
+train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
+test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)
+
+# 创建模型、损失函数和优化器
+model = SimpleCNN()
+criterion = nn.CrossEntropyLoss()
+optimizer = optim.SGD(model.parameters(), lr=0.01)
+
+# 训练模型
+for epoch in range(10):
+    for batch_idx, (data, target) in enumerate(train_loader):
+        optimizer.zero_grad()
+        output = model(data)
+        loss = criterion(output, target)
+        loss.backward()
+        optimizer.step()
+
+# 测试模型
+correct = 0
+total = 0
+with torch.no_grad():
+    for data, target in test_loader:
+        output = model(data)
+        _, predicted = torch.max(output.data, 1)
+        total += target.size(0)
+        correct += (predicted == target).sum().item()
+print('Accuracy: {:.2f}%'.format(100 * correct / total))
+```
+
+### （三）循环神经网络（Recurrent Neural Network，RNN）
+- **算法介绍**：
+    - RNN 是一种专门处理序列数据的神经网络，具有内部的循环结构，允许信息在序列中传递。适用于处理时间序列、自然语言等序列数据。
+    - 变种包括 LSTM（长短期记忆网络）和 GRU（门控循环单元），可以解决传统 RNN 的梯度消失和梯度爆炸问题。
+- **应用实例**：
+    - 文本生成：根据输入的文本序列生成后续的文本内容。
+
+```python
+import torch
+import torch.nn as nn
+import torch.optim as optim
+
+# 定义简单的 RNN 模型
+class SimpleRNN(nn.Module):
+    def __init__(self, input_size, hidden_size, output_size):
+        super(SimpleRNN, self).__init__()
+        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
+        self.fc = nn.Linear(hidden_size, output_size)
+
+    def forward(self, x):
+        out, _ = self.rnn(x)
+        out = self.fc(out[:, -1, :])
+        return out
+
+# 输入和输出维度
+input_size = 10
+hidden_size = 20
+output_size = 1
+
+# 创建模型、损失函数和优化器
+model = SimpleRNN(input_size, hidden_size, output_size)
+criterion = nn.MSELoss()
+optimizer = optim.Adam(model.parameters(), lr=0.01)
+
+# 输入数据
+x = torch.randn(1, 5, input_size)  # 批次大小为 1，序列长度为 5，输入维度为 10
+y = torch.randn(1, output_size)  # 批次大小为 1，输出维度为 1
+
+# 训练模型
+for epoch in range(100):
+    optimizer.zero_grad()
+    output = model(x)
+    loss = criterion(output, y)
+    loss.backward()
+    optimizer.step()
+```
+
+
+以上是机器学习中常见算法的介绍和简单的 Python 实例，不同的算法适用于不同的任务和数据集，在实际应用中需要根据具体情况选择合适的算法，并通过调参和优化来提高性能。