sklearn自帶的數據集以及生成數據

1、自帶的數據集

sklearn自動了下面幾種數據用於算法練習。

load_boston([return_X_y]) 加載波士頓房價數據；用於回歸問題

load_iris([return_X_y]) 加載iris 數據集；用於分類問題

load_diabetes([return_X_y]) 加載糖尿病數據集；用於回歸問題

load_digits([n_class, return_X_y]) 加載手寫字符集；用於分類問題

load_linnerud([return_X_y]) 加載linnerud 數據集；用於多元回歸問題

波士頓房價數據，回歸使用。樣本數據集的特征默認是一個(506, 13)大小的矩陣，樣本值是一個包含506個數值的向量。

# 房價數據
from sklearn.datasets import load_boston
from sklearn import linear_model
boston = load_boston()
data=boston.data
target = boston.target
print(data.shape)
print(target.shape)

print('系數矩陣:\n',linear_model.LinearRegression().fit(data,target).coef_)

iris花卉數據，分類使用。樣本數據集的特征默認是一個(150, 4)大小的矩陣，樣本值是一個包含150個類標號的向量，包含三種分類標號。

# 花卉數據
from sklearn.datasets import load_iris
from sklearn import svm
iris = load_iris()
data=iris.data
target = iris.target
print(data.shape)
print(target.shape)

print('svm模型:\n',svm.SVC().fit(data,target))

糖尿病數據集，回歸使用。樣本數據集的特征默認是一個(442, 10)大小的矩陣，樣本值是一個包含442個數值的向量。

# 糖尿病數據集
from sklearn.datasets import load_diabetes
from sklearn import linear_model
diabetes = load_diabetes()
data=diabetes.data
target = diabetes.target
print(data.shape)
print(target.shape)

print('系數矩陣:\n',linear_model.LinearRegression().fit(data,target).coef_)

手寫體數據，分類使用。每個手寫體數據使用8*8的矩陣存放。樣本數據為(1797, 64)大小的數據集。

# # ===========手寫體數據===========
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt # 畫圖工具
digits = load_digits()
data=digits.data
print(data.shape)
plt.matshow(digits.images[3])  # 矩陣像素點的樣式顯示3
# plt.imshow(digits.images[3])  # 圖片漸變的樣式顯示3
# plt.gray()   # 圖片顯示為灰度模式
plt.show()

linnerud數據集，多元回歸使用。樣本數據集的特征默認是一個(20, 3)大小的矩陣，樣本值也是(20, 3)大小的矩陣。也就是3種特征，有3個輸出結果，所以系數矩陣w為(3, 3)

#  # ===========多元回歸===========
from sklearn.datasets import load_linnerud
from sklearn import linear_model
linnerud = load_linnerud()
data=linnerud.data
target = linnerud.target
print(data.shape)
print(target.shape)

print('系數矩陣:\n',linear_model.LinearRegression().fit(data,target).coef_)

2、加載圖像

# 圖像樣本數據集
from sklearn.datasets import load_sample_image
import matplotlib.pyplot as plt # 畫圖工具
img=load_sample_image('flower.jpg')   # 加載sk自帶的花朵圖案
plt.imshow(img)
plt.show()

3、生成自定義分類數據集

sklearn.datasets.make_classification(n_samples=100, n_features=20, n_informative=2, n_redundant=2,  
                    n_repeated=0, n_classes=2, n_clusters_per_class=2, weights=None,  
                    flip_y=0.01, class_sep=1.0, hypercube=True,shift=0.0, scale=1.0,   
                    shuffle=True, random_state=None) 

通常用於分類算法。 

n_features :特征個數= n_informative + n_redundant + n_repeated 

n_informative：多信息特征的個數 

n_redundant：冗余信息，informative特征的隨機線性組合 

n_repeated ：重復信息，隨機提取n_informative和n_redundant 特征 

n_classes：分類類別 

n_clusters_per_class ：某一個類別是由幾個cluster構成的

# # ===========生成分類樣本數據集===========
from sklearn import datasets
import matplotlib.pyplot as plt # 畫圖工具
data,target=datasets.make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0,n_repeated=0, n_classes=2, n_clusters_per_class=1)
print(data.shape)
print(target.shape)
plt.scatter(data[:,0],data[:,1],c=target)
plt.show()

這里生成的數據集圖如下，由於每次生成的數據都不一樣，所以讀者看到的圖片和這里也不一樣的

4、生成其它分類樣本的函數

make_blobs函數會根據用戶指定的特征數量、中心點數量、范圍等來生成幾類數據，這些數據可用於測試聚類算法的效果。

sklearn.datasets.make_blobs(n_samples=100, n_features=2, centers=3, cluster_std=1.0, center_box=(-10.0, 10.0), shuffle=True, random_state=None)

其中： 

n_samples是待生成的樣本的總數。 

n_features是每個樣本的特征數。 

centers表示類別數。 

cluster_std表示每個類別的方差，例如我們希望生成2類數據，其中一類比另一類具有更大的方差，可以將cluster_std設置為[1.0,3.0]。

make_gaussian_quantiles函數利用高斯分位點區分不同數據

sklearn.datasets.make_hastie_10_2(n_samples=12000, random_state=None)

make_hastie_10_2函數利用Hastie算法，生成2分類數據

下面我們通過代碼的比較一下這些樣本數據的生成。

import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.datasets import make_blobs
from sklearn.datasets import make_gaussian_quantiles
from sklearn.datasets import make_hastie_10_2

plt.figure(figsize=(10, 10))
plt.subplots_adjust(bottom=.05, top=.9, left=.05, right=.95)

plt.subplot(421)
plt.title("One informative feature, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=1,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)

plt.subplot(422)
plt.title("Two informative features, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)

plt.subplot(423)
plt.title("Two informative features, two clusters per class", fontsize='small')
X2, Y2 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2)
plt.scatter(X2[:, 0], X2[:, 1], marker='o', c=Y2)

plt.subplot(424)
plt.title("Multi-class, two informative features, one cluster",fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1, n_classes=3)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)

plt.subplot(425)
plt.title("Three blobs", fontsize='small')
# 1000個樣本，2個屬性，3種類別，方差分別為1.0,3.0,2.0
X1, Y1 = make_blobs(n_samples=1000, n_features=2, centers=3,cluster_std=[1.0,3.0,2.0])
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)

plt.subplot(426)
plt.title("Gaussian divided into four quantiles", fontsize='small')
X1, Y1 = make_gaussian_quantiles(n_samples=1000, n_features=2, n_classes=4)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)

plt.subplot(427)
plt.title("hastie data ", fontsize='small')
X1, Y1 = make_hastie_10_2(n_samples=1000)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.show()

5、自定義生成圓形和月型數據

生成圓形數據

klearn.datasets.make_circles(n_samples=100, shuffle=True, noise=None, random_state=None, factor=0.8) 

factor ：外圈與內圈的尺度因子<1

生成半環形數據

sklearn.datasets.make_moons(n_samples=100, shuffle=True, noise=None, random_state=None) 

from sklearn.datasets import make_circles
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt

fig = plt.figure(1)
x1, y1 = make_circles(n_samples=1000, factor=0.5, noise=0.1)
plt.subplot(121)
plt.title('make_circles function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)

plt.subplot(122)
x1, y1 = make_moons(n_samples=1000, noise=0.1)
plt.title('make_moons function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)
plt.show()

 

參考：https://blog.csdn.net/luanpeng825485697/article/details/79808669