Python 數據清洗

數據清洗的目的在於提升數據質量
Pandas 中常見的數據清洗 對空值和缺失值的處理 重復值的處理 異常值的處理

空值和缺失值

• 空值一般表示數據未知 不適用或在以後添加數據
• 缺少值是數據集中某個或某些屬性的值不完整的

在 Pandas 提供了一些用於檢查或處理空值和缺失值的函數 ，
其中
isnull（ ) 和 notnull ( ) 函數就可以判斷是否存在空值和缺失值。
對於缺失的數據 可以使用 dropna( ) 和 fillna( ) 方法進行刪除和填充

from pandas import DataFrame ,Series
import pandas as pd
from numpy import NAN
series_obj = Series([1,None,NAN])
pd.isnull(series_obj) #檢查 是否為空值或缺失值

這個代碼的意思是 ，創建了一個Series 對象，對象中包含了 1 . None NAN 三個值
然後調用isnull（）函數檢查
第一個是正常的 ，後面兩個缺失了

notnull( )函數

顧名思義 同理

dropna（）方法

dropna 刪除含有空值或缺失值行列

有關於 他的語法

他有四個參數
前兩個參數 是看是否刪除行列
後兩個參數 看過濾的標准