|
對于生成的dDataFrame，下一步進行的是對他的基本操作，增、減、改、查。
一. 數(shù)據(jù)選取
從已有的DataFrame中取出其中一列或幾列，并對其進行操作。
Pandas取出DataFrame的列有兩種方式，兩個方式?jīng)]有好與壞之分，還是看個人喜歡用哪個
- #-*- coding:utf-8 -*-
- import pandas as pd
-
- df = pd.DataFrame({'goods':['coke cola', 'eggplant','condom'], 'quantity':[12,3,1], 'price':[20,12,80]})
- df['goods'] #選擇df的goods這一列
-
- df.goods #同上，是選擇列的第二種方法
- df['goods','quantity'] #會報錯，不要妄想通過這種方式獲取多列。
二. 數(shù)據(jù)篩選
往往選取出幾個DataFrame的列并不能滿足篩選，DataFrame的篩選的形式比較特殊，對列進行篩選時用到的是之前所講的第二種選取列的形式，有點像是把列名視為一個DataFrame的屬性。
- #-*- coding:utf-8 -*-
- import pandas as pd
-
- df = pd.DataFrame({'goods':['coke cola', 'eggplant','condom'], 'quantity':[12,3,1], 'price':[20,12,80]})
- print df[df.goods =='eggplant'] # goods price quantity
- # 1 eggplant 12 3
- df[(df.goods =='eggplant') & (df.quantity == 12)]
在篩選數(shù)據(jù)時候也可以使用loc和iloc函數(shù)實現(xiàn)子集的選取，意思并不是說上方的篩選語句不對，親測同樣很好用，而且代碼簡單了點。loc和iloc進行數(shù)據(jù)篩選的格式如下：
- df = df.loc[df.goods=='eggplant', :]
- df = df.loc[(df.goods =='eggplant') & (df.quantity == 12), :]
條件篩選的另一種形式，就是選取一個DataFrame中滿足條件的行的某幾列（并不是全部列）。此時只需將上面的代碼做一小點改變即可。
- df = df.loc[(df.goods =='eggplant') & (df.quantity == 12), ['goods', 'price']]
三. 數(shù)據(jù)的修改
數(shù)據(jù)的修改往往有這幾種形式 ① 針對某個值或者某個范圍的值的修改。 ② 增加列、刪除列 ③ 增加行、刪除行 ④修改索引 ⑤修改列名
數(shù)據(jù)值的修改常見于分類的問題中，比如將一個列作為分類的列，有時候往往該列的值不是想要的數(shù)字表示的不同分類，或者更復雜是一個連續(xù)變量，此時針對DataFrame的修改就格外重要。
添加列
- df['price'][df.price > 15] = 'expensive'
增加列的方法很簡單，而且很常用，比如想要在之前的df中添加一個叫‘remain’的列，記錄是否有貨，可以直接使用下面的代碼：
這樣就在之前的df后面又加了一列‘remain’，但是這一整列的值為‘yes’。如果不想在末尾加列，而是想在某列之間添加一列，那么就需要使用insert方法。
- df.insert(int=0, column = 'remain', value='yes')
刪除列
列的刪除使用Pandas模塊中的drop()方法最為高效。假如要刪除剛才添加的remain列。
- df.drop(labels='remain', axis=1, inplace=True)
如果想刪除df中多個列，drop()方法也是可以的。
- df.drop(labels=['remain', 'quantity'], axis=1, inplace=True)
添加行
Pandas的添加行方式有很多種不過最為直觀的方式是這樣的
- df.loc[3]={'goods':'shampoo','quantity':13, 'price':50}
- df = df.append({'goods':'shampoo','quantity':13, 'price':50}, ignore_index=True)
刪除行
- df.drop(labels = 1, axis=0,inplace = True)
- df.drop(labels = [1, 4, 6], axis=0,inplace = True)
修改索引
修改索引有兩種情況，改變索引和不改變索引。
① 不改變索引，可以看做是將原始數(shù)據(jù)按照索引順序排序
- df.sort_index(axis=1,ascending=False)
② 改變索引
set_index()方法
- df.set_index(keys='goods',inplace=True)
- df.reindex(new_index,axis=0)
new_index可以是Python列表，元素是現(xiàn)在已有的索引的一部分值，這個方法常常用于保留想留下的行。
修改列名
修改列名需要用到的是rename()方法。
- dynamic_RNApol.rename(columns={'d0': 'rnapol_d0', 'd1': 'rnapol_d1', 'd3': 'rnapol_d3', 'd5': 'rnapol_d5', 'd7': 'rnapol_d7','d11': 'rnapol_d11', 'd15': 'rnapol_d15', 'd18': 'rnapol_d18', 'ipsc': 'rnapol_ipsc'}, inplace=True)
數(shù)據(jù)類型轉化 dataframe中的astype()方法是對數(shù)據(jù)類型進行轉換的函數(shù)。以一個例子進行說明 - df = pd.DataFrame({'id': range(4), 'age': ['13', '34', '23'], 'weight': ['45.7', '60.9', '55.5']})
- df.dtypes
- df.astype({'age':'int', 'weight':'float'})
- valid['distance'] = valid['distance'].astype('int')
通過字典的形式傳入，將兩列轉換成了想要的數(shù)據(jù)類型。
數(shù)據(jù)排序
dataframe中索引排序用到的是sort_index方法，相似的列數(shù)值排序運用的是sort_values()方法。
- df.sort_values( by=['age'], ascending=False, inplace=True) #只通過age進行排序；升序；如有缺失值放在最后。
- df.sort_values(by=['age', 'weight'], ascending=True, inplace=True, na_position='first') #先通過age排序，在其基礎上通過weight排序；降序，缺失值放在最前方。
數(shù)據(jù)去重
在dataframe中去除重復，使用drop_duplicates()方法。而只是檢查dataframe中是否出現(xiàn)重復有的是duplicated方法，如果只是想檢查某列中是否存在重復的值可以通過subset參數(shù)將列傳入到duplicated()方法中。
- df.duplicated() #檢查整個dataframe中是否出現(xiàn)重復
- df.duplicated(subset='age') #檢查age這列是否出現(xiàn)重復數(shù)據(jù)
- df.drop_duplicates() #刪除dataframe中的重復
四. dataframe基本操作
數(shù)據(jù)抽樣
dataframe的抽樣直接使用sample()方法進行，抽樣在涉及到統(tǒng)計學算法的時候很有用，所以先了解一下這個方法的參數(shù)。
- df.sample(n=5, replace=False)
- df.sample(frac=0.2, replace=True)
頻率統(tǒng)計
dataframe中，統(tǒng)計某列不同的值出現(xiàn)的次數(shù)使用value_counts()方法。
- df = pd.DataFrame({'id': range(4), 'name': ['Jack', 'Craig', 'Chuck', 'Jack'],'gender': ['M', 'M', 'M', 'F'] , 'age': ['13', '34', '23','4'], 'weight': ['45', '60', '55', '30']})
上面的代碼反悔的結果是在這個dataframe中，不同的名字出現(xiàn)的次數(shù)。
value_counts()方法的一個妙用是用于求占比，假如現(xiàn)在要求的是性別的占比。
- df.gender.value_counts()/ sum(df.gender.value_counts)
- pd.crosstab(index=df.name, columns=df.gender)
缺失值處理
① 缺失值的檢查
檢查缺失值所用的函數(shù)是isnull(),這看起來和MySQL中的差不多。
- print any(df.isnull(), '\n')
- is_null = []
- for col in df.columns:
- is_null.append(any(pd.isnull(df.col)))
這是檢查dataframe每行是否有缺失值。
- is_null = []
- for index in list(df.index):
- is_null.append(any(pd.isnull(df.loc[index, :])))
同理。is_null方法也可以對每列進行缺失值檢查。is_null方法返回的是一個布爾值，True表示有缺失值，F(xiàn)alse表示沒有缺失值。
② 缺失值的刪除
這是一種比較極端的方法，通過dropna()方法，這個方法的使用有兩種形式。
這種方式是將有缺失值的行全部刪除。如果在缺失值較多的情況下，數(shù)據(jù)的量會大打折扣。
這個是第二種形式，‘a(chǎn)ll’指明了刪除的行是所有值都為缺失值的情況，因為數(shù)據(jù)中缺失一些數(shù)據(jù)是很常見的，只刪除全部字段都為空的變量才能真正的保留更多的數(shù)據(jù)。
③ 缺失值的填補
使用fillna(）方法可以對dataframe進行缺失值的填補。
- df.fillna(0, inplace=True) #最簡單的一種方式，缺失值統(tǒng)一以一個值進行填補
- df.fillna(value={'id': 0, 'name': 'No', 'gender': 'unknown', 'age':'unknown', 'weight': 0}, inplace=True) #針對不同的列設置不同的缺失填補值
- df.fillna(method='ffill', inplace=True) #用上一行的值對自身進行填補
- df.fillna(method='bfill', inplace=True) #用后一行的值對自身進行填補
- df.fillna({'age': df.age.mean(), 'weight': df.weight.max()}, inplace=True) #用不同列的極值，均值，中位數(shù)等進行缺失值填補。
數(shù)據(jù)映射
看見映射，想到的首先是Python中的map()函數(shù)，相比于一般的for循環(huán)，map函數(shù)具有極高的效率。在日常的Python編程中，map()方法所傳入的是一個函數(shù)和一個序列，這個函數(shù)會相繼作用于序列中的每一個元素。得到的是一個新的序列。dataframe也是一個特殊的可遍歷序列，但是dataframe的映射所用的是apply()方法。
- is_null = []
- for index in list(df.index):
- is_null.append(any(pd.isnull(df.loc[index])))
- isnull = lambda x : any(pd.isnull(df.loc[x,:]))
- is_null = df.apply(func=isnull, axis=1)
numpy的某些方法也能通過apply()形式作用于dataframe上，比如說現(xiàn)在有一個dataframe里面記錄的是學生的各科成績（第一列到第五列），現(xiàn)在要計算每個學生的均分，和每個科目的中位數(shù)。
- df['average'] = df.iloc[:, 0:5].apply(func=np.mean, axis=1)
- df.iloc[:, 0:5].apply(func=np.median, axis=0)
|
