pandas实现数据合并的示例代码_python_

#pandas 的 concat函数表达式如下 pd.concat( [df1, df2, df3], #指定需合并的两个或多个Dataframe，各个df的shape可以不同 axis = 0, #指定合并时，合并的轴方向，默认为0，即行合并，多个df会在纵向进行拼接合并 join = 'outer', #指定在合并轴方向的另外一个轴方向，标签如何合并，outer指取并集，inner指取交集 ignore_index = False, #指定是否保留原各个df在合并轴方向上的原有标签，默认False，即保留 keys = ['a','b','c'], #为合并后的数据，在合并轴方向上指定新的index，便于区分各个合并数据源 names = ['groupA','groupB'], #为 verify_integrity = False， #指定是否允许在指定的合并轴方向上，允许存在重复的标签，默认值为False，即允许，当指定为True时，如果有重复，在合并的时候会报错 ) 

#一般情况下，基本是在行方向将多个DataFrame进行连接合并，组成一个新的DataFrame，便于统一进行处理 #常见的应用场景，比如多个DataFrame可能有部分相同的列，希望连在一起，分析其规律 #df1数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1 , df2], axis=0) #运算结果如下 A B C 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 0 0.380397 -1.088665 NaN 1 -1.623468 0.610855 NaN pd.concat([df1 , df2], axis=1) #运算结果如下 A B C A B 0 -0.663727 1.883112 -0.409361 0.380397 -1.088665 1 0.874930 -0.120000 0.015474 -1.623468 0.610855 

#一般直接使用join的默认值，即outer，取并集，此时不会丢弃多个DataFrame的任何列信息 #当然，如果想合并时，最后只留下多个DataFrame相同的列或行标签，则使用inner取交集 #df1数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1 , df2], join = 'outer') #运算结果如下 A B C 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 0 0.380397 -1.088665 NaN 1 -1.623468 0.610855 NaN pd.concat([df1 , df2], join = 'inner') #运算结果如下 A B 0 -0.663727 1.883112 1 0.874930 -0.120000 0 0.380397 -1.088665 1 -1.623468 0.610855 

#该参数在希望对行进行遍历处理时，会比较有用，因为可以设置忽略合并轴方向之前的index或标签，重新进行生成，就像是一个全新的DataFrame一样 #df2数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1,df2],ignore_index=True) #运算结果如下 A B C 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 2 0.380397 -1.088665 NaN 3 -1.623468 0.610855 NaN pd.concat([df1,df2],ignore_index=False) #运算结果如下 A B C 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 0 0.380397 -1.088665 NaN 1 -1.623468 0.610855 NaN 

#该参数类似分组的效果，即沿着合并轴方向，按照合并的数据源，进行分组，便于区分合并数据来源 #df1数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1,df2],keys=['a','b']) #运算结果如下 A B C a 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 b 0 0.380397 -1.088665 NaN 1 -1.623468 0.610855 NaN 

#该参数一般与keys一起使用，比如df1和df2是两个季度前两个月的数据，然后使用concat，将两个季度的合并成一个DataFrame，并且用keys指定每个季度的名称，再用names指定对应的含义 #df1数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1,df2],keys=['第一季度','第二季度'],names = ['季度', '月份']) #运行结果如下 A B C 季度 月份 第一季度 0 -0.663727 1.883112 -0.409361 1 0.874930 -0.120000 0.015474 第二季度 0 0.380397 -1.088665 NaN 1 -1.623468 0.610855 NaN 

#该参数只有在需要合并的数据，严格使用index或者列标签来区分数据的唯一性时，设置为True，才有意义 #否则，一般不设置就行，即默认False，此时合并时不会严格要求合并时index或列标签必须不同 #df1数据源如下： A B C 0 0.214326 0.818321 -0.055211 1 -0.941666 2.396083 2.173411 #df2数据源如下： A B 0 0.397919 -0.350948 1 0.147547 -0.172974 pd.concat([df1,df2],verify_integrity=True,axis=1) #报错，因df1和df2均有A、B列标签 pd.concat([df1,df2],verify_integrity=True,axis=0) #报错，因为df1和df2均有0、1的index 

#merge函数基本表达式如下 pd.merge( df1,df2, #指定需要连接的两个DataFrame on='A', #指定连接时，以哪个列标签为准，进行连接，一般指定的列标签需要在两个df中均存在 how='outer', #指定数据如何连接，有outer、inner、right、left四种取值 left_on='A', #如果连接的两个df没有相同的列标签，可以分别指定不同的标签，用指定的两个标签来进行连接，此时需要left_on和right_on 均进行指定 right_on='B', left_index=True, #可设置以行index的值连接两个DataFrame，一般比较少用 right_index=True, suffixes=('_df1','_df2') #设置如果两个DataFrame有除了指定的on列，还有其他相同列标签时，为进行区分，在各自列后面添加后缀，默认是=('_x','_y') ) 

#left_on及right_on用法 #一般用在可能希望作为连接key的列标签一样时 #df1数据源为 姓名 年龄 0 张三 28 1 李四 31 #df2数据源为 姓名 性别 职业 0 张三 男 IT 1 李四 女 运营 pd.merge(df1 ,df2, on='姓名') #运算结果如下 姓名 年龄 性别 职业 0 张三 28 男 IT 1 李四 31 女 运营 #以上等同于pd.merge(df1,df2)，或者df1.merge(df2) #left_on及right_on用法 #一般用在可能希望作为连接key的列标签不一样时，使用 #df1数据源为 姓名 性别 职业 0 张三 男 IT 1 李四 女 运营 #df2数据源为 员工姓名 婚姻状况 学历 0 张三 未婚 本科 1 李四 已婚 研究生 pd.merge(df1, df2, left_on='姓名', right_on='员工姓名') #运算结果如下 姓名 性别 职业 员工姓名 婚姻状况 学历 0 张三 男 IT 张三 未婚 本科 1 李四 女 运营 李四 已 婚 研究生 

#how参数决定了将如何用on指定的key对两个DataFrame进行连接，主要是比对on指定的两个df的列标签， #如果取并集，则是outer，即连接后的Df会包含两个df所有的key值；如果取交集，则是inner，即连接后的df只会包含两个df均有的key值 #如果需要保证左边df的key值必须有，右边的不一定，则是left；如果需要保证右边df的key值必须有，左边的不一定，则是right #df1数据源如下 姓名 性别 职业 0 张三 男 IT 1 李四 女 运营 #df2数据源如下 姓名 婚姻状况 学历 0 张三 未婚 本科 1 李四 已婚 研究生 2 王五 未婚 博士 3 麻子 已婚 研究生 pd.merge(df1 , df2, how='outer') #运算结果如下 姓名 性别 职业 婚姻状况 学历 0 张三 男 IT 未婚 本科 1 李四 女 运营 已婚 研究生 2 王五 NaN NaN 未婚 博士 3 麻子 NaN NaN 已婚 研究生 pd.merge(df1, df2, how='inner') #运算结果如下 姓名 性别 职业 婚姻状况 学历 0 张三 男 IT 未婚 本科 1 李四 女 运营 已婚 研究生 pd.merge(df1, df2, how='left') #运算结果如下 姓名 性别 职业 婚姻状况 学历 0 张三 男 IT 未婚 本科 1 李四 女 运营 已婚 研究生 pd.merge(df1, df2, how='right') #运算结果如下 姓名 性别 职业 婚姻状况 学历 0 张三 男 IT 未婚 本科 1 李四 女 运营 已婚 研究生 2 王五 NaN NaN 未婚 博士 3 麻子 NaN NaN 已婚 研究生 

#merge一般用于key为列标签时，对两个df进行链接，类似SQL中的连表操作，不过如果需要，也可以使用行的index作为key进行连表 #left_index、right_index，类似于left_on和right_on，这四个可以left和right两两结合，比如df1的index其实就是df2的列的key，此时便可以使用left_index=True，right_on='B'，或者直接对两个df用index进行连表 #df1数据源如下 姓名 性别 职业 0 张三 男 IT 1 李四 女 运营 #df2数据源如下 姓名 婚姻状况 学历 0 张三 未婚 本科 1 李四 已婚 研究生 2 王五 未婚 博士 3 麻子 已婚 研究生 pd.merge(df1, df2, left_index=True, right_index=True #运算结果如下 姓名_x 性别 职业 姓名_y 婚姻状况 学历 0 张三 男 IT 张三 未婚 本科 1 李四 女 运营 李四 已婚 研究生 

#如果连接的两个df，除了key列，或者on指定的列外，还有相同的列标签，为了进行区分，pd会自动在相同的列标签分别添加后缀，默认是x、y，也可通过suffixes显示指定 #df1数据源 姓名 性别 职业 0 张三 男 IT 1 李四 女 运营 #df2数据源 姓名 职业 婚姻状况 学历 0 张三 IT 未婚 本科 1 李四 运营 已婚 研究生 2 王五 产品 未婚 博士 3 麻子 市场 已婚 研究生 pd.merge(df1, df2, on='姓名',how='outer',suffixes=('_表1','_表2')) #运算结果如下 姓名 性别 职业_表1 职业_表2 婚姻状况 学历 0 张三 男 IT IT 未婚 本科 1 李四 女 运营 运营 已婚 研究生 2 王五 NaN NaN 产品 未婚 博士 3 麻子 NaN NaN 市场 已婚 研究生 

#join函数的使用方法如下 DataFrame.join( other, #指定需要连接的其他df，如果是一个，则直接写df，如果是多个，则可以是多个df组成的列表或元组，如果是多个，则不支持设置on、lsuffix以及sort on=None, #默认以行index连接，也可以指定列标签，如果需要指定多个列，则可以是列表或元组形式 how='left', #连接的方式，枚举为 left、right、outer、inner，默认是left lsuffix=' ', #左df重复列的后缀，只对连接2个df有效，连接多个df如果列标签有重复，则会报错 rsuffix=' ', #右df重复列的后缀，只对连接2个df有效，连接多个df如果列标签有重复，则会报错 sort=False #排
                
提示：
                    本文由神整理自网络，如有侵权请联系本站删除！
                    

                    本站声明： 

                    1、本站所有资源均来源于互联网，不保证100%完整、不提供任何技术支持； 

                    2、本站所发布的文章以及附件仅限用于学习和研究目的;不得将用于商业或者非法用途；否则由此产生的法律后果，本站概不负责！
                
                

                

                                            
上一篇：pandas实现数据读取&清洗&分析的项目实践_python_
                                                                
下一篇：pandas实现数据可视化的示例代码_python_