英文:
Pandas transform with conditions
问题
以下是翻译好的部分：
这段代码首先进行分组，然后将所有小于3的值替换为NaN，然后使用最后一个值来填充。然而，对于ID为11的情况，在组B中的第一个观察值使用此方法获得了值9，这是组A的最后一个值。这不是期望的结果。这是因为当条件为True时，掩码返回NaN，而ffill()不考虑分组。
是否有一种巧妙的方法来解决这个问题，即将小于3的值替换为最后一个值，并且当组的第一个值小于3时，使用另一种方法，例如x.mean()来替换。
英文:
The code below make a groupby and then replaces all values below 3 with na and then use the last value instead.
However, for ID 11, the first observation in group B get the value 9 using this method, the last value of group A. This is not desirable. This happens because the mask returns NaN when True and the ffill() doesn't take the groupby into consideration.
Is there a smart way to solve this, to replace values below 3 with the last value, and, when the first value of a group is below 3, use another method, perhaps x.mean() to replace.
import pandas as pdimport numpy as npdata = pd.DataFrame({'ID':list(range(1,21)),'group':['A']*10 + ['B']*10,'value':[4,6,2,9,7,5,1,9,8, 9, np.nan, 4,5,6,1,2,3,4,2,6]})data.groupby('group').transform(lambda x: x.mask(x < 3)).ffill()
答案1
得分: 1
使用ffill函数在lambda函数中，将第一个缺失值替换为mean：
英文:
Use ffill in lambda function and replace first missing values by mean:
data['value'] = (data.groupby('group')['value'].transform(lambda x: x.mask(x < 3).ffill().fillna(x.mean())))print (data)ID group value0 1 A 4.0000001 2 A 6.0000002 3 A 6.0000003 4 A 9.0000004 5 A 7.0000005 6 A 5.0000006 7 A 5.0000007 8 A 9.0000008 9 A 8.0000009 10 A 9.00000010 11 B 3.66666711 12 B 4.00000012 13 B 5.00000013 14 B 6.00000014 15 B 6.00000015 16 B 6.00000016 17 B 3.00000017 18 B 4.00000018 19 B 4.00000019 20 B 6.000000
s = data.groupby('group')['value'].transform('mean')data['value']=data['value'].mask(data['value'] < 3).groupby(data['group']).ffill().fillna(s)print (data)ID group value0 1 A 4.0000001 2 A 6.0000002 3 A 6.0000003 4 A 9.0000004 5 A 7.0000005 6 A 5.0000006 7 A 5.0000007 8 A 9.0000008 9 A 8.0000009 10 A 9.00000010 11 B 3.66666711 12 B 4.00000012 13 B 5.00000013 14 B 6.00000014 15 B 6.00000015 16 B 6.00000016 17 B 3.00000017 18 B 4.00000018 19 B 4.00000019 20 B 6.000000
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论