概念：クエリ

元の DataFrame の重複のない行を含む新しい DataFrame を返します。

Copied!1
df = df.distinct()

重複行を削除した新しい DataFrame を返します。任意で、特定の列のみを考慮できます。

Copied!1
2
df = df.drop_duplicates()
df = df.drop_duplicates(["firstname", "lastname"])

エイリアス: DataFrame.na.dropna(how='any', thresh=None, subset=None)

null 値を含む行を除外した新しい DataFrame を返します。DataFrame.dropna() と DataFrameNaFunctions.drop() は互いのエイリアスです。

パラメーター：

how – 'any' または 'all'。
- 'any' の場合、null 値を1つでも含む行を削除します。
- 'all' の場合、すべての値が null の行のみを削除します。
thresh – 整数。デフォルトは None です。指定した場合、null 以外の値の数が thresh より小さい行を削除します。（how パラメーターを上書きします）。
subset – 考慮する列名のリスト（任意）。

エイリアス: DataFrame.orderBy(*cols, **kwargs)