Code Repositories

リポジトリでコードリンターを有効にするにはどうすればよいですか？

ユーザーのコードリポジトリ内の transforms-python/build.gradle でリンティングに関連する行のコメントを解除できます。これにより、pep8 または pylint 形式の Rules 違反に関するヒントを提供する linting タスクが有効になります。

タイムスタンプ: 2024年6月12日

トランスフォーム入力サイズに基づく動的スケーリングのためにSparkプロファイルでエグゼキュータの自動スケーリングを実現するにはどうすればよいですか？

エグゼキュータの自動スケーリングは、動的割り当てを有効にすることで実現できます。これにより、エグゼキュータの自動スケーリングが可能ですが、エグゼキュータ/ドライバーメモリのスケーリングはできません。DYNAMIC_ALLOCATION_MAX_64 や DYNAMIC_ALLOCATION_ENABLED プロファイルなどの特定のプロファイルがこの機能をサポートしています。動的割り当ての組み込み設定を持つプロファイルの詳細情報およびリストは、Spark profiles reference documentation をご覧ください。

タイムスタンプ: 2024年4月5日

Pythonコードリポジトリで自動フォーマッタを有効にするにはどうすればよいですか？

コードをコミットする際に Format before committing オプションを選択すると、formatCode タスクが実行されます。このタスクは、ruff または black をフォーマッターとして利用できます。これを制御するには、transforms-python/build.gradle ファイル内のフォーマッターに関連する行のコメントを解除します。

タイムスタンプ: 2024年6月12日

トランスフォームで No module named <module-name>; <package-name> is not a package というインポートエラーをトラブルシュートして解決するためにはどのような手順を踏むべきですか？

インポートエラーをトラブルシュートして解決するための手順は以下のとおりです：

1. ライブラリのインストールを確認し、コードリポジトリに正しくインストールされていることを確認します。
2. 隠しファイルを確認し、環境設定が正しくセットアップされていることを確認します。
3. パッケージ解決ログを確認してパッケージの競合を解消します。
4. 必要に応じて新しいコミットを行い、環境解決を再トリガーします。
5. モジュールが以前は動作していたが突然動作しなくなった場合、ライブラリのバージョン差異を確認し、重大な破壊的変更がないか確認します。

タイムスタンプ: 2024年4月25日

トランスフォームで pandas データフレームを正しく書き込む方法は何ですか？

pandas データフレームを書き込むには、.write_pandas() メソッドを使用する必要があります。AttributeError: 'DataFrame' object has no attribute '_jdf' というエラーが発生した場合、それは pandas データフレームに対して pyspark データフレーム用のメソッドを使用していることを意味します。

タイムスタンプ: 2024年5月30日