Code Repositories

リポジトリでコード Linter を有効にするにはどうすればよいですか？

コードリポジトリ内の transforms-python/build.gradle で、Linter による解析に関連する行のコメントを解除できます。これにより、linting タスクが有効になり、pep8 または pylint の書式ルール違反に関するヒントが表示されます。

タイムスタンプ： 2024年6月12日

トランスフォームの入力サイズに基づいて動的にスケーリングするために、Spark プロファイルでエグゼキューターの自動スケーリングを実現するにはどうすればよいですか？

動的割り当てを有効にすることで、エグゼキューターの自動スケーリングを実現できます。ただし、エグゼキューターおよびドライバーのメモリーは自動スケーリングされません。DYNAMIC_ALLOCATION_MAX_64 や DYNAMIC_ALLOCATION_ENABLED などの特定のプロファイルは、この機能をサポートしています。詳細および動的割り当ての設定が組み込まれたプロファイルの一覧は、Spark プロファイルのリファレンスドキュメントを参照してください。

タイムスタンプ： 2024年4月5日

Python コードリポジトリで自動フォーマッターを有効にするにはどうすればよいですか？

コードをコミットするときにコミットする前に書式設定するオプションを選択すると、formatCode タスクが実行されます。このタスクでは、フォーマッターとして ruff または black を使用できます。transforms-python/build.gradle ファイル内の各フォーマッターに関連する行のコメントを解除することで、使用するフォーマッターを制御できます。

タイムスタンプ： 2024年6月12日

トランスフォームで No module named <module-name>; <package-name> is not a package というインポートエラーの原因を調査して解決するには、どのような手順を実行すればよいですか？

インポートエラーの原因を調査して解決するには、次の手順に沿って進めてください。

1. ライブラリのインストールを確認し、コードリポジトリに正しくインストールされていることを確認します。
2. 隠しファイルを確認し、環境が適切に設定されていることを確認します。
3. パッケージの解決ログを確認して、パッケージの競合を解決します。
4. 必要に応じて新しいコミットを作成し、環境の解決を再度トリガーします。
5. モジュールが以前は動作していたのに動作しなくなった場合は、ライブラリのバージョン間の差異を確認し、重大な破壊的変更がないか調べます。

タイムスタンプ： 2024年4月25日

トランスフォームで pandas データフレームを書き込む正しい方法は何ですか？

pandas データフレームを書き込むには、.write_pandas() メソッドを使用します。AttributeError: 'DataFrame' object has no attribute '_jdf' が発生した場合は、pyspark データフレーム用に設計されたメソッドを pandas データフレームに対して使用していることを意味します。

タイムスタンプ： 2024年5月30日

外部 API を呼び出す Python スクリプトをトリガーするために、出力データセットのないトランスフォームにスケジュールを設定できますか？

いいえ、出力データセットのないトランスフォームにスケジュールを設定することはできません。ログを記録するために、外部 API からのレスポンスを出力データセットに記録する方法を推奨します。代わりに、Automate 経由でトリガーされる関数を使用して任意のコードを実行することもできますが、その場合でも、ログ記録のために出力データセットを用意することは有用です。

タイムスタンプ： 2025年2月6日