しおみん

@hiroysato なので、我々の中では「入力チェックエラー時はそういうログが出る」でクローズしました。

@shiomin Javaで書けばもうすこし良いエラーハンドリングになりそうですが、Rubyで書いたフィルタプラグインの場合はプラグインな内で例外を起こすと、Detected double releaseがでるっぽいですね。

org.embulk.deps.buffer.PooledBufferAllocatorImpl$BufferDoubleReleasedException: A Buffer detected double release() calls. The buffer has already been released at なんぞ・・・

@hiroysato embulkはfilterでの入力チェックを想定していないでしょうしね。今回、入力ファイルのデータチェックを要求されてqiita.com/taka10257/item…を参考にやってみたのでした。

@shiomin すいません。DataErrorとかがいいかもと言ったのは忘れてください。普通の例外でも変わらないですね。 エラーはこの辺です。 github.com/embulk/embulk/… procの中で例外を発生させるというのは、あんまりみたことがないのでどうするのがベストプラクティスなのかわからないです。

@hiroysato ConfigErrorってOpenSSLですかね... DataErrorはZlib？ CSVの入力チェックに使うにはいずれも出自に違和感が... Gistを見ると結局「org.embulk.deps.buffer.PooledBufferAllocatorImpl$BufferDoubleReleasedException: A Buffer detected double release() calls.」は発生するのでしょうかね...

@shiomin ちょっと私勘違いしてて、こう書けば良いかもしれません。 gist.github.com/hiroyuki-sato/… ConfigError\.new よりDataError\.new "xx"の方がよいかも

@hiroysato こちらでは「入力チェックNGだとそういうログ出るよ」と周知することでクローズします。お騒がせして申し訳有りませんでした！

@shiomin あぁなるほど、プラグインでraiseしてもその例外を拾って、Embulkが終了するということはないかもしれないですね。 raise DataErrorとかすればうまくいく..のかな？とおもったけどダメですね。

@hiroysato ruby_proc内で、入力チェックNG時にraiseしているのですが、そのときに本エラーになるようです。

@shiomin @cobot_1 ありがとうございます。お手数ですが、@cobot_1 さんを外して私だけに返信していただけますか？ @cobot_1 さんもし興味があればお知らせください。再度追加いたします。 よろしくお願いします。

@hiroysato @cobot_1 embulk-input-jdbcは使ってません、すみません。 LEAK: ByteBuf.release()がでたあとの動作は、(1) Embulkが終了する、です。 2つあったruby_procのうち、エラー発生してない方だけを復活させると正常終了、エラー発生してる方だけを復活させるとエラー、(続く)

@shiomin @cobot_1 ちなみに、LEAK: ByteBuf.release()がでたあとの動作は次のどちらですか？ (1) Embulkが終了する (2) Embulkは終了しない 答えが、(1)の場合、ruby_procを入れると確実に終了するんでしょうか？

@hiroysato @cobot_1 #issuecomment-586336178" target="_blank" rel="nofollow noopener">github.com/embulk/embulk/… この対応版とかあれば400万にruby_proc入れて試してみましょうか？

@hiroysato @cobot_1 400万csvはstring8列、long1列。 4000万csvはstring3列、long1列。

@hiroysato @cobot_1 filterが8個あるんですが、そのうちruby_procな2個を消したらエラー起きなくなりました。 このファイルは最大400万件なのですが、ruby_procは念の為の入力チェックなので、まぁ最悪ruby_procなしで動けば良いのです。 別のファイルで4000万件をこれから試します。そっちもruby_procあったかも。

@hiroysato @cobot_1 400万件のロードをしていて自分も同じメッセージのエラーになりました。 自分はfilterのruby_procの辺りっぽいスタックトレースでした。