【ダイジェスト】
人工知能（AI）の進化は、日々の業務プロセスに革命をもたらしています。特に、Apache NiFi 2.0.0用のPythonプロセッサを構築することで、AIの可能性をさらに広げることができます。このプロセッサは、IBM WatsonX Python SDKを活用し、Slackからのコンテキスト拡張プロンプトをGen AIモデル（LLM）に送信するために開発されました。
IBM WatsonXAIは、強力な基盤モデルを多数提供しており、これらのモデルを利用してPythonプログラムに移植し、プロパティや変換メソッドなどの機能を追加することができます。このプロセスは、Python 3.9以上がインストールされている環境で行われ、必要なパッケージ依存関係はrequirements.txtに追加されます。
プロセッサの基本的なフォーマットでは、nifiapiライブラリから様々な要素をインポートし、クラスやプロセッサの詳細を設定します。プロパティの定義には、名前や説明、必須かどうか、バリデーター、表現言語の範囲などを含むPropertyDescriptorが必要です。
変換の主要なメソッドでは、必要なインポートを行い、context.getPropertyを通じてプロパティにアクセスし、attributesを介して出力の属性を設定します。フローファイルの出力内容を設定し、成功を意味するrelationshipを定義します。エラー処理のための機能も追加する必要があります。
NiFiサーバーにデプロイする際は、Pythonファイルをnifi-2.0.0/python/extensionsディレクトリにコピーし、場合によってはNiFiサーバーを再起動する必要があります。開発はローカルのGitHubビルドやDockerを使用して行うことが推奨されます。
実際のストリーミングデータパイプラインアプリケーションでプロセッサを使用する例として、Slackメッセージを受信し、PineConeやChromaベクターデータベースに対してクエリを送信し、そのコンテキストをIBMのWatsonX AI REST APIに送る流れが挙げられます。これにより、リアルタイムのコンテキストでLLMを拡張し、豊かにすることができます。
このように、Pythonコードを分散型NiFiアプリケーションに簡単に追加することで、AIを活用した新しいソリューションを開発することが可能です。AI、Apache NiFi、Python、Slackなどの技術を組み合わせることで、業務プロセスの効率化や新たな価値の創出が期待できるでしょう。
【ニュース解説】
人工知能（AI）技術は、私たちの仕事のやり方に革命をもたらしています。特に注目されているのが、Apache NiFi 2.0.0というデータフロー管理ツールにPython言語で書かれたプロセッサを組み込むことで、AIの機能を拡張する取り組みです。このプロセッサは、IBMのWatsonX Python SDKを利用して、コミュニケーションツールであるSlackから送られてくるデータを、AIモデルに送信するために開発されました。
IBMのWatsonXAIは、多くの強力なAIモデルを提供しており、これらを使ってPythonプログラムを作成し、さまざまな機能を追加することができます。このプロセッサを使用するためには、Python 3.9以上がインストールされている必要があり、依存するパッケージはrequirements.txtファイルに記載して管理します。
プロセッサを作成する際には、nifiapiライブラリから必要なコンポーネントをインポートし、プロセッサの詳細を設定する必要があります。プロパティの設定では、プロパティの名前や説明、必須かどうか、バリデーターなどの情報を定義します。
プロセッサの主要な機能である変換メソッドでは、プロパティへのアクセス、出力属性の設定、フローファイルの内容の設定、そして成功を示す関係性の定義が行われます。エラーが発生した場合の処理も考慮する必要があります。
プロセッサをNiFiサーバーにデプロイするには、Pythonファイルを特定のディレクトリにコピーし、必要に応じてNiFiサーバーを再起動します。開発は、ローカル環境で行うことが推奨されています。
実際の使用例として、Slackからのメッセージを受け取り、それをデータベースに問い合わせて得たコンテキストと共にIBMのWatsonX AI REST APIに送信する流れが挙げられます。これにより、リアルタイムで情報を拡張し、AIの応答をより豊かにすることができます。
Pythonコードを分散型のNiFiアプリケーションに組み込むことで、AIを活用した新しいソリューションを開発することが可能になります。AI、Apache NiFi、Python、Slackなどの技術を組み合わせることで、業務プロセスを効率化し、新たな価値を生み出すことが期待されます。
from Building a Generative AI Processor in Python.
