【概要】■社内に蓄積された非構造化データ(テキスト、ログ、画像、音声など)を収集・分析し、構造化プロセスを経て、生成AIやRAGシステム、AIエージェントに適用可能な形に変換する役割を担います。■最先端のAI技術を持ちいて自社データの価値を最大化し、業務の効率化や新価値創出に寄与するポジションです。■他部署との連携(データサイエンス、システム開発、業務部門等)を通して、データの価値最大化を目指します。【具体的な例】■非構造化データの解析と前処理L テキスト、画像、音声等の非構造化データの抽出、クレンジング、正規化、メタデータの付与L NLPや画像解析、音声解析の技術を活用し、データの意味抽出や分類、タグ付けを実施L 検索精度を向上させるための、ドキュメントパース/チャンキング処理を実施■データ連携の設計L RAG(Retrieval-Augmented Generation)システム、AIエージェントシステムとデータを連携するためのインタフェース設計L 自然言語UIによる対話的クエリ実行処理の検討■RAG(Retrieval-Augmented Generation)システムにおける検索処理最適化L 構造化データと非構造化データのハイブリッド利用による情報検索基盤の開発・導入検討L ベクトルDBやグラフDB活用による検索のためのデータ構造及びインデキシングの最適化L マルチモーダルデータ基盤の導入企画【利用技術】■プログラミング言語:Python、SQL等■データ処理・分析:Pandas、NumPy、Spark等■自然言語処理(NLP):BART, Transformers, mecab等■機械学習/ディープラーニングフレームワーク:TensorFlow、PyTorch、scikit-learn■データベース:リレーショナルDB(PostgreSQL, MySQL)、NoSQL(MongoDBなど)、ベクトルDB(Elasticsearchなど)、グラフDB (Neptune, neo4j)■生成AI関連:OpenAI API、GPT、BERT系モデル、RAGのためのカスタム実装もしくは既存ライブラリの活用■クラウドプラットフォーム:AWS、Azureなどのクラウドサービス■バージョン管理:Git、CI/CDツール■API連携: RESTful API/GraphQL、Swaggerなどを利用したAPIドキュメント、セキュリティ(OAuth 2.0、JWT、APIキーなど)や認証処理【働き方特徴(出張頻度や勤務形態など)】■基本的にフレックス制度、在宅勤務制度を活用しています。(フルリモートではない)■案件次第では、国内、海外を問わず出張が発生します。担当業務により頻度は異なります。【この仕事の面白さ・魅力】■AIや機械学習は急速に進化している分野であり、常に新しい技術や手法が登場します。AIデータインテグレーションエンジニアとして、最新のトレンドを追い続け、自らの知識を深めることができる環境です。■多様なバックグラウンドを持つエンジニアやデータサイエンティストとのコラボレーションが日常的です。お互いの知識や経験から学び合うことで、自身も成長できる環境があります。