「LLM App on Actcast」開発の背景

こんにちは。Idein株式会社CTOの山田です。

当社は最近、「LLM App on Actcast」というアプリを開発しました。これは、エッジAI/IoTプラットフォームとしてのActcastの機能と、OpenAI社などに代表されるクラウド上のLLM（特にMultimodalLLM, VLM）の力を利用して、簡単なプロンプトエンジニアリングで専用の機械学習アプリケーションを模倣して振るまうことを可能にするアプリです。今回、機械学習プロジェクトのPoCのあり方を劇的に変えられるアプリケーションという期待を持ってリリースしました。このエントリーではLLM App on Actcast開発の背景を綴っています。

目次

LLM App on Actcastとは何か？そして何ではないか？

LLM App on Actcastは、クラウド上のLLMを利用したActcastプラットフォーム上のエッジデバイスで動くアプリです。現状のLLM App on Actcastでは、OpenAIのクラウドLLMのAPIを用いて画像に対する推論を行います。Actcastプラットフォームの機能により、遠隔でプロンプトのデバイスグループ毎の管理や個別の管理も可能です。

そして何ではないか？の部分ですが、エッジでLLMと呼ばれるような大規模モデルのローカル推論を実現したものではないですし、専用のエッジAIアプリケーションを完全に代替するようなものでもありません。

LLM App on Actcastの概要

IdeinとActcastのこれまで

Actcastは、これまで独自の高速化技術と、現代的なソフトウェア開発・運用体験を提供するプラットフォーム機能の作りこみを強みとして、現実世界のソフトウェア適用分野を広げようとしています。

この文章をご覧になっている読者のなかにはRasPiのGPU（Video Core）向けのアセンブラ・最適化コンパイラを独自に開発した企業としてIdeinを認識されている方もいらっしゃるかもしれません。

そんなIdeinがなぜ今回、このLLM App on Actcastをリリースしたのでしょうか。それは計算機科学の視点では特段目新しさはないものの、この凡庸な仕組みに大きな可能性を感じたからに他なりません。そして2020年のActcastローンチ以来、ソフトウェアを事業としていく上で幾多の困難や苦労を乗り越えてきた実績と経験に基づいています。

ソフトウェアの価値

IdeinのVisionは「ソフトウェア化された世界を作る」です。IoTプラットフォームの運営をしている会社としてはやや大言壮語に聞こえるかもしれません。しかし実際に、我々が提供しているActcastというプラットフォームは、まさに今ソフトウェアが無い場所（エッジ）にソフトウェアの価値を届けているものになります。

ソフトウェアの価値、力とはなんでしょうか？

現代社会のような複雑で変化し続ける世界に寄り添うためには、アップデートし続ける環境が必要で、私はそこにソフトウェアの力の源泉があると思っています。

ハードウェア同様、ソフトウェアもリリースされた瞬間から陳腐化が始まります。アップデートされないソフトウェアとは実装形態がプログラムなだけで、ハードウェアと大差ないものになります。つまりソフトウェアの価値を発揮するためには健全なアップデートと運用が重要なのです。

一方でソフトウェアに対するこうした考えは、ソフトウェア業界に身を置いていない方にはまだまだ理解されていないのが現状です。

機械学習PoCの苦しみ

一方で、Ideinはこれまで数々の機械学習プロジェクトPoC（Proof of Concept）をこなす中で、上記の信念とは相反する現実と闘ってきました。

現状の機械学習ソフトウェアは初期開発に大きなコストがかかる性質のソフトウェアです。誰かの言葉を借りれば、機械学習というのは「データによるプログラミング」であり、初期に大きなデータの収集や、学習の際の高性能GPU搭載した計算機のコスト、あるいは機械学習エンジニアの人件費など、ソフトウェアの相違工夫だけでは解消できない現実世界のコストを支払う必要があります。

機械学習のPoCの「ProofすべきConcept」は実は2段階に分かれることが多いです。それは「機械学習プログラムでXが出来たら、Yと言う価値が出る」というものです。

しかし実際に起こることとしては、Xが出来ないとそもそも検証すらできないため、Yの議論が置いてけぼりになったり、Xの部分は認識精度のような単一指標で測れる「わかりやすい」話になりがちなので、プロジェクト関係者のアテンションが奪われたりといったことが起こります。そもそも機械学習の精度追求がYの証明の後でも遅くないケースでも、Xの部分を追求するうちにプロジェクトの予算も関係者の興味や期待も尽きて、ソフトウェアが本当に価値を発揮する瞬間に辿り着けずに終わってしまうプロジェクトを数多く見てきました。

ActcastのエッジAIとクラウドAIのハイブリッドで実現する新しいPoCの形

LLM App on Actcastは上記のような状況を変えるポテンシャルがあると思っています。これまでは初期に払うしかなかった開発コストをプロンプトエンジニアリングで済ませることにより、本当に必要なビジネスの概念実証を先に済ませられるようになります。「最小限の手間でスモールスタートしたPoCで大きな価値が出ることを示した後に本格的な開発投資を行い、スケールした価値提供を行う」――これは現代的なプロダクトマネジメントの文脈やリーンスタートアップのMVP概念とも通底する考え方だと思います。

LLMで実現される新しいPoCの形

Actcastプラットフォームを利用することで、これまで提供してきたエッジAI技術でプライバシーマスキングを行い、プライバシーの懸念のない状態でPoCを素早く立ち上げることができます。PoCを通じて証明された価値を載せたソフトウェアは、PoCと同じデバイスにActcastを通じてプロダクションデプロイされ、アップデートされていきます。

世界をより便利にするチャレンジのためのプラットフォーム

私は、世界を便利にして豊かにするソフトウェアの力を信じています。ソフトウェアの力で誰かのペインに寄り添い、取り除き、少し良くする。インターネットと機械学習はその可能性を広げてくれましたが、現実世界との界面（エッジ）ではより多くの困難があります。そのエッジでの試行錯誤を行うためのプラットフォームとしてActcastがあります。

「LLM App on Actcast」はその手段の一つです。Actcastを使って一人でも多くの人が世界を便利にするチャレンジが出来るようにしたいと思っています。Ideinは一緒にソフトウェア化された世界を作ってくれるパートナー企業を探しています。少しでも共感していただけたならぜひ気軽にお問い合わせください。

お問い合わせ先

IdeinではエッジAIの社会実装を共に推進いただけるパートナー企業様を随時募集しております。

本ブログをお読みになって、私たちの考えや活動に共鳴し、パートナープログラム（無料）にご興味を持たれたり、プログラムへの参加をご希望の企業様は是非、以下のお問い合わせフォームよりお気軽にご連絡ください。

お問い合わせいただいた内容に沿って、担当よりご連絡いたします。

こちらもあわせてお読みください

▶『エッジAIの社会実装を加速するには？——Ideinとパートナーが創る次世代エコシステム』

▶「EdgeOps（エッジオプス）」とは？　AI時代はエッジでのソフトウェア「運用」が企業競争力に差をつける