AIインフラソフトウェア企業Lablupが、複数のAIモデルを一つの窓口に接続する「Continuum Router（コンティニュームルーター）」と、トークン使用量・課金を一か所で管理する「Continuum Hub（コンティニュームハブ）」を紹介した。Lablupは29日にソウル・COEXで6回目となる年次技術カンファレンス「lab | up > /conf/6」を開催したと30日に明らかにした。
コンティニュームルーターは、企業が複数のAIモデルを使う際に各リクエストを適切なモデルへ振り分けるソフトウェアだ。コンティニュームハブは、AIモデルが処理する単位であるトークンの使用量や使用ポリシー、課金を中央で管理する。Lablupはこの2つの製品を基盤に、AI演算をトークン単位で生産・管理する「トークンファクトリー」という概念を提示した。会場では参加者が両製品の主要機能を実際に体験できるデモンストレーションも行われた。
今年のカンファレンスのテーマは「Make AI Composable²」。NVIDIA、VAST Data、kt cloud、FURIOSA AI、サムスンウェルストーリー、REALWORLD（RLWRLD）、AIM Intelligence、KAIST（カイスト）などが発表に参加した。セッションでは、AIモデルの推論とサービング、AIエージェント、プラットフォームエンジニアリング、セキュリティ、データパイプライン、フィジカルAIなど、AIを実際に運用する現場の技術的課題が取り上げられた。
シン・ジョンギュ代表はオープニング基調講演で、AI分野が科学と工学の時代を経て産業の時代に入りつつあると述べ、その過程で空白となっている領域を埋めるためのLablupの技術と事業を紹介した。
「AIのボトルネックを解決する推論最適化」パネルトークには、キム・ジュンギLablup CTO、キム・テホnota CTO、イ・ジンウォンHYPER ACCEL CTO、イ・ファルソクUpstage CTOが参加した。司会はノ・ジョンソクBfactory代表が務めた。パネリストたちは、AI半導体、モデル開発、モデル軽量化、インフラ運用など、それぞれの分野でAI推論の速度とコストの問題をどう解決しているかを議論した。
シン・ジョンギュ代表は「AI産業が急速に成長するほど、個別技術の発展だけでなく、多様な企業と技術がつながり、実際の運用経験を共有することが重要になっている」と語った。
