LlamaIndex を使った AI 連携

この記事の英語版に更新があります。ご覧の翻訳には含まれていない変更点があるかもしれません。

最終更新日 2025年08月22日(金)

LlamaIndex​ は、コンテキスト拡張型の大規模言語モデル (LLM) アプリケーションを構築できるデータフレームワークです。LlamaIndex は、プロンプト、チャットボット、構造化されたデータ抽出、エージェントワークフローなど、さまざまなユースケースに使用できます。

この連携により、Heroku のインフラストラクチャにデプロイされた AI モデルを LlamaIndex アプリで使用できるようになります。

インストールと設定

インテグレーションをインストールするには、次のコマンドを実行します。

pip install llama-index-llms-heroku

LlamaIndex を設定するには、次の手順を実行します。

  1. Heroku でアプリを作成します。

    heroku create example-app

  2. チャットモデル​を作成し、アプリにアタッチします。

    heroku ai:models:create -a example-app claude-3-5-haiku

  3. 環境設定をエクスポートします。

    export INFERENCE_KEY=$(heroku config:get INFERENCE_KEY -a example-app)
export INFERENCE_MODEL_ID=$(heroku config:get INFERENCE_MODEL_ID -a example-app)
export INFERENCE_URL=$(heroku config:get INFERENCE_URL -a example-app)

インテグレーションの使用

使用可能なモデル

使用可能なモデルの完全なリストについては、Managed Inference and Agent API モデルカード​を参照してください。

チャット補完の例

from llama_index.llms.heroku import Heroku
from llama_index.core.llms import ChatMessage, MessageRole

# Initialize the Heroku LLM
llm = Heroku()

# Create chat messages
messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(
        role=MessageRole.USER,
        content="What are the most popular house pets in North America?",
    ),
]

# Get response
response = llm.chat(messages)
print(response)

環境変数の使用

インテグレーションにより環境変数が自動的に読み取られます。

import os

# Set environment variables
os.environ["INFERENCE_KEY"] = "your-inference-key"
os.environ["INFERENCE_URL"] = "https://us.inference.heroku.com"
os.environ["INFERENCE_MODEL_ID"] = "claude-3-5-haiku"

# Initialize without parameters
llm = Heroku()

パラメータ

パラメータを直接渡すこともできます。

import os

llm = Heroku(
    model=os.getenv("INFERENCE_MODEL_ID", "claude-3-5-haiku"),
    api_key=os.getenv("INFERENCE_KEY", "your-inference-key"),
    inference_url=os.getenv(
        "INFERENCE_URL", "https://us.inference.heroku.com"
    ),
    max_tokens=1024,
)

テキスト補完の例

response = llm.complete("Explain the importance of open source LLMs")
print(response.text)

エラーハンドリング

このインテグレーションには、次のような一般的な問題に対するエラーハンドリングが含まれています。

  • API キーの欠落
  • 無効な推論 URL
  • モデル設定の欠落

追加リソース