盆暗の学習記録

データサイエンス ,エンジニアリング,ビジネスについて日々学んだことの備忘録としていく予定です。初心者であり独学なので内容には誤りが含まれる可能性が大いにあります。

自然言語処理

Phi-3をCPUのみで動かしてみる(ローカル / AWS Lambda)

スマホでも動くくらい高速だと謳われているMicrosoftの小規模言語モデルPhi-3を要約と和訳について試してみました。 環境・前提 モデル 環境 コード 要約させてみる 推論時間 日本語に翻訳させてみる Lambdaでの生成速度 まとめ 環境・前提 モデル 4bit量子…