app.py

import gradio as gr
import spaces
import torch
from transformers import pipeline

# Prueba de disponibilidad de GPU
zero = torch.Tensor([0]).cuda()
print(zero.device)  # Imprime el dispositivo actual, por ejemplo 'cpu' o 'cuda:0'

# Inicializa el pipeline de generación de texto en GPU (device=0)
pipe = pipeline("text-generation", model="aaditya/Llama3-OpenBioLLM-70B", device=0)

@spaces.GPU
def generate_response(prompt):
    print(zero.device)  # Ahora debería imprimir 'cuda:0'
    # Genera texto a partir del prompt (ajusta max_length u otros parámetros según necesidad)
    result = pipe(prompt, max_length=100)
    return result[0]['generated_text']

# Configuración de la interfaz de Gradio
iface = gr.Interface(
    fn=generate_response,
    inputs=gr.Textbox(label="Introduce tu prompt", placeholder="Escribe aquí tu pregunta o indicación..."),
    outputs=gr.Textbox(label="Respuesta generada"),
    title="Generador de Texto con Llama3-OpenBioLLM-70B",
    description="Ingresa un prompt y obtén una respuesta generada por el modelo Llama3-OpenBioLLM-70B."
)

iface.launch()