Update app.py

app.py

@@ -0,0 +1,54 @@
+import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+MODEL_NAME = "t-bank-ai/RuDialoGPT-small"
+
+print("Загружаем модель и токенизатор...")
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
+
+# Если в Spaces доступен GPU, переводим модель на него
+device = 0 if torch.cuda.is_available() else -1
+if device == 0:
+    model = model.to("cuda")
+
+model.eval()
+
+def chat(user_input):
+    # Дополнительно можно добавить обозначение конца строки для корректного завершения генерации
+    input_with_eos = user_input + tokenizer.eos_token
+    
+    # Токенизируем входной текст
+    inputs = tokenizer.encode(input_with_eos, return_tensors="pt")
+    if device >= 0:
+        inputs = inputs.to("cuda")
+        
+    # Генерация ответа
+    outputs = model.generate(
+        inputs,
+        max_length=200,                 # можно изменить длину генерируемого текста
+        pad_token_id=tokenizer.eos_token_id,
+        do_sample=True,
+        top_p=0.9,
+        temperature=0.7
+    )
+    # Декодируем сгенерированный текст
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # Если модель возвращает и исходный текст, можно убрать его:
+    if generated_text.startswith(user_input):
+        generated_text = generated_text[len(user_input):].strip()
+    return generated_text
+
+# Создаем интерфейс Gradio
+iface = gr.Interface(
+    fn=chat,
+    inputs=gr.Textbox(lines=2, placeholder="Например: Привет, как дела?", label="Введите сообщение"),
+    outputs=gr.Textbox(label="Ответ модели"),
+    title="RuDialoGPT-small Chat",
+    description="Диалоговый чат на базе модели t-bank-ai/RuDialoGPT-small от Hugging Face"
+)
+
+if __name__ == "__main__":
+    iface.launch()