metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:54755
  - loss:MultipleNegativesRankingLoss
base_model: bkai-foundation-models/vietnamese-bi-encoder
widget:
  - source_sentence: "Hình minh họa Chào bạn, Không rõ mẹ bạn\r\nphát hiện thận đa nang từ khi nào, một bên hay cả hai bên và hiện\r\ntại có bị suy giảm hay không? Hiện tại mẹ bạn có\r\ntriệu chứng gì không như đau hông lưng, tiểu máu… mẹ bạn cần đến khám BS chuyên\r\nkhoa thận tiết niệu để được đánh giá lại chức năng thận, vị trí sỏi… và có hướng\r\nđiều trị tốt nhất. Các BV uy tín bạn có thể đến tại TPHCM như: BV Bình dân, BV Chợ\r\nrẫy… Chúc mẹ bạn mau khỏe!"
    sentences:
      - >-
        BS cho tôi hỏi, chụp X-quang có nhìn thấy chỉ khâu vết thương không ạ?
        Chỉ khâu bằng dây cước xanh. Cám ơn BS! .
      - "Tôi có đi khám ở Bệnh viện Da Liễu, bác sĩ chẩn đoán viêm da dị ứng do tiếp xúc và có kê toa các loại thuốc: Lertazin 5mg, CEBASTIN 20, Elovess, thuốc bôi Immulimus 0.03%, kem bôi EUCERIN cream và rửa mặt Cetaphil. \r\n\r\nNhưng loại thuốc bôi Immulimus 0.03% là thuốc mỡ, theo toa là bôi 2 lần trong ngày, tôi thì phải đi làm cả ngày, nếu bôi thuốc đó thì nhìn mặt rất bóng, không tiện trong công việc. Bác sĩ có thể tư vấn tôi loại thuốc có thể thay thế thuốc bôi Immulimus 0.03% để tiện cho tôi không?Xin cảm ơn bác sĩ."
      - "Chào bác sĩ,\r\n\r\nMẹ em bị thận đa nang (nhiều nang nước bọc hai quả thận) và sỏi kích thước khoảng 1.5cm.Vậy mẹ em có thể tán sỏi bằng laser không BS? Và chi phí khoảng bao nhiêu vậy ạ? Em cảm ơn."
  - source_sentence: "Chào bạn, Theo như bạn mô tả, có thể bạn đã bị do dị ứng, thường gặp ở người có cơ địa dị ứng nói chung. Viêm\r\nkết mạc dị ứng được chia thành nhiều thể: viêm kết mạc theo mùa, viêm kết mạc\r\nquanh năm… Nếu cơ địa của bạn dễ bị dị ứng, chỉ cần bạn\r\ntiếp xúc với tác nhân kích ứng là đã phát bệnh, không nhất thiết là do môi trường\r\nô nhiễm. dị ứng thường không lây, chỉ khi bị nhiễm virus hay vi khuẩn\r\nthì mới lây. Để giảm bớt số lần bệnh, bạn nên chú ý khi ăn\r\nuống và tiếp xúc với chất lạ, thường xuyên giặt phơi drag, mền,… Sinh hoạt điều\r\nđộ, ngủ đúng giờ, ăn đủ chất và tăng cường vận động thể dục thể thao để tăng sức\r\nđề kháng, hạn chế phần nào các lần nhiễm siêu vi làm nặng lên tình trạng bệnh. Bạn cũng chỉ nên nhỏ thuốc vào những lúc mắt\r\nbị bệnh, không nên lạm dụng thuốc bạn nhé. AloBacsi.com Cổng thông tin tư vấn sức khỏe miễn phí"
    sentences:
      - "Chào bác sĩ,\r\n\r\nKhoảng 3 năm nay em thường xuyên bị viêm kết mạc, một năm bị tới 3 - 4 lần. Riêng năm nay em đã bị tới 4 lần, tháng 1, tháng 3 và tháng 6 này em bị tới 2 lần. Biểu hiện của các lần đều giống nhau, mắt có cảm giác cộm, ngứa, sau đó là đỏ, thường bị cả 2 mắt. \r\n\r\nEm đến bệnh viện tuyến tỉnh, Viện mắt trung ương để thăm khám và mua thuốc, sau khi điều trị khoảng 5 ngày là mắt em khỏi hoàn toàn. Em cũng đang rất hoang mang vì mắt thường xuyên bị như vậy, trong khi nơi em làm việc và sống môi trường tương đối sạch sẽ, mọi người xung quanh không ai bị đau mắt. Em cũng làm theo lời khuyên của bác sĩ là vệ sinh mắt hàng ngày bằng nước muối rửa mắt và gạt tiệt trùng nhưng mắt em vẫn thường xuyên bị đau. Cảm ơn bác sĩ.\r\n\r\n(Bạn đọc Khánh Trần Vân)"
      - "BS ơi, em muốn hỏi có cách nào lắp mắt giả mà không cần múc mắt bị tổn thương đi không, như kiểu ốp 1 hình bán nguyệt bên ngoài mắt thật ý? Em chân thành cảm ơn!\r\n\r\n(Ngô Văn Hưng – Thái Bình)"
      - "Thuốc Glumeform 850 DHG điều\_trị bệnh đái tháo đường tuýp\_2 (10 vỉ x 5 viên)"
  - source_sentence: "Chào\r\nbạn, Theo\r\nthông tin của bạn, nhiều khả năng bạn bị tư thế do thiếu máu, là\r\nhậu quả của tình trạng viêm nhiễm và phẫu thuật gần đây. Nếu\r\nhiện bạn không có đau bụng, không sốt, ăn uống được và tiêu tiểu bình thường\r\nthì bạn chưa cần phải vào viện theo dõi, chỉ lưu ý cố gắng bồi bổ cơ thể, uống\r\nthêm sữa nếu được, uống càng nhiều nước càng tốt (khoảng 2-3 lít nước/ngày). Và\r\nbạn có thể ăn hơi mặn 1 tí trong thời gian này sẽ có tác dụng nâng huyết áp,\r\nnghỉ ngơi dưỡng sức tránh vận động gắng sức sớm, đặc biệt chú ý không thay đổi\r\ntư thế đột ngột như từ nằm sang đứng, ngồi sang đứng, xoay người nhanh có thể\r\ngây dẫn đến té ngã. Chúc\r\nbạn sớm bình phục! Thân\r\nmến,"
    sentences:
      - "Thưa bác sĩ,\r\n\r\nMẹ tôi đã cắt bỏ khối u ác tính ở tuyến giáp được 3 năm. Gần đây mẹ phát hiện có 2 hạt nhân gần vùng phẫu thuật. Bác sĩ yêu cầu đi sinh thiết, kết luận là adenocarcinoma tuyến giáp và chỉ định cắt bỏ nó. BS nói muốn thay lớp da phần cổ vì có khả năng nó sẽ tái phát bệnh.\r\n \r\nVậy khi thay cả lớp da và phẫu thuật cắt bỏ khối u, mẹ tôi có bị tái phát lại? Bệnh này có khả năng di căn xa không? Hiện nay mẹ tôi chỉ còn 38kg, liệu có đủ sức khỏe để phẫu thuật? \r\n\r\n(Thu Hương - Lâm Đồng)"
      - "Chào BS,\r\n\r\nGiúp em với ạ. Em và chồng quan hệ ngày 1, sáng ngày 5 em có uống loại thuốc tránh thai khẩn cấp 120h, tối mồng 5, 6, 7 bọn em có quan hệ tiếp. Vậy em có thể có thai không ạ?"
      - "Chào bác sĩ,\r\n\r\nEm mới mổ ruột thừa nội soi được 13 ngày. Các vết thương không còn đau nữa, nhưng khi em vận động đi lại hoặc đứng lên ngồi xuống thì bị choáng và chóng mặt. Em không biết mình bị sao nữa. Mong BS tư vấn cho em. Em xin cảm ơn BS."
  - source_sentence: >-
      Mô tả ngắn:

      Allerba-10 của Công ty Bal Pharma Ltd., Ấn Độ, thành phần chính là
      ebastine, được dùng để điều trị triệu chứng viêm mũi dị ứng theo mùa và
      quanh năm có hay không có viêm kết mạc dị ứng, cải thiện chứng ngứa và làm
      giảm sự hình thành nốt sưng mới trong chứng nổi mày đay vô căn.

      Thành phần:

      Ebastine: 10mg

      Chỉ định:

      Thuốc Allerba-10 được chỉ định dùng trong các trường hợp sau:

      Ðiều trị triệu chứng viêm mũi dị ứng theo mùa và quanh năm có hay không có
      viêm kết mạc dị ứng. Cải thiện chứng ngứa và làm giảm sự hình thành nốt
      sưng mới trong chứng nổi mày đay vô căn.
    sentences:
      - >-
        Thuốc Allerba 10 Balpharma điều trị viêm mũi dị ứng, nổi mày đay (10 vỉ
        x 10 viên)
      - "BS cho em hỏi với ạ,\r\n\r\nChân em bị té, ngón chân cái bị nứt xương nhẹ. BS chụp hình chỉ kêu uống thuốc, em muốn hỏi chân em như vậy uống thuốc liệu có lành không (có cần làm thêm gì khác không) và khoảng bao lâu thì hoạt động bình thường?"
      - >-
        Bác sĩ cho em hỏi, Em dùng men vi sinh BB536 có hình chữ M màu đỏ trên
        vỏ hộp khi bị đầy trướng bụng do ăn nhiều chất béo, chất đạm thấy rất
        nhạy. Đợt này em dùng kháng sinh do viêm đường hô hấp, bị loạn khuẩn
        nhưng chưa dám uống vì sợ dùng kháng sinh làm mất tác dụng của men, xin
        bác sĩ cho biết em nên uống vào thời điểm nào?
  - source_sentence: >-
      Nguy cơ đau bụng Những ai có nguy cơ mắc phải đau bụng? Nữ giới có nguy cơ
      mắc đau bụng theo chu kỳ kinh nguyệt. Ngoài ra, vì đau bụng là dấu hiệu
      của bệnh khác nên các đối tượng mắc phải thường là người lớn, người cao
      tuổi có chức năng tim, thận suy giảm. Yếu tố làm tăng nguy cơ mắc phải đau
      bụng Một số yếu tố làm tăng nguy cơ mắc đau bụng, bao gồm: Tổn thương
      đường tiêu hóa (loét dạ dày). Tổn thương gan.
    sentences:
      - "Thưa BS,\r\n\r\nEm 25 tuổi, mang thai 13 tuần, vừa xét nghiệm tiền sản kết quả không tốt lắm, em muốn được AloBacsi tư vấn dùm 2 vấn đề ạ:\r\n\r\n1. Tầm soát bệnh down có kết quả: Cột age 1/1323, N.T.1/3797, bio.1T 1/149, cột nguy cơ kết hợp là 1/428. BS nói em bé có nguy cơ cao bị down, cho em chọc ối kiểm tra nhưng nghe nói chọc ối rất nguy hiểm nên bản thân rất lo. Mong BS tư vấn giờ em phải làm sao?\r\n\r\n2. Kết quả Anti TPO của em là 50IU/ML, TSH 2.82 MicroU/ml, vậy em có bị tuyến giáp không ạ?\r\n\r\nMong nhận được hồi âm của AloBacsi, em xin cảm ơn. (Huyền Trâm - Bình Dương)"
      - Nguy cơ đau bụng
      - >-
        Xin BS cho biết, việc phẫu thuật để đưa 2 tinh hoàn ở ổ bụng xuống bìu
        cho trẻ có phức tạp không? Trẻ 7 tháng tuổi có thể phẫu thuật được chưa?
        BV địa phương (Bệnh viện Hội An - Quảng Nam) có thể tiến hành phẫu thuật
        này được không? Xin chân thành cảm ơn. (Phan Quốc Bảo - Hội An, Quảng
        Nam)
datasets:
  - meandyou200175/dataset_full_fixed
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.6225346968590212
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.743608473338203
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.7947406866325786
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8486121256391527
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.6225346968590212
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.24786949111273435
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1589481373265157
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.08486121256391525
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.6225346968590212
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.743608473338203
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.7947406866325786
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8486121256391527
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.7322649847229173
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.6953402002388502
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.7008164556863513
            name: Cosine Map@100

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- dataset_full_fixed

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
HF中国镜像站: Sentence Transformers on HF中国镜像站

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("vietnamese-bi-encoder-v2")
# Run inference
sentences = [
    'Nguy cơ đau bụng Những ai có nguy cơ mắc phải đau bụng? Nữ giới có nguy cơ mắc đau bụng theo chu kỳ kinh nguyệt. Ngoài ra, vì đau bụng là dấu hiệu của bệnh khác nên các đối tượng mắc phải thường là người lớn, người cao tuổi có chức năng tim, thận suy giảm. Yếu tố làm tăng nguy cơ mắc phải đau bụng Một số yếu tố làm tăng nguy cơ mắc đau bụng, bao gồm: Tổn thương đường tiêu hóa (loét dạ dày). Tổn thương gan.',
    'Nguy cơ đau bụng',
    'Xin BS cho biết, việc phẫu thuật để đưa 2 tinh hoàn ở ổ bụng xuống bìu cho trẻ có phức tạp không? Trẻ 7 tháng tuổi có thể phẫu thuật được chưa? BV địa phương (Bệnh viện Hội An - Quảng Nam) có thể tiến hành phẫu thuật này được không? Xin chân thành cảm ơn. (Phan Quốc Bảo - Hội An, Quảng Nam)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6225
cosine_accuracy@3	0.7436
cosine_accuracy@5	0.7947
cosine_accuracy@10	0.8486
cosine_precision@1	0.6225
cosine_precision@3	0.2479
cosine_precision@5	0.1589
cosine_precision@10	0.0849
cosine_recall@1	0.6225
cosine_recall@3	0.7436
cosine_recall@5	0.7947
cosine_recall@10	0.8486
cosine_ndcg@10	0.7323
cosine_mrr@10	0.6953
cosine_map@100	0.7008

Training Details

Training Dataset

dataset_full_fixed

Dataset: dataset_full_fixed at ef2e7fd
Size: 54,755 training samples
Columns: positive and query
Approximate statistics based on the first 1000 samples:
positive query
type string string
details
min: 30 tokens
mean: 185.16 tokens
max: 256 tokens

min: 5 tokens
mean: 78.78 tokens
max: 256 tokens

	positive	query
type	string	string
details	min: 30 tokens mean: 185.16 tokens max: 256 tokens	min: 5 tokens mean: 78.78 tokens max: 256 tokens

Samples:

positive	query
Điều trị viêm loét dạ dày đơn thuần mà không tiệt trừ Hp Chào em, Kết quả này là em bị viêm hang vị dạ dày do nhiễm Hp rồi, em nhé. Hp là vi khuẩn gây viêm loét dạ dày thường gặp. Nhiễm Hp kèm có triệu chứng đau dạ dày thì cần phải điều trị tiệt trừ Hp, nếu chỉ điều trị viêm loét dạ dày đơn thuần mà không tiệt trừ Hp thì bệnh sẽ không hết và Hp có thể gây ra viêm loét kéo dài, viêm mạn và dẫn đến chuyển sản rồi ung thư dạ dày. Trị Hp thì BS sẽ phải dùng kháng sinh, vì đây là vi khuẩn, và phải dùng 2 loại kháng sinh phối hợp với thuốc ức chế tiết dạ dày 14 ngày mới diệt được Hp (phác đồ chuẩn của hội tiêu hóa gan mật Việt Nam và thế giới), vì chúng trú ẩn sâu trong thành của dạ dày. Em nên đến khám chuyên khoa Tiêu hóa để được kê thuốc phù hợp (BS không được phép kê thuốc khi không trực tiếp khám cho người bệnh). Sau đợt điều trị thì em cần tái khám lại để BS đánh giá và điều chỉnh thuốc cho em, có thể là sẽ tiếp tục điều trị thêm vài tuần để kiểm soát hẳn triệu chứng khó chịu rồi mới n...	`Bác sĩ cho em hỏi phiếu kết quả như vậy là có bị nhiễm Hp không ạ?Thực quản: trơn láng, không viêm loét. Tâm vị, góc bờ cong nhỏ: không viêm loét. Đáy vị, thân vị: mềm, không viêm loét. Hang vị: viêm sung huyết mức độ nhẹ. Môn vị: tròn đều. Hành tá tràng: không viêm loét, thông thoáng. Clo test: dương tính.`
Chào bạn, Bạn có tình trạng xuất huyết tiêu hóa dưới mức độ nhẹ. Nếu xuất huyết do nứt kẽ hậu môn sẽ không thể có hiện tượng máu tươi chảy ra nhiều và loãng, máu loãng nghĩa là có trộn với dịch đại trực tràng. Bạn nên đến khoa nội soi tiêu hóa để được thăm khám và tiến hành nội soi đại tràng để khảo sát tổn thương nhằm loại trừ các bệnh lý nguy hiểm nhé. Thân ái chào bạn.	Em chào bác sĩ.Trong vòng 1 tuần vừa rồi em có 2 lần đi đại tiện với triệu chứng máu tươi chảy ra rất nhiều và loãng (không dính nhầy), có điểm chung trước khi bị là em thường ăn cay đến rất cay và hút thuốc lá (em không thường xuyên hút thuốc).Trước đây khoảng 1 năm thì em đi khám được bác sĩ nói là em bị nứt kẽ hậu môn và cũng có đi ngoài ra máu nhưng ít, không đáng kể. Còn bây giờ chảy ra rất nhiều như vậy thì có liên quan đến ung thư không ạ? Em xin cảm ơn bác sĩ.
Chào Kim Vân, là những ký sinh trùng nhỏ thường gặp và phổ biến trên thế giới, thường ký sinh ở động vật có vú, có 2 loài gây bệnh ở người là D.folliculorum và D.brevis. Ở người, chúng có thể ký sinh mọi nơi trên cơ thể nơi có nang lông và tuyến bã, nhiều nhất ở mặt đặc biệt ở mũi, trán, cằm và má gây ra triệu chứng viêm chân tóc, viêm mí mắt bởi sự kích ứng vùng lông mi, và hiện diện trong nhiều sang thương da ở vùng mặt như: mụn, viêm da quanh miệng, mụn trứng cá đỏ hoặc viêm nang lông,.. đặc biệt trên những người có cơ địa suy giảm miễn dịch. Các đường lây có thể do tiếp xúc trực tiếp, hoặc do bụi bẩn có chứa trứng của ký sinh trùng bám vào da,… Các yếu tố thuận lợi gây bệnh: - Da tiết nhiều chất nhờn hoặc vệ sinh kém. - Tổn thương trên da. - Điều kiện môi trường thuận lợi như độ ẩm. - Sử dụng mỹ phẩm hoặc thuốc gây kích ứng da, làm da tổn thương,... Điều trị Demodex được hướng dẫn như sau: - Thuốc thoa tại chỗ trong trường hợp viêm mi mắt: Oxyde thủy ngân 1% thoa 2 lần/ngày trong ...	`Chào BS ạ,`

BS ơi cho con hỏi tháng trước con có đi điều trị BS nói con bị demodex và sau đó kê thuốc uống và bôi 2 tuần, ban đầu nó đỡ ngứa, giờ con đang ở Nhật thì nó lại tái phát ngứa và da nổi mẩn đỏ.

Giờ ở xa nên con không điều trị được. Có cách nào khác giúp con được không BS? Con cảm ơn!

(Nguyên Thị Kim Vân - Đà Nẵng)

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 60
per_device_eval_batch_size: 1
learning_rate: 1e-06
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
bf16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 60
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10
-1	-1	-	0.5868
0.0137	10	0.7769	-
0.0274	20	0.6614	-
0.0410	30	0.6582	-
0.0547	40	0.6593	-
0.0684	50	0.6192	-
0.0821	60	0.609	-
0.0958	70	0.6601	-
0.1094	80	0.5605	-
0.1231	90	0.5544	-
0.1368	100	0.5244	-
0.1505	110	0.5677	-
0.1642	120	0.558	-
0.1778	130	0.4303	-
0.1915	140	0.4571	-
0.2052	150	0.4458	-
0.2189	160	0.4667	-
0.2326	170	0.4993	-
0.2462	180	0.4401	-
0.2599	190	0.4302	-
0.2736	200	0.3303	-
0.2873	210	0.5247	-
0.3010	220	0.4284	-
0.3146	230	0.3622	-
0.3283	240	0.3828	-
0.3420	250	0.3081	-
0.3557	260	0.3399	-
0.3694	270	0.3976	-
0.3830	280	0.3853	-
0.3967	290	0.3211	-
0.4104	300	0.3749	-
0.4241	310	0.3872	-
0.4378	320	0.4299	-
0.4514	330	0.3693	-
0.4651	340	0.361	-
0.4788	350	0.3499	-
0.4925	360	0.331	-
0.5062	370	0.3347	-
0.5198	380	0.4189	-
0.5335	390	0.2712	-
0.5472	400	0.3279	-
0.5609	410	0.3683	-
0.5746	420	0.3622	-
0.5882	430	0.3649	-
0.6019	440	0.2657	-
0.6156	450	0.3198	-
0.6293	460	0.3694	-
0.6430	470	0.3528	-
0.6566	480	0.3294	-
0.6703	490	0.3061	-
0.6840	500	0.2706	-
0.6977	510	0.3315	-
0.7114	520	0.3176	-
0.7250	530	0.2956	-
0.7387	540	0.309	-
0.7524	550	0.3411	-
0.7661	560	0.274	-
0.7798	570	0.3595	-
0.7934	580	0.3327	-
0.8071	590	0.3116	-
0.8208	600	0.3034	-
0.8345	610	0.3413	-
0.8482	620	0.2802	-
0.8618	630	0.3482	-
0.8755	640	0.332	-
0.8892	650	0.2532	-
0.9029	660	0.282	-
0.9166	670	0.3493	-
0.9302	680	0.3188	-
0.9439	690	0.3071	-
0.9576	700	0.3046	-
0.9713	710	0.3401	-
0.9850	720	0.3253	-
0.9986	730	0.338	-
1.0	731	-	0.6992
1.0123	740	0.2686	-
1.0260	750	0.3092	-
1.0397	760	0.2775	-
1.0534	770	0.2734	-
1.0670	780	0.3027	-
1.0807	790	0.3033	-
1.0944	800	0.3061	-
1.1081	810	0.3094	-
1.1218	820	0.305	-
1.1354	830	0.2466	-
1.1491	840	0.2374	-
1.1628	850	0.2557	-
1.1765	860	0.2734	-
1.1902	870	0.239	-
1.2038	880	0.3073	-
1.2175	890	0.2321	-
1.2312	900	0.3573	-
1.2449	910	0.327	-
1.2585	920	0.2732	-
1.2722	930	0.3167	-
1.2859	940	0.2833	-
1.2996	950	0.2913	-
1.3133	960	0.2193	-
1.3269	970	0.2817	-
1.3406	980	0.2213	-
1.3543	990	0.2611	-
1.3680	1000	0.2913	-
1.3817	1010	0.2369	-
1.3953	1020	0.2611	-
1.4090	1030	0.3141	-
1.4227	1040	0.2663	-
1.4364	1050	0.2526	-
1.4501	1060	0.2961	-
1.4637	1070	0.293	-
1.4774	1080	0.282	-
1.4911	1090	0.2804	-
1.5048	1100	0.2555	-
1.5185	1110	0.3018	-
1.5321	1120	0.2282	-
1.5458	1130	0.2769	-
1.5595	1140	0.2809	-
1.5732	1150	0.2391	-
1.5869	1160	0.2558	-
1.6005	1170	0.2622	-
1.6142	1180	0.2814	-
1.6279	1190	0.2924	-
1.6416	1200	0.2675	-
1.6553	1210	0.2536	-
1.6689	1220	0.2467	-
1.6826	1230	0.1978	-
1.6963	1240	0.2682	-
1.7100	1250	0.25	-
1.7237	1260	0.2825	-
1.7373	1270	0.219	-
1.7510	1280	0.2909	-
1.7647	1290	0.2453	-
1.7784	1300	0.2449	-
1.7921	1310	0.2645	-
1.8057	1320	0.225	-
1.8194	1330	0.27	-
1.8331	1340	0.276	-
1.8468	1350	0.1919	-
1.8605	1360	0.3561	-
1.8741	1370	0.2486	-
1.8878	1380	0.2921	-
1.9015	1390	0.2944	-
1.9152	1400	0.2936	-
1.9289	1410	0.2781	-
1.9425	1420	0.2261	-
1.9562	1430	0.2052	-
1.9699	1440	0.2291	-
1.9836	1450	0.2198	-
1.9973	1460	0.2258	-
2.0	1462	-	0.7209
2.0109	1470	0.1798	-
2.0246	1480	0.2846	-
2.0383	1490	0.2029	-
2.0520	1500	0.1989	-
2.0657	1510	0.2261	-
2.0793	1520	0.2346	-
2.0930	1530	0.2752	-
2.1067	1540	0.2621	-
2.1204	1550	0.2586	-
2.1341	1560	0.2654	-
2.1477	1570	0.2609	-
2.1614	1580	0.185	-
2.1751	1590	0.2091	-
2.1888	1600	0.2126	-
2.2025	1610	0.1876	-
2.2161	1620	0.2469	-
2.2298	1630	0.2717	-
2.2435	1640	0.2717	-
2.2572	1650	0.1966	-
2.2709	1660	0.2164	-
2.2845	1670	0.2629	-
2.2982	1680	0.222	-
2.3119	1690	0.1893	-
2.3256	1700	0.2144	-
2.3393	1710	0.2713	-
2.3529	1720	0.2584	-
2.3666	1730	0.1478	-
2.3803	1740	0.1898	-
2.3940	1750	0.2534	-
2.4077	1760	0.1685	-
2.4213	1770	0.2521	-
2.4350	1780	0.2252	-
2.4487	1790	0.2248	-
2.4624	1800	0.2763	-
2.4761	1810	0.2409	-
2.4897	1820	0.2368	-
2.5034	1830	0.2809	-
2.5171	1840	0.2325	-
2.5308	1850	0.2191	-
2.5445	1860	0.2703	-
2.5581	1870	0.2235	-
2.5718	1880	0.2345	-
2.5855	1890	0.2403	-
2.5992	1900	0.219	-
2.6129	1910	0.2296	-
2.6265	1920	0.2157	-
2.6402	1930	0.2633	-
2.6539	1940	0.2351	-
2.6676	1950	0.2007	-
2.6813	1960	0.2612	-
2.6949	1970	0.1873	-
2.7086	1980	0.2457	-
2.7223	1990	0.2549	-
2.7360	2000	0.2243	-
2.7497	2010	0.2469	-
2.7633	2020	0.229	-
2.7770	2030	0.2171	-
2.7907	2040	0.1711	-
2.8044	2050	0.268	-
2.8181	2060	0.2336	-
2.8317	2070	0.252	-
2.8454	2080	0.2239	-
2.8591	2090	0.1627	-
2.8728	2100	0.2154	-
2.8865	2110	0.2381	-
2.9001	2120	0.2411	-
2.9138	2130	0.2245	-
2.9275	2140	0.1878	-
2.9412	2150	0.2159	-
2.9549	2160	0.2224	-
2.9685	2170	0.2118	-
2.9822	2180	0.2302	-
2.9959	2190	0.2013	-
3.0	2193	-	0.7323

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.16
Sentence Transformers: 3.4.1
Transformers: 4.49.0
PyTorch: 2.6.0+cu124
Accelerate: 1.5.2
Datasets: 3.3.2
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}