change model

config.py

@@ -13,8 +13,8 @@ OUTPUT_DIR = os.path.join(BASE_DIR, "outputs")
 SUBJECT_DATA_FILE = os.path.join(DATA_DIR, "subjectData.csv")
 SAMPLE_DATA_FILE = os.path.join(DATA_DIR, "sampleData.csv")
 # Model Names
-MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-v1_0"
+MODEL_NAME = "Detomo/cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10"
 SENTENCE_EMBEDDING_FILE = os.path.join(
     DATA_DIR,
-    "sample_representative_name_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v1_0).pkl",
+    "anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl",
 )

data/anchor_name_sentence_sentence_embeddings(cl-nagoya-sup-simcse-ja-for-standard-name-v0_9_10).pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:062effa64e2fdd7b5b7253b596d777dea75a892b0b011592657ea51c3861ce62
+size 21565604

data/subjectData.csv

@@ -1,128 +1,146 @@
-科目,正解の科目
-共通仮設費,共通仮設費
-直接仮設,直接仮設
-土工,土工
-地業,地業
-鉄筋,鉄筋
-ｺﾝｸﾘｰﾄ,コンクリート
-型枠,型枠
-鉄骨,鉄骨
-既製ｺﾝｸﾘｰﾄ,既製コンクリート
-防水,防水
-木工,木工
-屋根及びとい,屋根及びとい
-金属,金属
-左官,左官
-建具,建具
-ｶﾞﾗｽ,建具
-塗装,塗装
-内外装,内外装
-ﾕﾆｯﾄ及びその他,ユニット及びその他
-追加反映事項,ユニット及びその他
-石,石
-ﾀｲﾙ,タイル
-金属製建具,建具
-木製建具,建具
-ﾕﾆｯﾄ及びとい,ユニット及びその他
-囲障,囲障
-構内舗装,構内舗装
-屋外排水,屋外排水
-植栽,植栽
-その他工作物,その他工作物
-擁壁工,擁壁工
-歩道切り下げ,構内舗装
-発生材処分,発生材処理
-躯体解体,とりこわし
-仕上撤去,とりこわし
-幹線設備,とりこわし
-発生剤処理,とりこわし
-撤去工事,とりこわし
-発生材処理,発生材処理
-外構解体,とりこわし
-昇降機,昇降機
-既存公会堂地下躯体解体撤去,とりこわし
-管理室解体撤去,とりこわし
-舗装他解体撤去,とりこわし
-コンクリート,コンクリート
-免震,免震
-既製コンクリート,既製コンクリート
-タイル,タイル
-ユニット及びその他,ユニット及びその他
-屋外,屋外排水
-歩道部撤去改修,構内舗装
-新本庁舎昇降機工事,昇降機
-尾道市役所解体撤去（Ｋ－１）,とりこわし
-発電設備解体撤去（Ｋ－２）,とりこわし
-便所解体撤去（Ｋ－３）,とりこわし
-駐輪場解体撤去（Ｋ－４）,とりこわし
-駐輪場解体撤去（Ｋ－５）,とりこわし
-舗装他解体撤去（Ｇ）,とりこわし
-アスベスト調査、処分費,とりこわし
-機器、器具設備,機械設備
-配管設備,機械設備
-電気設備工事,電気設備
-電気設備,電気設備
-思いやり駐車場庇,附属棟
-車寄せ庇,附属棟
-直接仮設工事,直接仮設
-土工事,土工
-地業工事,地業
-鉄筋工事,鉄筋
-コンクリート工事,コンクリート
-型枠工事,型枠
-鉄骨工事,鉄骨
-既製コンクリート工事,既製コンクリート
-防水工事,防水
-タイル工事,タイル
-屋根及びとい工事,屋根及びとい
-金属工事,金属
-左官工事,左官
-建具工事,建具
-カーテンウォール,カーテンウォール
-塗装工事,塗装
-内外装工事,内外装
-ユニット及びその他工事,ユニット及びその他
-建設副産物処理費,とりこわし
-木工事,木工
-1ユニット及びその他工事,ユニット及びその他
-1内外装工事,内外装
-排水,屋外排水
-石工事,石
-解体工事,とりこわし
-木,木工
-屋根及び樋,屋根及びとい
-ｻｲﾝ,ユニット及びその他
-改修,改修
-大口径気送管設備,機械設備
-小荷物搬送用昇降機,昇降機
-下請諸経費,諸経費
-舗装工事,構内舗装
-囲障工事,囲障
-排水工事,屋外排水
-植栽工事,植栽
-その他工事,ユニット及びその他
-撤去,とりこわし
-躯体改修,改修
-外壁改修,改修
-建具改修,改修
-内装改修,改修
-塗装改修,改修
-発生材,とりこわし
-防水改修,改修
-解体,とりこわし
-電機設備,電気設備
-機械設備,機械設備
-エレベーター設備,昇降機
-免震装置,免震
-区画工事,
-樹木撤去工事,とりこわし
-既存杭撤去,とりこわし
-昇降機設備,昇降機
-とりこわし,とりこわし
-PC合成床板,ＰＣ
-外構,構内舗装
-旧別館基礎,とりこわし
-旧議会庁舎基礎,とりこわし
-建築,鉄筋
-上屋工事,附属棟
-設備工事解体工事と連絡通路など,とりこわし
+科目,標準科目,不要,新規
+ＥＶ,昇降機,必要,新規
+ＬＰガス設備,グラウンド散水設備,不要,
+ＰＣ緊張,鉄筋,必要,
+ＰＣ合成床板,ＰＣ,,
+エレベーター設備,昇降機,必要,新規
+カーテンウォール,カーテンウォール,,新規
+グラウンド散水設備,グラウンド散水設備,不要,
+コンクリート,コンクリート,,
+コンクリート工事,コンクリート,,
+サイン,ユニット及びその他,,
+その他工作物,その他工作物,,新規
+その他工事,ユニット及びその他,,
+タイル,タイル,,
+タイル工事,タイル,,
+テレビ共同受信設備,テレビ共同受信設備,不要,
+とりこわし,とりこわし,不要,
+ユニット及びその他,ユニット及びその他,,
+ユニット及びその他工事,ユニット及びその他,,
+囲障,囲障,,新規
+囲障工事,囲障,,新規
+映像・音響設備,映像・音響設備,不要,
+衛生器具設備,衛生器具設備,不要,
+屋外排水,屋外排水,不要,
+屋外排水設備,屋外排水,不要,
+屋根及びとい,屋根及びとい,,
+屋根及びとい工事,屋根及びとい,,
+屋根及び樋,屋根及びとい,,
+屋上緑��,ユニット及びその他,必要,
+下請諸経費,下請諸経費,不要,
+仮設駐輪場・仮設ロータリー整備,仮設駐輪場・仮設ロータリー整備,不要,
+火災報知設備,火災報知設備,不要,
+解体,解体,不要,
+解体工事,解体,不要,
+改修,改修,不要,
+外構,構内舗装,,
+外構解体,外構解体,不要,
+外構撤去,外構撤去,不要,
+外装改修,外装改修,不要,
+外壁改修,外壁改修,不要,
+拡声設備,拡声設備,不要,
+換気設備,換気設備,不要,
+監視カメラ装置,監視カメラ装置,不要,
+既製コンクリート,既製コンクリート,,
+既製コンクリート工事,既製コンクリート,,
+既存杭引抜工事,既存杭引抜,不要,
+既存杭撤去,既存杭撤去,不要,
+既存撤去,既存撤去,不要,
+機械設備,機械設備,不要,
+給水設備,給水設備,不要,
+給湯設備,給湯設備,不要,
+給油施設,給油施設,不要,
+旧議会庁舎基礎,旧議会庁舎基礎,不要,
+旧別館基礎,旧別館基礎,不要,
+共通仮設費,共通仮設費,,
+金属,金属,,
+金属工事,金属,,
+区画工事,区画工事,,
+躯体改修,躯体改修,不要,
+空気調和設備,空気調和設備,不要,
+型枠,型枠,,
+型枠工事,型枠,,
+建具,建具,,
+建具改修,建具改修,不要,
+建具工事,建具,,
+建設副産物処理費,建設副産物処理費,不要,
+建築,鉄筋,,
+工作物,工作物,,
+構内交換設備,構内交換設備,不要,
+構内情報通信網設備,構内情報通信網設備,不要,
+構内通信線路,構内通信線路,不要,
+構内配電線路,構内配電線路,不要,
+構内舗装,構内舗装,,
+左官,左官,,
+左官工事,左官,,
+自動制御設備,自動制御設備,不要,
+芝張り,植栽工事,必要,
+車両出入口部水路,車両出入口部水路,不要,
+受変電設備,受変電設備,不要,
+樹木,植栽,必要,
+樹木撤去工事,樹木撤去,不要,
+小荷物搬送用昇降機,昇降機,必要,新規
+床輻射空調設備,床輻射空調設備,不要,
+昇降機,昇降機,必要,新規
+昇降機設備,昇降機,必要,新規
+昇降機設備工事,昇降機,必要,新規
+消火設備,消火設備,不要,
+上屋工事,附属棟,,
+情報表示設備,情報表示設備,不要,
+浄化槽設備,浄化槽設備,不要,
+植栽,植栽,,
+植栽工事,植栽,,
+厨房機器,ユニット及びその他,必要,
+石,石,,
+石工事,石,,
+設備工事解体工事と連絡通路など,設備工事解体工事と連絡通路など,不要,
+大口径気送管設備,大口径気送管設備,不要,
+地業,地業,,
+地業工事,地業,,
+直接仮設,直接仮設,,
+直接仮設・仕上,直接仮設・仕上,不要,
+直接仮設工事,直接仮設,,
+撤去,撤去,不要,
+撤去工事,撤去工事,不要,
+鉄筋,鉄筋,,
+鉄筋工事,鉄筋,,
+鉄骨,鉄骨,,
+鉄骨工事,鉄骨,,
+電機設備,電機設備,不要,
+電気設備,電気設備,不要,
+電灯設備,電灯設備,不要,
+電熱設備,電熱設備,不要,
+塗装,塗装,,
+塗装改修,塗装改修,不要,
+塗装工事,塗装,,
+土工,土工,,
+土工事,土工,,
+動力設備,動力設備,不要,
+道路切り下げ,道路切り下げ,,
+内外装,内外装,,
+内外装工事,内外装,,
+内装改修,内装改修,不要,
+熱中症対策設備,熱中症対策設備,不要,
+排水,屋外排水,,
+排水工事,屋外排水,,
+排水設備,屋外排水,,
+発生材,発生材,不要,
+発生材処分,発生材処理,必要,新規
+発生材処分費,発生材処理,必要,新規
+発生材処理,発生材処理,必要,新規
+発生材積込み運搬費,発生材処理,必要,新規
+発電設備,発電設備,不要,
+舗装,構内舗装,必要,
+舗装工事,構内舗装,,
+防水,防水,,
+防水改修,防水改修,不要,
+防水工事,防水,,
+防犯・入退室管理設備,防犯・入退室管理設備,不要,
+免震装置,免震,,
+木,木工,,
+木工,木工,,
+木工事,木工,,
+門,囲障,必要,新規
+誘導支援設備,誘導支援設備,不要,
+擁壁工,擁壁工,必要,新規
+擁壁,擁壁工,必要,新規

routes/predict.py

@@ -7,7 +7,7 @@ from fastapi.responses import FileResponse
 from auth import get_current_user
 from services.sentence_transformer_service import SentenceTransformerService, sentence_transformer_service
 from data_lib.input_name_data import InputNameData
-from data_lib.base_data import COL_NAME_SENTENCE
+from data_lib.base_name_data import COL_NAME_SENTENCE
 from mapping_lib.name_mapping_helper import NameMappingHelper
 from config import UPLOAD_DIR, OUTPUT_DIR
 
@@ -40,7 +40,7 @@ async def predict(
         # Process input data
         inputData = InputNameData(sentence_service.dic_standard_subject)
         inputData.load_data_from_csv(input_file_path)
-        inputData.process_data()
+        inputData.process_data(sentence_service.sentenceTransformerHelper)
         input_name_sentences = inputData.dataframe[COL_NAME_SENTENCE]
         input_name_sentence_embeddings = sentence_service.sentenceTransformerHelper.create_embeddings(input_name_sentences)
         
@@ -62,7 +62,7 @@ async def predict(
         df_predicted = nameMappingHelper.map_standard_names()
 
         # Create output dataframe and save to CSV
-        column_to_keep = ['シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
+        column_to_keep = ['ファイル名', 'シート名', '行', '科目', '中科目', '分類', '名称', '摘要', '備考']
         output_df = inputData.dataframe[column_to_keep].copy()
         output_df.reset_index(drop=False, inplace=True)
         output_df.loc[:, "出力_科目"] = df_predicted["出力_科目"]