英文:
I am not getting the count of results I want, when i scrape a webpage with BeautifulSoup&Python
问题
I got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.
Page:
<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>
My Codes:
import requestsfrom bs4 import BeautifulSoupURL = 'https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL'headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}page = requests.get(URL, headers=headers)content = BeautifulSoup(page.content, 'html.parser')numberOfNotifications = content.find(style="font-weight : bold; ").get_text()print(numberOfNotifications)
The result I got:
{{memberVm.disclosures.length}}
英文:
When i try to get count of results, i got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.
Page:
<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>
My Codes:
import requestsfrom bs4 import BeautifulSoupURL = 'https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL'headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}page = requests.get(URL, headers = headers)content = BeautifulSoup(page.content, 'html.parser')numberOfNotifications = content.find(style="font-weight : bold; ").get_text()print(numberOfNotifications)
the result i got:
{{memberVm.disclosures.length}}
答案1
得分: 1
页面上显示的数据是通过JavaScript从外部URL加载的，所以beautifulsoup看不到它。 但你可以模拟这个请求：```pyimport requestsimport pandas as pdapi_url = 'https://www.kap.org.tr/tr/api/memberDisclosureQuery'payload = {"bdkMemberOidList": [],"bdkReview": "","discIndex": [],"disclosureClass": "","fromDate": "","fromSrc": "Y","inactiveMkkMemberOidList": [],"index": "","isLate": "","mainSector": "","market": "","memberType": None,"mkkMemberOidList": [],"prd": "","ruleType": "","sector": "","srcCategory": "4","subjectList": ["srp2205201503" # <-- from the URL "s=" parameter: "https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL"],"subSector": "","term": "","toDate": "","year": ""}data = requests.post(api_url, json=payload).json()df = pd.DataFrame(data)print(df)
publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount0 Dün 17:44 BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 01 Dün 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 02 Dün 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 03 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 04 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 05 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 06 13.07.23 18:43 CW ENERJİ MÜHENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 07 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 08 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 09 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 010 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 011 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 012 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi<details><summary>英文:</summary>The data you see on the page is loaded from external URL via javascript, so [tag:beautifulsoup] doesn't see it. You can however simulate this request:```pyimport requestsimport pandas as pdapi_url = 'https://www.kap.org.tr/tr/api/memberDisclosureQuery'payload = {"bdkMemberOidList": [],"bdkReview": "","discIndex": [],"disclosureClass": "","fromDate": "","fromSrc": "Y","inactiveMkkMemberOidList": [],"index": "","isLate": "","mainSector": "","market": "","memberType": None,"mkkMemberOidList": [],"prd": "","ruleType": "","sector": "","srcCategory": "4","subjectList": ["srp2205201503" # <-- from the URL "s=" parameter: "https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL"],"subSector": "","term": "","toDate": "","year": ""}data = requests.post(api_url, json=payload).json()df = pd.DataFrame(data)print(df)
Prints:
publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount0 Dün 17:44 BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 01 Dün 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 02 Dün 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 03 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 04 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 05 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 06 13.07.23 18:43 CW ENERJİ MÜHENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 07 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 08 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 09 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 010 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 011 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 012 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170396 False ASTOR False 013 10.07.23 18:11 ONCOSEM ONKOLOJİK SİSTEMLER SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Denizli Pamukkale Üniversitesi ile imzalanan sözleşme hk. Yeni İş İlişkisi - 1169427 False ONCSM False 014 10.07.23 11:30 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1168462 False ASTOR False 015 10.07.23 11:07 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Sözleşmesi Yeni İş İlişkisi - 1168455 False GESAN False 016 07.07.23 17:41 QUA GRANITE HAYAL YAPI VE ÜRÜNLERİ SANAYİ TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167427 False QUAGR False 017 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167195 False ASTOR False 018 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167194 False ASTOR False 019 07.07.23 11:38 SAY YENİLENEBİLİR ENERJİ EKİPMANLARI SANAYİ VE TİCARET A.Ş. False ODA ODA ODA GE (General Electic) Şirketiyle Sözleşme İmzalanması Hk. Yeni İş İlişkisi - 1166961 False SAYAS False 020 06.07.23 16:44 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166356 False ASTOR False 021 06.07.23 16:43 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166355 False ASTOR False 022 06.07.23 09:08 GÜR-SEL TURİZM TAŞIMACILIK VE SERVİS TİCARET A.Ş. False ODA ODA ODA Yeni İş Sözleşmesi Yeni İş İlişkisi - 1166112 False GRSEL False 023 05.07.23 16:54 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165923 False ASTOR False 024 04.07.23 17:26 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165386 False ASTOR False 025 04.07.23 08:58 YEO TEKNOLOJİ ENERJİ VE ENDÜSTRİ A.Ş. False ODA ODA ODA Şirketin Yeni İş Alımı ve Sözleşme İmzalanması Hakkında. Yeni İş İlişkisi - 1164986 False YEOTK False 026 03.07.23 18:47 ORGE ENERJİ ELEKTRİK TAAHHÜT A.Ş. False ODA ODA ODA Kalibre Boru Çatı Güneş Enerji Santralleri Projesine ilişkin sözleşme imzalanması Yeni İş İlişkisi - 1164638 False ORGE False 027 03.07.23 09:23 AZTEK TEKNOLOJİ ÜRÜNLERİ TİCARET A.Ş. False ODA ODA ODA InfinityLab markasının Türkiye yetkili distribütörlüğünün kazanılması hakkında Yeni İş İlişkisi - 1163177 False AZTEK False 028 23.06.23 17:36 SMART GÜNEŞ ENERJİSİ TEKNOLOJİLERİ ARAŞTIRMA GELİŞTİRME ÜRETİM SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni iş ilişkisi Yeni İş İlişkisi - 1161927 False SMRTG True 029 22.06.23 18:31 ARD GRUP BİLİŞİM TEKNOLOJİLERİ A.Ş. False ODA ODA ODA Tesk A.Ş. İle Sözleşme İmzalanması Hk. Yeni İş İlişkisi - 1161391 False ARDYZ False 030 21.06.23 18:22 AZTEK TEKNOLOJİ ÜRÜNLERİ TİCARET A.Ş. False ODA ODA ODA Migros Ticaret A.Ş. ile imzalanan Tedarik Sözleşmesi Hakkında Yeni İş İlişkisi - 1161014 False AZTEK False 031 21.06.23 16:19 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160871 False CVKMD False 032 20.06.23 18:15 ALFA SOLAR ENERJİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160562 False ALFAS True 033 19.06.23 20:46 KOCAER ÇELİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Bağlantısı Yeni İş İlişkisi - 1160172 False KCAER True 0
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论