在Web開發(fā)過程中，Web端數(shù)據(jù)采集主要通過三種方式實(shí)現(xiàn)：服務(wù)器日志、URL解析及JS回傳。

1.服務(wù)器日志：指Web服務(wù)器軟件，例如Httpd、Nginx、Tomcat等自帶的日志，例如Nginx的日志等；2.URL解析：指訪問服務(wù)器時(shí)，將URL信息及攜帶的參數(shù)進(jìn)行解析后，上傳服務(wù)器，例如在進(jìn)行數(shù)據(jù)搜索官網(wǎng)地址時(shí)，我們可以獲得本次用戶搜索的內(nèi)容search為“iphone”；

3.JS回傳：指在Web頁面上添加的各類統(tǒng)計(jì)插件，通過在頁面嵌入自定義的Javascript代碼來獲取用戶的訪問行為(比如鼠標(biāo)懸停的位置，點(diǎn)擊的事件等)，然后通過Ajax請(qǐng)求到后臺(tái)記錄日志。 數(shù)據(jù)分析:埋點(diǎn)作為原料放在數(shù)據(jù)倉庫中。提供渠道轉(zhuǎn)化、個(gè)性推薦等。前端埋點(diǎn)方案

前端埋點(diǎn)-數(shù)倉庫表的開發(fā)成本：

埋點(diǎn)數(shù)據(jù)落到數(shù)倉后，需要預(yù)先建立哪些表，如何做埋點(diǎn)數(shù)據(jù)的分層；畢竟埋點(diǎn)的數(shù)據(jù)體量是非常大的，TB級(jí)數(shù)據(jù)的存儲(chǔ)本身就是一個(gè)比較大的成本，再加上調(diào)度系統(tǒng)、計(jì)算資源、運(yùn)行性能等方面，就需要數(shù)倉團(tuán)隊(duì)在一開始就要把數(shù)據(jù)模型提前建立好，做好ods層到dw層、ads層的劃分，維度和事實(shí)之間的建設(shè)；

數(shù)倉性能，時(shí)間問題（hive）：因?yàn)槁顸c(diǎn)數(shù)據(jù)的體量問題，落表的時(shí)候，一定會(huì)存在大量的冗余字段，如果集群資源比較緊張，對(duì)于常規(guī)數(shù)據(jù)的統(tǒng)計(jì)、計(jì)算都會(huì)帶來性能上的問題；在數(shù)據(jù)團(tuán)隊(duì)的架構(gòu)中，有對(duì)外提供數(shù)據(jù)應(yīng)用服務(wù)，對(duì)于數(shù)據(jù)的實(shí)時(shí)計(jì)算就有一定的要求，什么場景下應(yīng)該是T+1，什么場景下應(yīng)該是偽實(shí)時(shí)，避免數(shù)據(jù)調(diào)度任務(wù)影響前臺(tái)應(yīng)用產(chǎn)出。 有哪些前端埋點(diǎn)和前端監(jiān)控產(chǎn)品代碼埋點(diǎn)優(yōu)點(diǎn)傳遞多樣化自定義屬性、自定義事件，傳遞比較豐富的數(shù)據(jù)到服務(wù)端。

埋點(diǎn)本身現(xiàn)在已經(jīng)有太多的集成解決方案，如webfunny、神策、GIO等平臺(tái)，但是在實(shí)踐的過程中仍然還是會(huì)碰都很多問題，給前端埋點(diǎn)同學(xué)分享下：埋點(diǎn)實(shí)踐過程中碰到的坑點(diǎn)。

①埋點(diǎn)開發(fā)技術(shù)執(zhí)行不到位的問題絕大多數(shù)情況下我們說埋點(diǎn)，一般都是說前端埋點(diǎn)，前端開發(fā)工程師在做埋點(diǎn)的時(shí)候又多是人為埋點(diǎn)，在開發(fā)過程中，會(huì)造成部分信息冗余、重復(fù)、記錄不完整的情況存在；

②多產(chǎn)品之間的模塊差異化問題埋點(diǎn)不能夠只有一套標(biāo)準(zhǔn)規(guī)范，多生態(tài)應(yīng)用下，業(yè)務(wù)繁瑣，在產(chǎn)品、技術(shù)的架構(gòu)上有明顯的差異，不同的產(chǎn)品、模塊、坑位、點(diǎn)擊事件的定義也可能有一定的區(qū)別，這時(shí)候可能需要根據(jù)場景劃分不同的埋點(diǎn)標(biāo)準(zhǔn)；

③自定義埋點(diǎn)信息的鍵對(duì)設(shè)計(jì)問題往往會(huì)在埋點(diǎn)里面增加一個(gè)json的字段（bdata），在埋點(diǎn)的時(shí)候?qū)懭胱远x的業(yè)務(wù)信息進(jìn)行場景識(shí)別，譬如活動(dòng)id、業(yè)務(wù)信息、用戶快照的基本信息等，不同開發(fā)寫入的自定義字段格式可能會(huì)有差異；

埋點(diǎn)行為數(shù)據(jù)對(duì)畫像建設(shè)的價(jià)值。

常規(guī)的數(shù)據(jù)標(biāo)簽主要是用戶當(dāng)前的狀態(tài)或者行為的結(jié)果值，缺少行為過程的畫像刻畫；而埋點(diǎn)行為數(shù)據(jù)則可以將這部分內(nèi)容補(bǔ)齊，描述用戶的行為過程，讓運(yùn)營人員可以時(shí)刻關(guān)注用戶的行為階段并給予個(gè)性化的反饋。

同時(shí)，相較于數(shù)據(jù)的畫像，基于埋點(diǎn)數(shù)據(jù)的用戶畫像更新頻率多為日，甚至可以實(shí)時(shí)更新，動(dòng)態(tài)變化屬性更強(qiáng)，時(shí)效性也更高。因此，埋點(diǎn)行為數(shù)據(jù)是構(gòu)建完整畫像數(shù)據(jù)的重要組成部分，不僅豐富了用戶數(shù)據(jù)的維度，還讓畫像標(biāo)簽更加數(shù)字?jǐn)M人化，更加完整地抽象出用戶信息全貌。 可視化埋點(diǎn)方案適用場景業(yè)務(wù)上下文數(shù)據(jù)相對(duì)簡單，操作交互比較固定的界面。

當(dāng)我們點(diǎn)擊一個(gè)控件時(shí)，要上報(bào)哪些內(nèi)容才能全的分析這個(gè)點(diǎn)擊行為呢？

準(zhǔn)確的說，一個(gè)事件的觸發(fā)，有4個(gè)因素：觸發(fā)者、觸發(fā)位置、觸發(fā)的事件、觸發(fā)的時(shí)間。(3)觸發(fā)的事件事件類型有瀏覽、點(diǎn)擊、曝光、懸浮，下拉、滾動(dòng)、長按、右鍵等等，常用的還是瀏覽和點(diǎn)擊。(4)觸發(fā)的事件事件觸發(fā)的時(shí)間一般取的是客戶端時(shí)間，也就是用戶的本地時(shí)間，如果用戶的設(shè)備是移動(dòng)端，取的就是手機(jī)時(shí)間，如果是電腦，取的就是電腦的時(shí)間。

但是客戶端的時(shí)間不太準(zhǔn)確，因?yàn)橛脩艨梢匀ジ脑O(shè)備時(shí)間。所以我們需要一個(gè)機(jī)制去校準(zhǔn)客戶端時(shí)間。一般的做法是，在上報(bào)事件時(shí)，我們會(huì)上報(bào)事件觸發(fā)時(shí)間t1和數(shù)據(jù)發(fā)送時(shí)間t2，服務(wù)端也會(huì)拿到一個(gè)接收數(shù)據(jù)的時(shí)間t3，如果t3-t2>60s，則認(rèn)為客戶端時(shí)間不準(zhǔn)，要對(duì)客戶端時(shí)間進(jìn)行修正，修正后的客戶端時(shí)間是：t1+(t3-t2)為啥t3-t2>60s會(huì)認(rèn)為不準(zhǔn)，因?yàn)閿?shù)據(jù)發(fā)送到接收的時(shí)間，一般不會(huì)超過60s。 前端監(jiān)控和前端埋點(diǎn)方案設(shè)計(jì)。有效的前端埋點(diǎn)方案

前端監(jiān)控和前端埋點(diǎn)sdk。前端埋點(diǎn)方案

埋點(diǎn)的功能作用：分析運(yùn)營策略的合理性，優(yōu)化用戶體驗(yàn)，提高使用效率。（精細(xì)營銷、場景化提示/私人助理）比如用戶去餐廳購買產(chǎn)品，每次都需要在APP中選擇是否使用優(yōu)惠券，但是通過埋點(diǎn)發(fā)現(xiàn)，全部的用戶對(duì)于該商家都是選擇的否，那么說明該商家是從來沒有進(jìn)行優(yōu)惠券的發(fā)放，那么就可以考慮在商家版中增加一個(gè)是否讓用戶選擇優(yōu)惠券的選項(xiàng)，若商家沒有優(yōu)惠券，那么用戶就可以直接跳過選擇是否使用優(yōu)惠券，從而提升用戶體驗(yàn)及使用效率，分析用戶消費(fèi)行為，分析不同渠道用戶行為差異。前端埋點(diǎn)方案

上海觀縱科技有限公司是我國webfunny前端監(jiān)控，webfunny前端埋點(diǎn)，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運(yùn)維監(jiān)控專業(yè)化較早的有限責(zé)任公司之一，公司始建于2022-11-14，在全國各個(gè)地區(qū)建立了良好的商貿(mào)渠道和技術(shù)協(xié)作關(guān)系。公司主要提供一般項(xiàng)目:技術(shù)服務(wù)、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應(yīng)用軟件開發(fā);數(shù)據(jù)處理服務(wù);信息技術(shù)咨詢服務(wù);信息系統(tǒng)集成服務(wù):信息系統(tǒng)運(yùn)行維護(hù)服務(wù);計(jì)算機(jī)系統(tǒng)服務(wù);軟件銷售;計(jì)算機(jī)軟硬件及輔助設(shè)備批發(fā);計(jì)算機(jī)軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務(wù);市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計(jì)、代理;會(huì)議及展覽服務(wù);貨物進(jìn)出口。(除依法須經(jīng)批準(zhǔn)的項(xiàng)目外，憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動(dòng)) 許可項(xiàng)目:建筑智能化系統(tǒng)設(shè)計(jì);建設(shè)工程施工;網(wǎng)絡(luò)文化經(jīng)營;互聯(lián)網(wǎng)信息服務(wù)。(依法須經(jīng)批準(zhǔn)的項(xiàng)目，經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動(dòng)，具體經(jīng)營項(xiàng)目以相關(guān)部門批準(zhǔn)文件或許可證件為準(zhǔn))等領(lǐng)域內(nèi)的業(yè)務(wù)，產(chǎn)品滿意，服務(wù)可高，能夠滿足多方位人群或公司的需要。多年來，已經(jīng)為我國傳媒、廣電行業(yè)生產(chǎn)、經(jīng)濟(jì)等的發(fā)展做出了重要貢獻(xiàn)。