五月婷婷欧美视频_少女频道在线观看高清_欧美日韩视频一区二区三区_7777精品伊久久久大香线蕉语言

首頁 > 機器人資訊 > 應用AI之前,你必須了解的10項準備工作

應用AI之前,你必須了解的10項準備工作

日期:2020-01-11   人氣:  來源:互聯網
簡介:首先,你知道自己想要預測或檢測什么嗎?你有足夠的數據進行分析以建立預測模型嗎?你有定義模型和訓練模型所需的人員和工具嗎?你已經有了統計或物理模型來作為一個預測基準嗎? 這篇文章對你的人工智能和機器學習項目進行分解,討論其各個部分所帶來的影……

首先,你知道自己想要預測或檢測什么嗎?你有足夠的數據進行分析以建立預測模型嗎?你有定義模型和訓練模型所需的人員和工具嗎?你已經有了統計或物理模型來作為一個預測基準嗎?

這篇文章對你的人工智能和機器學習項目進行分解,討論其各個部分所帶來的影響,從而幫助你確定公司是否真正準備需要利用機器學習、深度學習或人工智能。

你擁有大量的數據

足夠的相關數據是預測和特征識別的必要條件。有了它,你可能會成功;沒有它,則注定失敗。那么你需要多少數據呢?你嘗試納入模型的因素越多,所需要的數據就越多,無論你是在做普通的統計預測、機器學習還是深度學習。

以銷售預測中常見的問題為例,比如,為了避免延遲交貨,且不會占用太多金錢和現貨貨架空間,那么你下個月將在邁阿密出售多少海軍藍短袖襯衫?以及你需要在邁阿密店和亞特蘭大倉庫中儲備多少存活?零售是強季節性行業,所以你需要從多年的歷史數據中總結出有統計學意義的月度數據,從而修正月度銷量波動,并建立一個年化趨勢這還只是一個標準的時間序列分析。機器學習比統計模型需要更多的數據,而深度學習模型是它的好幾倍。

統計模型會分析你的全國連鎖店在5+年間的襯衫月銷量,并使用這一數據來預測下個月的襯衫銷量,可能有幾十萬(假設是30萬)。然后你可以預測邁阿密的襯衫銷量占全國銷量的百分比(假設是3%),并單獨預測出藍色短袖上衣銷量所占襯衫性銷量的百分比(假設是1%)。該模型會指出,下個月藍色短袖襯衫總銷量的90%左右將售于邁阿密。你可以通過對比不同產品的年度同店銷量來核實預測結果,同時分析它們之間的差異程度。

現在,假設你想要考慮一些外部因素,比如天氣和流行趨勢。短袖襯衫在熱天或晴天時是不是比陰雨天時賣的更好?可能如此。你可以將歷史氣象數據納入到你的模型中來做預測,雖然這樣做有點笨拙,因為你需要做一個時間序列的統計模型,所以你可能會決定使用回歸森林,順便再試試其它7種回歸機器學習模型,然后將每個模型測得的「cost」(一個歸一化誤差函數)與去年的實際結果相比較,從而找到最佳模型。

相比于去年同時段的海軍藍襯衫銷量,下個月會更好還是更差?你可以看看海軍藍服裝所有的月度銷量,并預測出年度流行趨勢,然后將其納入到你的機器學習模型中。或者你可能需要來自時尚媒體方面的信息對模型進行手動校正。(「為以防萬一,假設下月銷量會提高20%。」)

也許你想建立一個深度神經網絡來完善這個模型。你可能會發現,每添加一個隱藏層,就可以將回歸誤差提高幾個百分點,直到某一時刻,再添加隱藏層也無濟于事,此后收益遞減。這種情況可能是因為模式中沒有更多的特征可供識別,或者更可能的原因是,已經沒有足夠多的數據來支持模型的深入改進。

你有足夠的數據科學家

可能你已經注意到,單個人需要獨自建立上面討論的所有模型。其實不是這樣,建模型不僅僅是把數據倒在漏斗中然后按個按鈕這么簡單。不管你使用哪種工具盡管供應商可能對此會有要求,它需要經驗、直覺、編程能力和良好的統計學背景,這樣才能輕松駕馭機器學習,從而實現你的想法。

尤其是某些廠商往往聲稱,「任何人」或「任何業務角色」都可以使用商家預先訓練過、可應用的機器學習模型。如果該模型正好可以解決手頭的問題,這話不假,庫卡機器人何服電機維修,比如將正式的魁北克法語文本翻譯為英語,但更常見的情況是,現有的訓練過的機器學習模型并不適用于你的數據。既然你已經訓練了模型,你就需要數據分析師和數據科學家來指導訓練,這更像是一門藝術,而非工程或科學。

在招聘數據科學家時,最奇怪的事情之一就是對工作崗位的要求,尤其是與受聘者的實際技能相比。廣告上經常說「招聘:數據科學家。STEM博士。20年經驗。」第一個怪事是,該領域的發展歷程還未足20年。第二件怪事是,公司雇傭26歲的碩士畢業生也即除學術界外沒有任何工作經驗,與20年經驗的要求相去甚遠偏好那些已經有相關經驗的人,因為他們擔心高級人員太貴,盡管他們的要求是20年工作經驗。是的,這很虛偽,且十之八九是非法的年齡歧視,但現實情況就是這個樣子。

你跟蹤或獲得那些重要的因素

即使你有大量的數據和很多數據科學家,你也可能無法擁有包含所有相關變量的數據。以數據庫術語的話說,你可能有大量的行,但缺少一些列。統計學上來說就是,你可能有無法解釋的方差。

一些獨立變量的測量(比如天氣觀測)很容易獲得并被合并到數據集中,甚至可在事后被合并。其它一些變量的測量或獲取過程可能較為困難,比如不切實際或成本高昂,即使你知道這些變量是什么。

舉一個化學領域的例子。當你在銅上鍍鉛時,你可以測量氟硼酸鍍液的溫度和濃度,并記錄陽極電壓,但如果溶中沒有適宜數量的肽鏈,那么你就不會得到很好的結果。如果你沒有稱量放入溶液中的肽鏈,就無法知道這種關鍵催化劑的劑量,那么你將無法使用其它變量來解釋電鍍質量的變化。

你有清理和轉換數據的方法

數據幾乎總是那么嘈雜。測量過程可能會丟失一個或多個值;單個值可能會超出范圍,或與同一計量過程中的其它值不相稱;電子測量可能由于電噪聲而變得不準確;回答問題的人可能并不理解問題本身,或是編造答案;諸如此類。

在任何分析過程中,工業機器人維修,數據過濾步驟通常需要消耗最多設置時間是根據我的經驗,它占到總分析時間的80%到90%。有些公司在它們的ETL(提取、轉換和加載)過程中清理數據,這樣分析師應該永遠都看到不良數據點了,而其它公司則將數據與ETL(以及最后一步的轉換步驟)過程放在數據倉庫或數據湖中。這意味著,即使是最容易過濾掉的臟數據也會被保存下來,理論上,過濾器和轉換步驟需要隨著時間的推移而進行改進。

即使是過濾后的精確數據可能也需要在分析前做進一步的轉換。與統計學方法一樣,只有當每種可能的狀態都有相似的行數時,機器學習模型的效果才最好,這意味著,那些最受歡迎的狀態數可能會由于隨機抽樣而減少;同樣,當所有變量的范圍都被標準化后,機器學習模型才能達到最佳效果。

例如在微軟的一篇博文中,微軟小娜分析了特朗普和克林頓的競選捐款,說明了準備機器學習數據集的方式:創建標簽、處理數據、設計附加功能以及清洗數據。這種分析用SQL和R語言做了幾個轉換,以確定與克林頓或特朗普相關的各種委員會和競選資金,并基于捐贈者的姓名來確定他們的性別,以及糾正拼寫錯誤,并修復類之間的不平衡性(數據集中有94%都是克林頓的捐款,且大部分是小額捐款)。

你已經對數據做了統計分析

在分析數據和解決問題時,最應該避免的就是一個勁地往前沖。在你能夠弄清楚發生的事情及其原因之前,你需要退后一步,看一看所有的變量及其相互之間的關系。

免責聲明:本網部分文章和信息來源于互聯網,本網轉載出于傳遞更多信息和學習之目的。如轉載稿涉及版權等問題,請立即聯系網站所有人,我們會予以更改或刪除相關文章,保證您的權利。
主站蜘蛛池模板: 张家界市| 仲巴县| 佳木斯市| 淮南市| 乡城县| 荣昌县| 得荣县| 屏东市| 象山县| 定西市| 讷河市| 巫山县| 应城市| 微博| 石景山区| 鄂托克旗| 黑龙江省| 兴义市| 新化县| 晋城| 搜索| 陆丰市| 额济纳旗| 洮南市| 连江县| 旅游| 乃东县| 荃湾区| 启东市| 师宗县| 昌图县| 镇康县| 哈巴河县| 河池市| 昌都县| 棋牌| 茶陵县| 开封市| 宁津县| 黎平县| 博罗县|