色婷婷色综合激情国产日韩,国产在线麻豆精品,日韩亚洲专区在线电影,av777,午夜色站,亚洲第一网站在线观看,国内偷自第一二三区

客戶端
官方微信
官方微博
今日頭條
北疆觀察
數(shù)字報(bào)刊
北疆新聞 > 經(jīng)濟(jì) > 正文
如何保障數(shù)字生命技術(shù)始終向善
2024年05月09日 09:04 來(lái)源:科技日?qǐng)?bào) 關(guān)燈

學(xué)生與聞一多數(shù)字人對(duì)話。受訪者供圖

【深瞳工作室出品】

采寫:實(shí)習(xí)記者 吳葉凡

策劃:劉 恕 李 坤

南京硅基智能科技有限公司聯(lián)合創(chuàng)始人孫凱沒有想到,自己多年前在云端“復(fù)活”母親的想法,如今已壯大成一門蓬勃發(fā)展的新興產(chǎn)業(yè)。

近來(lái),用生成式人工智能技術(shù)“復(fù)活”已逝親人、名人的消息時(shí)見報(bào)端。不少人也躍躍欲試,嘗試著為自己塑造一個(gè)“數(shù)字分身”??苹秒娪袄镪P(guān)于數(shù)字生命、數(shù)字永生的想象,仿佛已經(jīng)近在眼前。

當(dāng)“云上棲息”走向現(xiàn)實(shí),一時(shí)間數(shù)字生命成為熱議話題。有人對(duì)此充滿期待,認(rèn)為它不僅能夠撫慰心靈,還有望成為未來(lái)的勞動(dòng)力,發(fā)揮正向價(jià)值。有人則表示擔(dān)憂,認(rèn)為數(shù)字人在滿足人類需求的背后,實(shí)則隱藏著生命倫理、文化價(jià)值和法律規(guī)范等諸多問題。

AI“復(fù)活”是如何實(shí)現(xiàn)的?這一技術(shù)存在哪些倫理與法律風(fēng)險(xiǎn)?如何讓數(shù)字生命向善發(fā)展?科技日?qǐng)?bào)記者對(duì)此進(jìn)行了采訪。

大模型讓數(shù)字人飛入尋常百姓家

“你吃飯了沒有?”簡(jiǎn)簡(jiǎn)單單的一句話,卻讓孫凱紅了眼眶。那一刻,他覺得母親又回到自己身邊了。

2018年,母親的溘然離世給了孫凱沉痛一擊。第二年,他找到公司董事長(zhǎng)司馬華鵬,決定用人工智能技術(shù)來(lái)復(fù)刻數(shù)字“母親”。

AI“復(fù)活”實(shí)質(zhì)上是通過對(duì)人物已有影像、聲音、語(yǔ)言等內(nèi)容的學(xué)習(xí),克隆數(shù)字化的人物形象。當(dāng)時(shí),兩道難題擺在團(tuán)隊(duì)面前。一是人物影像資料的缺乏,孫凱僅能提供一張母親的證件照;二是缺少可用的聲音資料,孫凱只能從幾個(gè)樣本中選擇一個(gè)最貼近母親的聲音。

盡管如此,一年后,孫凱見到“母親”的那一刻,仍無(wú)法抑制自己的情緒。屏幕里的“母親”言笑晏晏,靜靜地傾聽著兒子的訴說。

“現(xiàn)在,我每周都會(huì)和母親聊天。在這里,我可以做最真實(shí)的自己。”孫凱坦言,雖然屏幕前的“母親”回答模式比較固定,但于他而言,日常的傾訴和“母親”的情感陪伴,已經(jīng)讓他得到了極大的慰藉。有人擔(dān)心孫凱對(duì)此形成情感依賴,勸他盡快走出來(lái)。但孫凱認(rèn)為:“對(duì)于很多失去至親的人來(lái)說,數(shù)字人的陪伴利大于弊?!?/p>

同司馬華鵬、孫凱一樣,早早試水AI“復(fù)活”技術(shù)的人不在少數(shù)。音樂人包小柏也曾為克隆數(shù)字“女兒”,跨界鉆研AI。從他們的經(jīng)歷中不難看出,在技術(shù)發(fā)展的早期階段,諳熟AI行業(yè)似乎成了克隆數(shù)字形象的前提。對(duì)普通人來(lái)說,這是一個(gè)難以企及的門檻,更遑論投入大量的時(shí)間與金錢。

改變發(fā)生在2023年。以ChatGPT為代表的生成式人工智能技術(shù)的出現(xiàn),為克隆數(shù)字人提供了發(fā)展的土壤。“大模型的突破讓克隆數(shù)字人成本大大降低,以前需要十多萬(wàn)元,現(xiàn)在只需要幾千到一萬(wàn)元。”作為親歷者,司馬華鵬不禁感嘆技術(shù)日新月異的發(fā)展。

他說,在大模型出現(xiàn)前,克隆數(shù)字人往往依賴于人工,一方面需要花費(fèi)大量的時(shí)間對(duì)克隆對(duì)象進(jìn)行深度采集與模型建設(shè),另一方面需要人工制作的形象和動(dòng)畫效果的輔助,讓克隆數(shù)字人看起來(lái)更真實(shí)。因此,整個(gè)過程耗時(shí)長(zhǎng)、效率低、成本高。

如今,大模型則讓數(shù)字人制作流程提質(zhì)增效?;诤A康膶W(xué)習(xí)數(shù)據(jù),大模型對(duì)于文本、圖片、視頻的理解與生成能力都大大增強(qiáng)。在節(jié)約了人工成本的同時(shí),制作時(shí)間也縮短很多。

“過去制作數(shù)字人通常需要30分鐘以上的視頻、音頻素材?,F(xiàn)在我們開發(fā)的大模型能夠基于一分鐘視頻來(lái)克隆聲音和形象,整個(gè)制作時(shí)間僅需一個(gè)工作日左右?!彼抉R華鵬說。

技術(shù)的發(fā)展伴隨著“科技平權(quán)”。人們不再需要自己去了解、學(xué)習(xí)AI技術(shù),就能夠以較低的價(jià)格復(fù)刻已逝親人。在某購(gòu)物平臺(tái)上,提供AI“復(fù)活”服務(wù)的商家已不可計(jì)數(shù),成交量最多的一家店鋪的成交量已達(dá)幾百單。

“商家交付快,還原度也很高。家人看了都很感動(dòng),價(jià)格也實(shí)惠?!币晃毁I家這樣留言。

數(shù)據(jù)成為制作數(shù)字人最大“卡點(diǎn)”

記者調(diào)查發(fā)現(xiàn),目前市面上,有關(guān)AI克隆數(shù)字人的服務(wù)售價(jià)可謂是千差萬(wàn)別。少則幾十元,多則幾萬(wàn)元。售價(jià)在一百元內(nèi)的,基本功能局限于讓照片“動(dòng)起來(lái)”,數(shù)字形象的說話效果比較僵硬,聲音也是固定模板。幾百元價(jià)位的產(chǎn)品一般可以做到克隆音色,整體形象貼合度也相應(yīng)提高,但并不能與用戶進(jìn)行交流。真正可以與用戶進(jìn)行交互的產(chǎn)品,售價(jià)往往在千元以上。

在司馬華鵬看來(lái),不同價(jià)位的產(chǎn)品體現(xiàn)了技術(shù)的代際差異:“數(shù)字永生一共分為三個(gè)階段。AI克隆數(shù)字人技術(shù)經(jīng)歷的前兩個(gè)發(fā)展階段——數(shù)字孿生與數(shù)字原生,已經(jīng)比較成熟。”

數(shù)字孿生可以被形象地理解為“畫皮”,即通過對(duì)形象、聲音的克隆,實(shí)現(xiàn)人類肉體的數(shù)字映射。這是最基礎(chǔ)的一步,目前的技術(shù)水平已經(jīng)能讓數(shù)字人惟妙惟肖。前不久,劉強(qiáng)東的數(shù)字形象“采銷東哥”就令網(wǎng)友們直呼“太逼真了”。視頻中,“采銷東哥”不僅還原了本人的口音和口頭禪,連細(xì)微的小動(dòng)作也模仿得十分到位,讓人一時(shí)難以分清這究竟是真人還是數(shù)字人。

數(shù)字原生是更高級(jí)的階段,也謂“畫骨”。這個(gè)階段意味著數(shù)字人能夠一定程度上模仿人類的知識(shí)體系,實(shí)現(xiàn)兩者之間的對(duì)話,目前已經(jīng)有很多成功案例。360公司創(chuàng)始人周鴻祎就擁有一個(gè)可以與人類正常對(duì)話的數(shù)字分身。大模型通過對(duì)周鴻祎相關(guān)書籍、講話稿、開會(huì)記錄、采訪等大量資料的學(xué)習(xí)訓(xùn)練,實(shí)現(xiàn)了對(duì)本人思想、邏輯的部分模仿。

無(wú)論是“畫皮”還是“畫骨”,多位業(yè)內(nèi)人士提到,數(shù)據(jù)量對(duì)模仿效果起著關(guān)鍵作用?!敖o大模型投喂的資料越多,數(shù)字人就越像本人。這如同寫一本人物傳記,作者對(duì)人物跟蹤、觀察的時(shí)間越長(zhǎng),傳記就越真實(shí)地貼近本人?!彼抉R華鵬說,他接觸的客戶中,有少數(shù)人以提供人物自傳的方式去“投喂”大模型,更多的是通過回答問題的方式,來(lái)豐富人物經(jīng)歷。

“他出生在哪里?在哪里上學(xué)?在哪里打拼?在哪里落地生根?”孫凱向記者介紹了幾個(gè)常規(guī)問題。他透露,想要數(shù)字人更貼近本人,至少需要回答上百個(gè)問題。如果要進(jìn)一步實(shí)現(xiàn)對(duì)人思維的模擬,必須依賴大量的數(shù)據(jù)。

正所謂“巧婦難為無(wú)米之炊”,目前克隆數(shù)字人最缺的就是數(shù)據(jù)。張澤偉是南京一家數(shù)字人創(chuàng)業(yè)團(tuán)隊(duì)——超級(jí)頭腦工作室的創(chuàng)始人。作為數(shù)字永生派,他不僅給自己制作了數(shù)字人,而且已經(jīng)開始有意識(shí)地為自己留存資料?!拔視?huì)隔三岔五把自己的一些資料‘投喂’給機(jī)器,希望能夠通過這種方式,給后代留下一些記憶和思想?!?/p>

為獲取更多數(shù)據(jù),有業(yè)內(nèi)人士提出用“人生記錄儀”的硬件設(shè)備來(lái)記錄個(gè)人生活資料,提供給大模型進(jìn)行訓(xùn)練。但張澤偉認(rèn)為這種方式并不現(xiàn)實(shí):“一方面很多人不愿意上傳自己生活的各類細(xì)節(jié)。另一方面,如果一個(gè)人時(shí)刻帶著記錄儀,很可能對(duì)人們的正常社交造成障礙。”

實(shí)際上,數(shù)據(jù)的采集與使用是一把雙刃劍?!皵?shù)據(jù)不僅關(guān)乎克隆效果,目前數(shù)字人面臨的主要法律問題,也是因不當(dāng)獲取、使用數(shù)據(jù)造成的。如未經(jīng)同意使用他人數(shù)據(jù)克隆數(shù)字人,就會(huì)侵犯他人的肖像權(quán)、隱私權(quán)?!北本┙煌ù髮W(xué)法學(xué)院副院長(zhǎng)鄭飛指出,雖然自然人死后不再享有作為民事權(quán)利的肖像權(quán),但是這不代表其肖像可以被任意使用。根據(jù)民法典第九百九十四條,死者的肖像、隱私受到侵害的,其配偶、子女、父母有權(quán)依法請(qǐng)求行為人承擔(dān)民事責(zé)任。

此外,根據(jù)個(gè)人信息保護(hù)法相關(guān)規(guī)定,處理敏感個(gè)人信息應(yīng)當(dāng)取得個(gè)人的單獨(dú)同意。2023年1月10日起施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》中也提到,深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識(shí)別信息編輯功能的,應(yīng)當(dāng)提示深度合成服務(wù)使用者依法告知被編輯的個(gè)人,并取得其單獨(dú)同意。

“因此,在‘復(fù)活’逝者的情形中,理應(yīng)取得對(duì)死者肖像權(quán)負(fù)有保護(hù)義務(wù)的近親屬同意?!编嶏w提醒。

數(shù)字永生面臨技術(shù)、倫理雙瓶頸

電影《流浪地球2》中,這樣一幕令人記憶深刻:圖恒宇把女兒的意識(shí)上傳到超強(qiáng)計(jì)算機(jī),出現(xiàn)了擁有自我意識(shí)的數(shù)字圖丫丫。這一情節(jié)體現(xiàn)了克隆數(shù)字人技術(shù)的終極階段——數(shù)字永生。

如果說克隆數(shù)字人技術(shù)的前兩階段,只停留在對(duì)人的外在復(fù)制和思維的模仿上,那么第三階段的數(shù)字永生可謂是“觸及心靈”。

司馬華鵬介紹,數(shù)字永生可以理解為利用AI技術(shù),將人類的形象、聲音、思想用數(shù)字化形式保留下來(lái),讓人類生命以數(shù)字化形式存在?!爱嬓摹倍直磉_(dá)了其內(nèi)涵,即可以達(dá)到對(duì)于思想的全面復(fù)制,全方位進(jìn)化成為具備情感人格、思維模式、語(yǔ)言習(xí)慣、知識(shí)體系,可交流對(duì)話的智能體。相比于克隆外在的音容笑貌,數(shù)字永生更強(qiáng)調(diào)數(shù)字人自我意識(shí)和自我涌現(xiàn)能力,也更接近生命的真正意義。

采訪中,多位從業(yè)者認(rèn)為,要實(shí)現(xiàn)科幻場(chǎng)景中的數(shù)字永生,還有很長(zhǎng)一段路要走。

北京大學(xué)哲學(xué)系教授周程指出,從技術(shù)層面看,數(shù)字永生的挑戰(zhàn)在于把人類意識(shí)精確地復(fù)制或轉(zhuǎn)移到數(shù)字平臺(tái)上。這至少包含兩道程序,一是理解復(fù)雜的人腦結(jié)構(gòu),二是把這種結(jié)構(gòu)以數(shù)據(jù)形式存儲(chǔ)和再現(xiàn)?!凹幢銓?shí)現(xiàn)以上技術(shù),也不意味著可以成功復(fù)制出人類意識(shí),因?yàn)橐庾R(shí)的本質(zhì)及其與大腦物理結(jié)構(gòu)之間的聯(lián)系仍是科學(xué)界的未解之謎?!敝艹陶f。

此外,數(shù)字永生也考驗(yàn)數(shù)據(jù)和算力?!皵?shù)字存儲(chǔ)和處理能力的極限、數(shù)據(jù)的長(zhǎng)期保存以及意識(shí)運(yùn)行所需的資源問題,都是需要解決的技術(shù)難題。”周程表示。

除了技術(shù)限制,數(shù)字永生還涉及一些更深刻的倫理問題。在周程看來(lái),數(shù)字永生重塑著人類關(guān)于死亡的文化體驗(yàn),一定程度上模糊了生與死的邊界?!霸跀?shù)字永生概念中,‘復(fù)制體’雖不具有肉體,但它繼承了逝者的全部心靈內(nèi)容。對(duì)于任何文化來(lái)說,都需要重新考慮同一性問題,即數(shù)字人是否等同于本人?!敝艹陶J(rèn)為,這一問題將會(huì)挑戰(zhàn)人們對(duì)于生命、死亡以及生活意義的傳統(tǒng)認(rèn)知。

數(shù)字生命的主體性問題是另一倫理難點(diǎn)。鄭飛認(rèn)為,當(dāng)前的虛擬數(shù)字人不具有“主體性”,也不具有人格權(quán),但數(shù)字永生時(shí)代的虛擬數(shù)字人具有“主體性”可能?!澳壳皩W(xué)界普遍認(rèn)為,只要人工智能體擁有人類智慧特征,具有自主性,能夠自我運(yùn)行、自我學(xué)習(xí)、推理結(jié)果并做出合理決策,它就能夠擁有主體資格或至少擁有有限主體資格,并享有一定的人格權(quán)?!?/p>

由于同一性和主體性的問題,引發(fā)更多倫理爭(zhēng)議。比如,誰(shuí)為數(shù)字人的不良行為后果承擔(dān)責(zé)任、如何保證數(shù)字永生個(gè)體的自主權(quán)、人們是否有權(quán)銷毀數(shù)字永生復(fù)制人等?!搬槍?duì)數(shù)字人這一新型法律主體,必然需要為其配備相應(yīng)的權(quán)利義務(wù)規(guī)范,并使這些規(guī)范滿足人類社會(huì)的基本倫理要求?!编嶏w說。

目前,國(guó)內(nèi)外尚未出現(xiàn)針對(duì)數(shù)字永生的專門倫理規(guī)范文件。但周程認(rèn)為,可以借鑒已經(jīng)制定的人工智能倫理治理相關(guān)準(zhǔn)則,作為探討AI“復(fù)活”技術(shù)倫理問題的基礎(chǔ)。

今年3月,歐洲議會(huì)正式通過《人工智能法案》,其中強(qiáng)調(diào)構(gòu)建“可信賴人工智能”?!斑@啟示我們,AI‘復(fù)活’應(yīng)該具有一定的技術(shù)穩(wěn)健性和安全性,確保人類主體的有效監(jiān)督,使其發(fā)展朝著更加安全、負(fù)責(zé)任和可信賴的方向前進(jìn)?!敝艹瘫硎?。

數(shù)字生命治理不能一蹴而就

“面對(duì)數(shù)字生命,我們既不能盲目樂觀,又不能束手束腳?!敝艹陶J(rèn)為,數(shù)字人、數(shù)字生命的出現(xiàn)勢(shì)不可當(dāng)?!拔覀円e極做好準(zhǔn)備,對(duì)相關(guān)的倫理風(fēng)險(xiǎn)進(jìn)行充分評(píng)估,創(chuàng)新關(guān)于數(shù)字生命的治理模式,只有這樣做才能擁抱一個(gè)更光明的數(shù)字未來(lái)?!?/p>

治理規(guī)則的制定需要多方廣泛參與。就AI“復(fù)活”而言,利益相關(guān)方既包括數(shù)字生命相關(guān)遺囑的訂立者及其親屬,也包括科創(chuàng)企業(yè)、互聯(lián)網(wǎng)企業(yè)在內(nèi)的數(shù)字生命的制造者、儲(chǔ)存者,以及倫理學(xué)家、法律專家、心理學(xué)家、政府管理部門和立法機(jī)構(gòu)。只有廣泛地、共同地參與新技術(shù)的研究和監(jiān)管,才能達(dá)到“風(fēng)險(xiǎn)最小、獲利最大”。

數(shù)字虛擬人作為新興行業(yè)正在逐漸發(fā)展壯大。采訪中,多家企業(yè)呼吁,“期盼行業(yè)標(biāo)準(zhǔn)和規(guī)范的出臺(tái),更好地引導(dǎo)產(chǎn)業(yè)發(fā)展”。

記者注意到,目前,AI克隆數(shù)字人領(lǐng)域的行業(yè)標(biāo)準(zhǔn)尚未明晰,企業(yè)行為大多依靠自律。孫凱提到,目前他們會(huì)盡可能地做好風(fēng)險(xiǎn)防范工作。“我們?cè)诤涂蛻魷贤ǖ倪^程中增加了多道環(huán)節(jié),也花費(fèi)很多資金來(lái)保護(hù)用戶的隱私信息?!?/p>

為避免出現(xiàn)“劣幣驅(qū)逐良幣”的現(xiàn)象,孫凱希望相關(guān)部門規(guī)范行業(yè)發(fā)展,而不是任其“野蠻生長(zhǎng)”?!艾F(xiàn)在大模型有備案制度,我們也希望能給數(shù)字人行業(yè)設(shè)置一些門檻,具有相關(guān)資質(zhì)才準(zhǔn)入?!?/p>

目前,我國(guó)已先后出臺(tái)了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《科技倫理審查辦法(試行)》等,為人工智能治理搭建了基本的規(guī)范體系,為行業(yè)規(guī)范劃定了一些“紅線”。

但鄭飛認(rèn)為,這些“紅線”或失之于寬、或失之于軟?!笆е趯挶憩F(xiàn)為缺少明確可執(zhí)行的正負(fù)面清單,現(xiàn)有規(guī)定過于寬泛化,難以有效界定行為的違法性;失之于軟表現(xiàn)為當(dāng)前針對(duì)人工智能治理缺乏上位法規(guī)定,現(xiàn)有規(guī)范法律強(qiáng)制力不足,宜盡快制定出臺(tái)人工智能法。”記者了解到,人工智能法草案已被列入國(guó)務(wù)院2023年度立法工作計(jì)劃。

鄭飛建議,在法律不斷完善的過程中,要注意明確虛擬數(shù)字人法律主體性。虛擬數(shù)字人包括以動(dòng)畫CG(計(jì)算機(jī)圖形技術(shù))型虛擬數(shù)字人為主的“作品型虛擬數(shù)字人”、以數(shù)字化身和弱AI驅(qū)動(dòng)型虛擬數(shù)字人為主的“人格作品型虛擬數(shù)字人”,以及以強(qiáng)AI驅(qū)動(dòng)型虛擬數(shù)字人為主的“有限主體型虛擬數(shù)字人”?!爸挥袕?qiáng)AI驅(qū)動(dòng)型虛擬數(shù)字人在未來(lái)具有主體性可能,其他類型的虛擬數(shù)字人均屬于法律客體范疇?!?/p>

此外,鄭飛還提出應(yīng)根據(jù)“復(fù)活”對(duì)象及用途進(jìn)行審查,明確嚴(yán)管私用、審慎公用的思路?!氨热?,對(duì)于‘復(fù)活’英烈等用于愛國(guó)主義教育的,應(yīng)當(dāng)在尊重親屬意愿的基礎(chǔ)上予以前置性審慎審查?!?/p>

同時(shí),比照人工智能在學(xué)術(shù)研究中的“披露性”原則,還應(yīng)建立深度合成內(nèi)容標(biāo)注機(jī)制?!耙燥@著、明確、無(wú)異議方式對(duì)虛擬數(shù)字人作出特別標(biāo)注,讓用戶清楚知道其屬性。”鄭飛強(qiáng)調(diào)。

無(wú)論是行業(yè)標(biāo)準(zhǔn),還是法律規(guī)范,治理的本質(zhì)是為了讓技術(shù)向善發(fā)展。在周程看來(lái),治理要堅(jiān)持“以人為本”的立場(chǎng)。尊重人、保護(hù)人、善待人、幫助人,是發(fā)展數(shù)字生命最基本的關(guān)切點(diǎn),也是標(biāo)準(zhǔn)、規(guī)范制定過程中的核心要義。

數(shù)字生命的治理不是一蹴而就的過程,它需要各方共同參與,共同保障個(gè)人權(quán)利和公共利益的平衡?!爸挥袠?gòu)建符合倫理、法律的數(shù)字永生技術(shù)生態(tài),才能讓人類更安全、更幸福地享受‘云上棲居’的生存方式。”周程說。

北疆新聞:內(nèi)蒙古自治區(qū)重點(diǎn)新聞網(wǎng)站(客戶端),內(nèi)蒙古出版集團(tuán)新華報(bào)業(yè)中心旗下國(guó)家互聯(lián)網(wǎng)新聞信息采編發(fā)布服務(wù)一類資質(zhì)網(wǎng)站(客戶端)。

編輯:方琳
62

北疆新聞版權(quán)與免責(zé)聲明:

一、凡本站中注明“來(lái)源:北疆新聞”的所有文字、圖片和音視頻,版權(quán)均屬北疆新聞所有,轉(zhuǎn)載時(shí)必須注明“來(lái)源:北疆新聞”,并附上原文鏈接。

二、凡來(lái)源非北疆新聞的新聞(作品)只代表本網(wǎng)傳播該消息,并不代表贊同其觀點(diǎn)。

如因作品內(nèi)容、版權(quán)和其它問題需要同本網(wǎng)聯(lián)系的,請(qǐng)?jiān)谝娋W(wǎng)后30日內(nèi)進(jìn)行,聯(lián)系郵箱:bjwmaster@163.com。

烏梁素海護(hù)鳥人

版權(quán)聲明:北疆新聞版權(quán)所有,未經(jīng)書面授權(quán),不得轉(zhuǎn)載或建立鏡像,違者依法必究。 本站違法和不良信息舉報(bào)電話:15648148811蒙ICP備16001043號(hào)-1

Copyright © 2016- 北疆新聞網(wǎng) All Rights Reserved互聯(lián)網(wǎng)新聞信息服務(wù)許可證:15120200009-1蒙公網(wǎng)安備:15010502001245