Údaje
Podmínky pro opětovné použití
Databáze Open Beauty Facts je k dispozici pod Open Database License.
Jednotlivé obsahy databáze jsou k dispozici pod Licencí na obsah databáze.
.
Obrázky produktů jsou k dispozici pod licencí Creative Commons Attribution ShareAlike.
Mohou obsahovat grafické prvky podléhající autorským právům nebo jiným právům, které mohou být v některých případech reprodukovány (práva na nabídky nebo fair use).
Před opětovným použitím dat si prosím přečtěte Podmínky použití a opětovného použití.
Řekněte nám o svém opětovném použití
Velmi nás zajímá, k čemu jsou data Open Beauty Facts využívána. Není to povinné, ale velmi bychom ocenili, kdybyste nás informovali o svých opakovaných použitích, abychom je mohli sdílet s komunitou Open Beauty Facts. Můžete také vyplnit tento formulář a získat tak šanci, aby byla vaše aplikace doporučena.
Mobilní aplikace pro Android a iPhone (potřebujeme pomoc!)
Výpisy a exporty databáze se generují každou noc. Databáze je velmi velká, takže můžete najít různé způsoby, jak použít datav závislosti na variantě exportu.
Informace o různých polích pro výpis MongoDB a exporty CSV jsou k dispozici na adrese https://world.openbeautyfacts.org/data/data-fields.txt
Výpis MongoDB
Data pro všechny produkty jsou k dispozici ve výpisu databáze MongoDB.
- Odkaz
- https://static.openbeautyfacts.org/data/openbeautyfacts-mongodbdump.gz
- sha256sum
- https://static.openbeautyfacts.org/data/gz-sha256sum
- md5sum
- https://static.openbeautyfacts.org/data/gz-md5sum
Delta Export
Denní delta exporty jsou poskytovány za předchozích 14 dní. Seznam aktuálně dostupných delta souborů naleznete na adrese https://static.openbeautyfacts.org/data/delta/index.txt.
Každý řádek představuje soubor, který je k dispozici na https://static.openbeautyfacts.org/data/delta/{filename}.
Název souboru obsahuje UNIX časové razítko prvního a poslední změny obsažené v souboru JSON, aby delta soubory mohly být importovány (po extrakci) pomocí mongoimport v abecedním pořadí.
Vezměte prosím na vědomí, že vzhledem k povaze mongoexportvám delta soubory nemohou říci o smazaných produktech. Chcete-li odebrat odstraněné produkty z databáze, musíte importovat celý výpis MongoDB.
Export dat JSONL
Celá databáze je k dispozici také ve formátu JSONL (někdy nazývaném LDJSON nebo NDJSON), kde je každý řádek objektem JSON. Představuje stejná data jako export MongoDB. Soubor je komprimován pomocí gzip.
Vhodným způsobem využití databáze je použití DuckDB, analytický nástroj v průběhu procesu určený ke zpracování velkého množství údajů v zlomku sekund. Můžete si přečíst náš příspěvek na blogu, kde vás provedeme průzkumem a zpracováním databáze Open Beauty Facts pomocí DuckDB
Export dat CSV
Zjednodušená verze výpisu JSONL je k dispozici také ve formátu Parquet. Při převodu jsme filtrovali sloupce, které obsahují duplicitní informace, slouží k internímu ladění nebo jsou pro uživatele jednoduše irelevantní.
Ukázalo se, že formát Parquet je vhodný:
- Data jsou organizována podle sloupců, nikoli podle řádků, což šetří úložný prostor a urychluje analytické dotazy, tj. můžete vybrat pouze sloupce, které vás zajímají, a optimalizovat tak výkon dotazů, a to i na méně výkonných počítačích.
- Vysoce účinná komprese a dekomprese dat, díky čemuž je vhodná pro ukládání a sdílení velkých datových sad jakéhokoli druhu,
- Podporuje komplexní datové typy a pokročilé vnořené datové struktury.
Soubor dat je k dispozici na Hugging Face, kolaborativním ekosystému strojového učení, kde mohou vývojáři a výzkumníci sdílet modely a datové sady.
Další informace najdete na Wiki, včetně pokynů pro opětovné použití dat a příkladů dotazů, jak začít.Export dat RDF
Data pro všechny produkty nebo některé z nich lze stáhnout ve formátu CSV (čitelném v LibreOffice, Excelu a mnoha dalších tabulkových procesorech) prostřednictvím rozšířeného vyhledávacího formuláře.
- Odkaz
- https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz (komprimovaný CSV ve formátu GZIP: ~ 0,9 Gb, nekomprimovaný: ~ 9 Gb)
Kódování souboru je Unicode UTF-8. Znak, který odděluje pole, je <tab> (tabulka).
Export obrazových dat
Databáze je dostupná také ve formátu RDF. Můžete si přečíst oznámení ve francouzštině.
Hledáme pomoc s OpenAPI
Všechny obrázky a výsledky OCR lze stáhnout z našeho serveru nebo z AWS (prostřednictvím AWS Open Data Program). Podívejte se na naši dokumentaci a zjistěte více o tom, jak stahovat obrázky.
Dokumentace OpenAPI pro JSON API
K dispozici je také JSON API pro čtení dat pro produkt. Toto API se používá zejména v mobilní aplikaci Open Beauty Facts pro iPhone a Android.
API v průběhu času vylepšujeme, ale dbáme na zachování zpětné kompatibility. Pokud ji používáte, ozvěte se nám, abychom vás mohli informovat o případných změnách.
URL pro načtení dat produktu: https://world.openbeautyfacts.org/api/v2/product/[barcode].json
Aplikace pro Android je vyvinuta v Kotlin.
Výsledek můžete také získat v XML pomocí .xml
Experimentální XML API
Těšíme se na dokončení dokumentace k API, přidání případů užití a automatizaci generování SDK. Pokud jste znalci OpenAPI, rádi si necháme pomoct.API můžete používat i v produkčních aplikacích, pokud 1 volání API = 1 skutečné skenování uživatelem. Jakýkoli pokus o scraping databáze pomocí API bude s největší pravděpodobností zablokován, protože kompletní denní exporty jsou k dispozici na této stránce.
Také odeslání HTTP hlavičky s voláním API je dobrý způsob, jak se s vámi můžeme spojit, pokud by nastal jakýkoli problém.
Umožní vám spotřebovávat data a také umožní vašim uživatelům přispívat novými daty
Obecné zásady, aby byli vaši uživatelé spokojeni
Kódy pro oficiální mobilní aplikace Open Food Facts jsou dostupné na GitHubu: Flutter, Kotlin Android a Swift iOS
Příklad: https://world.openbeautyfacts.org/api/v2/product/737628064502.xml
Toto API není aktivně udržováno a není oficiálně zdokumentováno.Obaly a sady SDK
Pravděpodobně máme wrapper pro váš oblíbený programovací jazyk. Pokud ano, můžete to využít a vylepšit. Pokud ne, můžete pomoci s jeho vytvořením.
Můžete znovu použít kód (je to open source) a pomoci nám jej vylepšit, pro každého na celé planetě.
Obecné zásady, aby byli vaši uživatelé spokojeni
- Můžete vyhledávat informace o produktech, včetně mnoha užitečných vypočtených hodnot.
- DART: GitHub (zatím pouze Open Food Facts)
- Můžete také implementovat kompletní tok tak, aby okamžitě získali výsledek s určitým úsilím na jejich straně.
Pokud vaši uživatelé neočekávají výsledek okamžitě (např. aplikace Inventory)
- Odešlete fotografie (přední strana/výživa/ingredience): pro vaše uživatele naprosto bezbolestná věc
- Open Beauty Facts AI - Robotoff - vygeneruje některá odvozená data z fotografií
- Postupem času, ostatní aplikace a komunita Open Beauty Facts zaplní mezery v datech
Pokud vaši uživatelé očekávají výsledek okamžitě (např. aplikace pro alergie)
- Odeslat ingredience + kategorii > získat analýzu ingrediencí, aditiva, alergeny, normalizované ingredience, veganské, vegetariánské…
- Odešlete štítky pro přidanou hodnotu
SDK
Kód pro mobilní aplikaci Open Beauty Facts je k dispozici na GitHub (Flutter, Kotlin Android a Swift iOS).
Uvažujeme o přeměně zastaralých kódových základen Kotlinu a Swiftu na SDK Kotlinu a Swiftu, pomoc vítána :-)
Můžete otevřít vlákno v našem úložišti dokumentace API
V případě jakýchkoli dotazů ohledně údajů nás můžete kontaktovat na reuse@openfoodfacts.org
SDK
- Cordova: GitHub (stará oficiální aplikace Open Beauty Facts)
- DART: GitHub - Balíček na pub.dev
- Elixir: GitHub – Diskusní kanál
- Go: GitHub – Diskusní kanál
- Java: GitHub – Diskusní kanál
- Kotlin: GitHub – Diskusní kanál
- PHP: GitHub – Diskusní kanál
- PHP (Laravel): GitHub – Diskusní kanál
- Python: GitHub – Diskusní kanál
- React Native: GitHub – Diskusní kanál
- Ruby: GitHub – Diskusní kanál
- Rust: GitHub – Diskusní kanál
- R: GitHub - Diskusní kanál
- Swift: GitHub - Diskusní kanál
- .NET/C#: GitHub - Diskusní kanál
- Swift: GitHub - Diskusní kanál
- .NET/C#: GitHub - Diskusní kanál
Diskuse o datech, API a exportu
Můžete se podívat na nejčastější dotazy týkající se API a exportů dat a běžné otázky týkající se Open Food Facts
Můžete se připojit k chatovací místnosti Open Beauty Facts Slack, což je preferovaný způsob, jak klást otázky a diskutovat o API. Prosím položte své otázky v kanálu #api
Můžete otevřít vlákno v našem úložišti dokumentace API
V případě jakýchkoli dotazů ohledně údajů nás můžete kontaktovat na reuse@openfoodfacts.org